Teknik yang mudah digunakan dapat membantu semua orang mulai dari ekonom hingga analis olahraga.
Lembaga survei yang mencoba memprediksi hasil pemilihan presiden dan fisikawan yang mencari planet ekstrasurya jauh memiliki setidaknya satu kesamaan: Mereka sering menggunakan teknik ilmiah yang terbukti benar yang disebut inferensi Bayesian.
Inferensi Bayesian memungkinkan para ilmuwan memperkirakan secara efektif beberapa parameter yang tidak diketahui – seperti pemenang pemilu – dari data seperti hasil jajak pendapat. Namun inferensi Bayesian bisa jadi lambat, terkadang memakan waktu komputasi berminggu-minggu atau bahkan berbulan-bulan atau mengharuskan peneliti menghabiskan waktu berjam-jam untuk menurunkan persamaan yang membosankan dengan tangan.
Peneliti dari DENGAN dan di tempat lain telah memperkenalkan teknik pengoptimalan yang mempercepat tanpa mengharuskan ilmuwan melakukan banyak pekerjaan tambahan. Metode mereka dapat mencapai hasil yang lebih akurat dan lebih cepat dibandingkan pendekatan populer lainnya untuk mempercepat inferensi Bayesian.
Dengan menggunakan teknik otomatis baru ini, seorang ilmuwan cukup memasukkan modelnya dan kemudian metode pengoptimalan melakukan semua penghitungan untuk memberikan perkiraan beberapa parameter yang tidak diketahui. Metode ini juga menawarkan perkiraan ketidakpastian yang dapat diandalkan yang dapat membantu peneliti memahami kapan harus mempercayai prediksinya.
Teknik serbaguna ini dapat diterapkan pada beragam permasalahan ilmiah yang menggabungkan inferensi Bayesian. Misalnya, data ini dapat digunakan oleh para ekonom yang mempelajari dampak pinjaman kredit mikro di negara-negara berkembang atau analis olahraga yang menggunakan model untuk menentukan peringkat pemain tenis terbaik.
“Saat Anda benar-benar menggali apa yang dilakukan orang-orang di bidang ilmu sosial, fisika, kimia, atau biologi, mereka sering kali menggunakan banyak alat yang sama. Ada banyak sekali analisis Bayesian di luar sana. Jika kita dapat membangun alat hebat yang membuat hidup para peneliti lebih mudah, maka kita benar-benar dapat membuat perbedaan bagi banyak orang di berbagai bidang penelitian,” kata penulis senior Tamara Broderick, seorang profesor di Departemen Teknik Elektro dan Teknologi MIT. Ilmu Komputer (EECS) dan anggota Laboratorium Sistem Informasi dan Keputusan serta Institut Data, Sistem, dan Masyarakat.
Broderick bergabung dalam makalah ini dengan rekan penulis utama Ryan Giordano, asisten profesor statistik di University of California di Berkeley; dan Martin Ingram, ilmuwan data di perusahaan AI KONUX. Makalah ini baru-baru ini diterbitkan di Jurnal Penelitian Pembelajaran Mesin.
Ketika peneliti mencari bentuk inferensi Bayesian yang lebih cepat, mereka sering kali beralih ke teknik yang disebut inferensi variasi diferensiasi otomatis (ADVI), yang seringkali cepat dijalankan dan mudah digunakan.
Namun Broderick dan kolaboratornya menemukan sejumlah masalah praktis dengan ADVI. Itu harus memecahkan masalah optimasi dan hanya dapat melakukannya kira-kira. Jadi, ADVI masih memerlukan banyak waktu komputasi dan upaya pengguna untuk menentukan apakah solusi perkiraan cukup baik. Dan begitu solusinya tercapai, perkiraan ketidakpastiannya cenderung buruk.
Daripada menciptakan kembali roda, tim mengambil banyak ide dari ADVI namun mengubahnya untuk menciptakan teknik yang disebut ADVI deterministik (DADVI) yang tidak memiliki kelemahan tersebut.
Dengan DADVI, sangat jelas kapan optimasi selesai, sehingga pengguna tidak perlu menghabiskan waktu komputasi ekstra untuk memastikan bahwa solusi terbaik telah ditemukan. DADVI juga memungkinkan penggabungan metode optimasi yang lebih kuat yang memberikan peningkatan kecepatan dan kinerja tambahan.
Setelah mencapai hasil, DADVI disiapkan untuk memungkinkan penggunaan koreksi ketidakpastian. Koreksi ini membuat estimasi ketidakpastiannya jauh lebih akurat dibandingkan ADVI.
DADVI juga memungkinkan pengguna untuk melihat dengan jelas berapa banyak kesalahan yang mereka timbulkan dalam perkiraan masalah optimasi. Hal ini mencegah pengguna menjalankan pengoptimalan berulang kali secara sia-sia dengan sumber daya yang lebih banyak untuk mencoba mengurangi kesalahan.
“Kami ingin melihat apakah kami dapat memenuhi janji inferensi kotak hitam dalam artian, setelah pengguna membuat modelnya, mereka cukup menjalankan inferensi Bayesian dan tidak perlu mengambil semuanya secara manual, mereka tidak perlu melakukan apa pun. Mereka tidak perlu memikirkan kapan harus menghentikan algoritme mereka, dan mereka mengetahui seberapa akurat perkiraan solusi mereka,” kata Broderick.
DADVI bisa lebih efektif daripada ADVI karena menggunakan metode perkiraan yang efisien, yang disebut perkiraan rata-rata sampel, yang memperkirakan kuantitas yang tidak diketahui dengan mengambil serangkaian langkah yang tepat.
Karena langkah-langkahnya tepat, maka jelas kapan tujuan telah tercapai. Selain itu, untuk mencapai tujuan tersebut biasanya memerlukan langkah yang lebih sedikit.
Seringkali, peneliti mengharapkan perkiraan rata-rata sampel menjadi lebih intensif secara komputasi daripada metode yang lebih populer, yang dikenal sebagai gradien stokastik, yang digunakan oleh ADVI. Namun Broderick dan kolaboratornya menunjukkan bahwa, dalam banyak aplikasi, hal ini tidak terjadi.
“Banyak masalah yang benar-benar memiliki struktur khusus, dan Anda bisa menjadi jauh lebih efisien dan mendapatkan kinerja yang lebih baik dengan memanfaatkan struktur khusus tersebut. Itu adalah sesuatu yang benar-benar kami lihat dalam makalah ini,” tambahnya.
Mereka menguji DADVI pada sejumlah model dan kumpulan data dunia nyata, termasuk model yang digunakan oleh para ekonom untuk mengevaluasi efektivitas pinjaman kredit mikro dan model yang digunakan dalam ekologi untuk menentukan apakah suatu jenis hadir di situs tertentu.
Secara keseluruhan, mereka menemukan bahwa DADVI dapat memperkirakan parameter yang tidak diketahui dengan lebih cepat dan lebih andal dibandingkan metode lain, dan menghasilkan hasil yang baik atau lebih baik. ketepatan daripada ADVI. Karena lebih mudah digunakan dibandingkan teknik lainnya, DADVI dapat memberikan dorongan bagi para ilmuwan di berbagai bidang.
Di masa depan, para peneliti ingin menggali lebih dalam metode koreksi estimasi ketidakpastian sehingga mereka dapat lebih memahami mengapa koreksi ini dapat menghasilkan ketidakpastian yang begitu akurat, dan kapan koreksi tersebut bisa gagal.
“Dalam statistik terapan, kita sering kali harus menggunakan algoritme perkiraan untuk permasalahan yang terlalu kompleks atau berdimensi tinggi agar solusi yang tepat dapat dihitung dalam waktu yang wajar. Makalah baru ini menawarkan serangkaian teori dan hasil empiris menarik yang menunjukkan peningkatan dalam algoritma perkiraan populer yang ada untuk inferensi Bayesian,” kata Andrew Gelman ’85, ’86, seorang profesor statistik dan ilmu politik di Universitas Columbia, yang tidak terlibat dengan penelitian ini. “Sebagai salah satu tim yang terlibat dalam pembuatan karya sebelumnya, saya senang melihat algoritme kami digantikan oleh sesuatu yang lebih stabil.”
Referensi: “Inferensi Variasi Kotak Hitam dengan Tujuan deterministik: Kotak Hitam Lebih Cepat, Lebih Akurat, dan Lebih Banyak Lagi” oleh Ryan Giordano, Martin Ingram, dan Tamara Broderick, Januari 2024, Jurnal Penelitian Pembelajaran Mesin.
PDF
Penelitian ini didukung oleh National Science Foundation CAREER Award dan US Office of Naval Research.
RisalahPos.com Network