judul asli: bagaimana menjadi baik pada penelitian

Original by Vivek, AI Analyst

MinLi, Al Builder

Tidak ada yang benar-benar mengajarkan Anda bagaimana melakukan penelitian. Anda mendapatkan meja, pertanyaan yang orang lain angkat, dan instruksi samar untuk membuat sesuatu yang baru。

Jadi kebanyakan orang melakukan rekayasa terbalik dari pekerjaan ini melalui apa yang dapat mereka lihat (misalnya kertas, pos dan pengumuman), dan akhirnya mereka belajar bagaimana untuk "terlihat" seperti peneliti, bukan bagaimana "menjadi" peneliti. Kapasitas penelitian nyata adalah tumpukan keterampilan kecil, dan hampir setiap orang dapat dikembangkan melalui latihan yang disengaja。

Pilih masalahmu sendiri

Richard Hamming memiliki kebiasaan di Bell Lab, yang membuatnya sangat tidak diterima saat makan siang. Dia akan bertanya kepada mereka yang duduk di sampingnya apa pertanyaan penting di bidang mereka, dan kemudian mengapa mereka tidak mempelajarinya. Jadi orang-orang mengubah meja mereka untuk makan。

Ini adalah pertanyaan yang sangat pelit, karena kebanyakan dari kita tidak memiliki jawaban yang baik. Kami tidak memilih masalah, tapi kami menyerapnya - dari mentor kami, dari buletin yang dikeluarkan oleh laboratorium utama kuartal lalu, dari kertas yang telah ditularkan kepada kami sepanjang minggu ini。

Masalah dengan penyerapan adalah bahwa Anda hanya memiliki kesimpulan, tanpa mengetahui logika di belakang mereka. Anda tahu laboratorium terkenal yang peduli tentang arah tertentu, tetapi Anda tidak tahu mengapa, atau apa yang mereka harapkan untuk menemukan, atau apa yang akan membuat mereka meninggalkan arah itu。

Ketika mereka berbalik, Anda tidak akan melihat sampai setahun kemudian. Dan, pada masalah yang sudah populer, Anda menjalankan dengan 1.000 orang yang mulai sebelumnya dan menghitung lebih baik dari Anda。

The Machine Learning Research Guide untuk John Schulman membagi pekerjaan ini menjadi dua model. Pertama, Anda membaca literatur dan mencari tempat untuk memperbaiki. KeduaAnda memilih hasil yang benar-benar ingin dicapai, dan kemudian Anda mendorongnya kembali untuk merancang percobaan。

Dia berpendapat untuk yang kedua karena itu menciptakan orisinalitas. Tujuan yang benar-benar kau pedulikan akan menyeretmu ke wilayah yang tidak ditutupi oleh kertas umum。

adapun rasa, sering dibahas sebagai hadiah. tapi itu lebih seperti otot。

Sebelum menjalankan setiap percobaan, memprediksi hasilnya; tutup hasil kertas dan tebak data dengan caranya sendiri; rekam hasil yang diterbitkan bulan ini akan tetap penting setelah dua tahun, dan kemudian periksa tingkat hitanmu nanti. Satu prediksi, satu kesalahan, dan beberapa ratus kali - itulah bagaimana setiap model yang baik dilatih, termasuk satu di kepala Anda。

Tingkatkan masukan Anda

Daftar pembacaan bersama menghasilkan ide bersama. Jika info Anda ransum hanya daftar panas arxiv ditambah percakapan kelompok. Apa yang tersisa dari pemilu pasti akan datang ke kesimpulan yang sama seperti semua orang, yang membuat mereka hampir tidak berharga。

Nilai dari informasi lama telah serius diremehkan. Ini adalah area yang terus berulang-ulang masa lalunya: Model Ahli Campuran (MoE) kembali ke 1991 dan STM ke 1997, ketika transmisi terbalik menjadi mainstream pada tahun 1986。

Rich Sutton menulis "The Bitter Pelajaran" pada tahun 2019 hanya dengan seribu kata, dan prediksi lintasan pembangunan di daerah ini adalah sepuluh kali lebih akurat daripada itu. Claude Shannon memberikan pidato tentang pemikiran kreatif pada tahun 1952, dan langkah pertama adalah untuk mempersempit masalah ke tingkat yang hampir tidak signifikan, retak versi berkurang, dan kemudian menambahkan kembali sedikit kesulitan。

Ini saja akan membantumu memecahkan lebih banyak dinding daripada proposal produktivitas modern。

Luas dan kedalaman sama pentingnya。Penelitian eksplorasi menggambar ilmu saraf dengan cara yang tidak tersamar; desain evaluasi (Eval) adalah rancangan mekanisme dalam tiang putih; selama ada pemahaman praktis tentang bagaimana GPU memindahkan memori, Anda akan dapat menentukan makalah arsitektur mana yang ditakdirkan gagal sebelum hasil tes penanda tersedia; dan statistik jujur mungkin sudah menjadi yang paling langka dalam bidang pembelajaran mesin, di mana banyak kertas arsitektur yang diterbitkan secara publik "tenang" hanya perasaan。

Satu hal lagi。Baca koran itu sendiri, bukan posting merangkumnya。Lampiran adalah tempat di mana rahasia dikuburkan, dan bagian "membatasi" biasanya adalah bagian paling jujur dari seluruh dokumen。

Tulis semuanya

Paul Graham menunjukkan bahwa ide itu selalu sangat dewasa sebelum Anda mencoba untuk menerjemahkannya ke dalam kata-kata. Tapi hitam dan putih akan mengungkapkan lubang di otak Anda bahwa Anda belum pernah diuji, bahwa Anda tidak dalam posisi yang konsisten, bahwa Anda berada dalam konflik satu sama lain。

Prinsip Feynman adalah bahwa orang pertama yang harus kau hindari adalah dirimu sendiri, karena kau adalah target termudah。Menulis adalah mekanisme pertahanan termurah yang pernah ditemukan。

Darwin pergi lebih jauh, dan ia diprogram itu: fakta apapun bertentangan dengan teorinya akan ditulis di tempat, karena ia menemukan bahwa ingatannya bisa dihapus pada tingkat yang jauh lebih cepat daripada bukti menguntungkan. Jadi memori Anda untuk Anda gagal berjalan catatan。

Mempertahankan kebiasaan log: asumsi, pengaturan, harapan, hasil, persepsi terbaru. Mengembalikan catatan bulan lalu akan membuat Anda merasa sangat rendah hati dan tidak ada peninjau akan mampu melakukannya。

Tautan Asli