AS atau Tiongkok: siapa yang memimpin dalam riset AI?

Baru-baru ini saya menemukan dua artikel dengan judul dan kesimpulan yang sangat berbeda:

• China trounces U.S. in AI research output and quality. Ditulis oleh Kotaro Fukuoka, Shunsuke Tabeta dan Akira Okikawa, penulis staf Nikkei.
• Must read: the 100 most cited AI papers in 2022 oleh Zeta Alpha. Artikel itu menulis "When we look at where these top-cited papers come from (Figure 1), we see that the United States continues to dominate and the difference among the major powers varies only slightly per year."
  • Salah satu kesimpulan dari artikel ini adalah "Earlier reports (link to the Nikkei article) that China may have overtaken the US in AI R&D seem to be highly exaggerated if we look at it from the perspective of citations."

Secara alami, ini membuat saya penasaran karena Nikkei adalah organisasi berita yang terkemuka, dan Jepang adalah sekutu militer AS. Dengan kata lain, Nikkei punya sedikit insentif untuk "memutar" kebenaran demi Tiongkok. Jadi saya memutuskan untuk menggali lebih dalam.

Yah, ternyata, saya tidak perlu menggali terlalu dalam untuk mengetahui bahwa keduanya bisa benar pada saat bersamaan karena mereka menggunakan metodologi yang berbeda untuk menarik kesimpulan mereka. Mengingat Zeta Alpha menerbitkan artikelnya lebih belakangan dan mengutip artikel Nikkei, Zeta Alpha seharusnya menyoroti perbedaan dalam metodologi mereka secara langsung di artikel; dan membiarkan pembaca memutuskan sendiri.

Metodologi yang berbeda

Metodologi Nikkei

Metodologi Zeta Alpha

Nikkei bekerja dengan penerbit ilmiah Belanda Elsevier untuk meninjau makalah akademis dan konferensi tentang AI, menggunakan sekitar 800 kata kunci terkait AI untuk mempersempit makalah.

Untuk membuat analisis di atas, kami pertama mengumpulkan makalah yang paling banyak dikutip per tahun di platform Zeta Alpha, dan kemudian memeriksa secara manual tanggal publikasi pertama, sehingga kami menempatkan makalah di tahun yang tepat. Kami melengkapi daftar ini dengan menambang makalah AI yang banyak dikutip di Semantic Scholar dengan cakupannya yang lebih luas dan kemampuan untuk mengurutkan berdasarkan jumlah kutipan. Kami kemudian mengambil untuk setiap makalah jumlah kutipan di Google Scholar sebagai metrik representatif dan mengurutkan makalah berdasarkan angka ini untuk menghasilkan top-100 untuk satu tahun.

Melihat kuantitas, jumlah makalah AI meledak dari sekitar 25.000 di 2012 menjadi kira-kira 135.000 di 2021.

Artikel Zeta Alpha fokus pada top 100 makalah untuk setiap tahun saja

Baik Nikkei maupun Zeta Alpha menggunakan kutipan sebagai indikasi kualitas makalah.

Tapi perbedaan besar pertama adalah Nikkei melihat jumlah makalah AI yang jauh lebih besar dari Zeta Alpha untuk menarik kesimpulan mereka. Ketika Nikkei menulis, "In 2021, China accounted for 7,401 of the most-cited papers, topping the American tally by 70% or so.", mereka merujuk pada top 10% makalah, jadi pada dasarnya sebuah universe dari 13.500 makalah di 2021 (top 10% dari kira-kira 135.000 makalah AI di 2021).

Seluruh analisis Zeta Alpha dalam artikel mereka hanya tentang top 100 makalah dalam hal kutipan untuk setiap tahun saja.

Jadi ini bukan perbandingan apple to apple sama sekali.

Metode mana yang lebih baik, antara Nikkei dan Zeta Alpha?

Saya tidak punya latar belakang mendalam di bidang AI, jadi saya tidak bisa mengatakan dengan yakin metodologi mana yang lebih baik. Saya tahu bahwa keduanya berbeda.

Jika kamu ingin menjawab pertanyaan ini, saya pikir kamu perlu:

• Pertama, tentukan kriteria apa yang kamu gunakan untuk mengevaluasi "lebih baik"?
  • Mencakup jumlah makalah yang lebih besar berarti ukuran sampelmu jauh lebih besar dan mencakup lebih banyak area niche dalam AI.
  • Fokus pada top 100 makalah mungkin masuk akal jika kita pikir sebagian besar nilai komersial atau strategis akan mengalir ke beberapa makalah/pemilik teratas seiring waktu. Tapi saya ragu Zeta Alpha telah melakukan analisis ini.
• Kedua, menemukan cara yang lebih baik untuk mengkuantifikasi nilai atau dampak setiap makalah daripada sekadar menggunakan kutipan. Saya tahu bahwa menggunakan kutipan adalah cara kasar untuk mengevaluasi kualitas tapi apakah itu cara terbaik?
• Ketiga, apa hubungan antara kemampuan AI suatu negara dan persentase makalah yang dipublikasikan di antara top 100 atau top 1000 makalah yang dikutip dalam tahun tertentu?
  • Misalnya, saya yakin bahwa beberapa riset paling mutakhir dengan nilai militer dan komersial tinggi, beberapa lab riset memilih untuk tidak mempublikasikannya. Karena mengapa mempublikasikan untuk orang lain pelajari, untuk membantu kompetisi menutup kesenjangan?
• Saya bisa melanjutkan, tapi semoga kamu mengerti maksud saya

Beberapa kesimpulan/headline yang dipertanyakan

OpenAI is simply in a league of its own when it comes to turning publications into absolute blockbusters

Zeta Alpha menulis bahwa "You won't see OpenAI or DeepMind among the top 20 in the volume of publications. These institutions publish less but with higher impact." dan "Now we see that OpenAI is simply in a league of its own when it comes to turning publications into absolute blockbusters."

Mengapa "conversion rate" ini penting untuk dilihat? Apa artinya? Satu cara sederhana untuk menginterpretasikan datanya adalah:

• Riset OpenAI fokus pada bidang AI yang sangat sempit, dan mereka memilih untuk mempublikasikan jumlah makalah yang sangat terbatas.
• Google atau Meta dan perusahaan lain punya minat yang luas dalam AI, dan mereka secara simultan meneliti banyak area yang berbeda. Dan mereka memilih untuk mempublikasikan lebih banyak.
• Ini tidak ada hubungannya dengan OpenAI yang pandai mengubah publikasi menjadi blockbuster.

Cara kerja mana yang lebih baik? Saya tidak begitu yakin

AS mendominasi makalah riset AI

Kesimpulan ini didasarkan pada dua data poin utama di bawah

Seperti disebutkan di atas, meskipun saya setuju bahwa punya kehadiran yang kuat di top 100 (atau 1000 atau berapa pun jumlahnya) makalah AI yang dikutip adalah sinyal tentang kekuatan negara dalam AI. Saya tidak pikir itu seharusnya menjadi SATU-SATUNYA sinyal. Seharusnya ada serangkaian data poin atau sinyal untuk menarik kesimpulan itu.

Juga mengapa top 100 dan bukan top 1000? Apakah karena metodologi Zeta Alpha melibatkan pemeriksaan manual sehingga mereka hanya bisa mencakup top 100?

Kesimpulan

Ini adalah contoh lain bagaimana situasi kehidupan nyata jauh lebih bernuansa dari yang ditunjukkan beberapa headline. Jadi meskipun saya menghargai upaya untuk menyederhanakan ceritanya untuk audiens, kita seharusnya tidak mencoba "menyederhanakannya terlalu banyak." :)

Menurutmu apa cara yang lebih baik untuk mengukur kemampuan AI suatu negara? Apakah jumlah makalah top-cited cukup, atau haruskah kita melihat serangkaian sinyal yang lebih luas? Saya ingin mendengar pendapatmu.

Salam,

Chandler