美國定中國：邊個喺 AI 研究方面領先？
兩份主要分析對美中 AI 領導地位得出相反結論——但佢哋量度嘅係完全唔同嘅嘢。點解兩個都可以係啱嘅。
最近我見到兩篇標題同結論完全唔同嘅文章：
- 中國喺 AI 研究產出同質量上大勝美國。由 Nikkei 嘅記者撰寫。
- 必讀：2022 年被引用最多嘅 100 篇 AI 論文 來自 Zeta Alpha。文章寫道「當我哋睇呢啲高引用論文嚟自邊度（圖 1），我哋見到美國繼續主導，各大國之間嘅差異每年只係略有不同。」
- 呢篇文章嘅其中一個結論係「早期報導中國可能已經超越美國嘅 AI 研發，如果從引用嘅角度嚟睇，似乎係極度誇大嘅。」
自然咁，呢個引起我嘅好奇，因為 Nikkei 係一間信譽良好嘅新聞機構，而日本係美國嘅軍事盟友。換言之，Nikkei 冇乜動機去「spin」真相嚟利好中國。所以我決定深入研究。
結果我唔使挖得太深就知道兩個可以同時係啱嘅，因為佢哋用咗唔同嘅方法論嚟得出結論。鑑於 Zeta Alpha 嘅文章發佈得較遲並引用咗 Nikkei 嘅文章，Zeta Alpha 應該直接喺文章中指出方法論嘅差異；畀讀者自己判斷。
唔同嘅方法論
Nikkei 方法論
Zeta Alpha 方法論
Nikkei 同荷蘭科學出版商 Elsevier 合作，用大約 800 個 AI 相關關鍵詞嚟審查學術同會議論文。
Zeta Alpha 收集 Zeta Alpha 平台上每年被引用最多嘅論文，然後人手檢查首次發表日期。佢哋用 Semantic Scholar 補充，按引用數排序，取每篇論文喺 Google Scholar 上嘅引用數作為代表性指標，排出每年嘅前 100 名。
從數量睇，AI 論文數量從 2012 年嘅大約 25,000 篇爆發到 2021 年嘅大約 135,000 篇。
Zeta Alpha 嘅文章只關注每年嘅前 100 篇論文。
Nikkei 同 Zeta Alpha 都用引用作為論文質量嘅指標。
但第一個大分別係 Nikkei 睇嘅 AI 論文數量比 Zeta Alpha 多好多。當 Nikkei 寫「2021 年中國佔 7,401 篇被引用最多嘅論文，比美國多約 70%」，佢哋指嘅係前 10% 嘅論文，即大約 13,500 篇（2021 年大約 135,000 篇 AI 論文嘅前 10%）。
Zeta Alpha 所有嘅分析都只係關於每年引用量前 100 篇論文。
所以呢個完全唔係 apple to apple 嘅比較。
Nikkei 同 Zeta Alpha 邊個方法更好？
我冇 AI 領域嘅深厚背景，所以我唔敢話邊個方法論更好。我只知道佢哋係唔同嘅。
如果你想回答呢個問題，我覺得你需要：
- 第一，定義你用啲乜準則去評估「更好」？
- 覆蓋更多論文意味住你嘅樣本量大好多，涵蓋 AI 內更多 niche 領域。
- 專注前 100 篇論文可能有道理，如果我哋認為大部分商業或戰略價值會隨時間累積到最頂尖嘅幾篇論文/擁有者身上。但我懷疑 Zeta Alpha 做過呢個分析。
- 第二，搵一個更好嘅方法去量化每篇論文嘅價值或影響，而唔只係用引用。我知道用引用係一個粗略嘅方法，但係咪最好嘅方法？
- 第三，一個國家嘅 AI 能力同佢喺某一年前 100 或前 1000 篇被引用論文中嘅佔比有乜關係？
- 例如，我肯定有啲最尖端嘅研究具有軍事同高商業價值，有啲研究實驗室選擇唔發表。因為點解要發表出嚟畀其他人學，幫競爭對手縮小差距？
- 我可以繼續，但希望你明白我嘅意思
一啲值得質疑嘅結論/標題
OpenAI 喺將論文變成 blockbuster 方面完全係自成一檔
Zeta Alpha 寫道「你唔會喺發表量前 20 見到 OpenAI 或 DeepMind。呢啲機構發表少但影響力高。」同埋「OpenAI 喺將論文變成 blockbuster 方面完全係自成一檔。」
點解呢個「轉換率」重要？一個簡單嘅解讀係：
- OpenAI 研究集中喺好窄嘅 AI 領域，佢哋選擇只發表好少嘅論文。
- Google 或 Meta 同其他公司對 AI 有廣泛興趣，同時研究好多唔同領域。佢哋選擇發表更多。
- 呢個同 OpenAI 擅長將論文變成 blockbuster 冇關。
邊種做法更好？我唔太肯定
美國主導 AI 研究論文
呢個結論基於以下兩個主要數據
如上所述，雖然我同意喺前 100（或 1000 或任何數字）被引用最多嘅 AI 論文中有強勁存在係一個國家 AI 實力嘅信號。我唔覺得呢個應該係唯一嘅信號。應該有一套數據點或信號嚟得出呢個結論。
仲有點解係前 100 而唔係前 1000？係咪因為 Zeta Alpha 嘅方法論涉及人手檢查所以只能覆蓋前 100？
結論
呢個又係一個現實情況比某啲標題所顯示嘅複雜好多嘅例子。所以雖然我欣賞為讀者簡化故事嘅努力，我哋唔應該嘗試「簡化得太多。」:)
你覺得有乜更好嘅方法嚟衡量一個國家嘅 AI 能力？被引用最多嘅論文數量夠唔夠，定係應該睇更廣泛嘅信號？我好想聽下你嘅諗法。
祝好，
Chandler
