アメリカと中国：AI研究をリードしているのはどちらか？

最近、非常に異なる見出しと結論を持つ2つの記事を見つけました：

• 中国、AI研究の出力と品質で米国を圧倒。日経のスタッフライターであるKotaro Fukuoka、Shunsuke Tabeta、Akira Okikawaによる記事です。
• 必読：2022年の引用数トップ100のAI論文 Zeta Alphaによる。この記事は「これらのトップ引用論文の出所を見ると（図1）、米国が引き続き支配的であり、主要国間の差は年ごとにわずかしか変わらないことがわかる」と書いています。
  • この記事の結論の一つは、「以前の報告（日経記事へのリンク）で中国がAI研究開発で米国を追い越した可能性があるという主張は、引用の観点から見ると非常に誇張されているようだ」というものです。

当然ながら、これは好奇心をそそられます。なぜなら日経は信頼できる報道機関であり、日本はアメリカの軍事同盟国です。言い換えれば、日経には中国に有利なように「真実を歪曲する」インセンティブがほとんどありません。そこで、もう少し深く掘り下げることにしました。

結果として、2つの記事が異なる方法論を使用して結論を導き出したため、両方が同時に正しい可能性があることを知るために、それほど深く掘り下げる必要はありませんでした。Zeta Alphaが後に記事を公開し日経の記事を引用したことを考えると、Zeta Alphaは記事の中で方法論の違いを直接強調すべきでした。そして読者に判断を委ねるべきでした。

異なる方法論

日経の方法論

Zeta Alphaの方法論

日経はオランダの科学出版社Elsevierと協力して、AIに関する学術論文と会議論文を800程度のAI関連キーワードを使用して絞り込みレビューしました。

上記の分析を作成するために、まずZeta Alphaプラットフォームで各年の最も引用された論文を収集し、次に最初の出版日を手動で確認して、論文を正しい年に配置しました。 このリストを、Semantic Scholarのより広いカバレッジと引用数によるソート機能を使って、高引用AI論文を検索することで補完しました。 次に、各論文についてGoogle Scholarの引用数を代表的な指標とし、この数字で論文をソートして年間トップ100を算出しました。

量を見ると、AI論文の数は2012年の約25,000件から2021年の約135,000件に急増しました。

Zeta Alphaの記事は各年のトップ100論文のみに焦点を当てています。

日経とZeta Alphaの両方が、論文の質の指標として引用を使用しています。

しかし、最初の大きな違いは、日経がZeta Alphaよりもはるかに多くのAI論文を分析して結論を導いていることです。日経が「2021年、中国は最も引用された論文のうち7,401件を占め、アメリカの合計を約70%上回った」と書いたとき、上位10%の論文を指しており、つまり2021年の約13,500件の論文（2021年の約135,000件のAI論文の上位10%）という規模です。

Zeta Alphaの記事における分析はすべて、各年の引用数トップ100の論文のみについてです。

つまり、これはまったく同じ土俵での比較ではありません。

日経とZeta Alpha、どちらの方法がより優れているか？

私はAI分野の深い知識がないので、どちらの方法論が優れているかを自信を持って言うことはできません。ただ、両者が異なることは確かです。

この質問に答えるには、以下を検討する必要があると思います：

• まず、「より優れている」を評価するためにどの基準を使用するか定義する。
  • より多くの論文をカバーすることは、サンプルサイズがはるかに大きく、AI内のより多くのニッチな分野をカバーすることを意味します。
  • トップ100論文に焦点を当てることは、ほとんどの商業的または戦略的価値が時間の経過とともにトップの数論文/所有者に集中すると考える場合に意味があるかもしれません。しかし、Zeta Alphaがこの分析を行ったとは思えません。
• 次に、引用だけでなく、各論文の価値や影響をより適切に定量化する方法を見つける。引用の使用は品質を評価する大まかな方法ですが、最善の方法でしょうか？
• 3番目に、ある国のAI能力と、特定の年のトップ100またはトップ1000の引用論文に占める公開論文の割合との関係は何か？
  • 例えば、軍事的および高い商業的価値を持つ最も最先端の研究の一部は、研究所が公開しないことを選択していると確信しています。なぜなら、他の人が学び、競合が差を縮めるのを助けるために公開する理由がないからです。
• まだまだありますが、私の意図は伝わったと思います。

いくつかの疑問のある結論/見出し

OpenAIは出版物をヒット作にすることにおいて明らかに別格のレベルにある

Zeta Alphaはこう書いています：「出版量のトップ20にはOpenAIやDeepMindは見当たりません。これらの機関はより少なく出版していますが、より高いインパクトを持っています」、そして「今やOpenAIは出版物をヒット作にすることにおいて明らかに別格のレベルにあることがわかります。」

この「コンバージョン率」がなぜ重要なのでしょうか？それは何を意味するのでしょうか？データの単純な解釈の一つは：

• OpenAIの研究はAIの非常に狭い分野に焦点を当てており、非常に限られた数の論文を公開することを選んでいます。
• GoogleやMetaなどの企業はAIに幅広い関心を持ち、多くの異なる分野を同時に研究しています。そして、より多く公開することを選んでいます。
• これはOpenAIが出版物をヒット作にすることに長けているということとは関係ありません。

どちらの仕事の仕方が優れているか？よくわかりません。

米国がAI研究論文を支配している

この結論は以下の2つの主要なデータポイントに基づいています。

前述のように、トップ100（または1000でも任意の数でも）の引用AI論文に強い存在感を持つことは、その国のAIにおける強さのシグナルであることに同意します。しかし、それが唯一のシグナルであるべきではないと思います。その結論を導き出すためには、データポイントやシグナルの組み合わせが必要です。

また、なぜトップ100でトップ1000ではないのでしょうか？Zeta Alphaの方法論は手動チェックを含むため、トップ100しかカバーできないからでしょうか？

まとめ

これは、実際の状況が一部の見出しが示すよりもはるかにニュアンスに富んでいるという、もう一つの例です。聴衆のためにストーリーを簡素化する努力は感謝しますが、「簡素化しすぎる」べきではありません :)

ある国のAI能力を測定するより良い方法は何だと思いますか？引用数トップの論文の数だけで十分でしょうか、それともより幅広いシグナルを見るべきでしょうか？ぜひご意見をお聞かせください。

よろしくお願いします、Chandler