マーク・ザッカーバーグ氏インタビュー「なぜAIを無料公開するのか」

【GPUの使い道】

(24:00)
年末までに35万個のGPU（NVIDIA製のAI向け半導体）を購入する計画だが、今は22万個から24万個のクラスター（半導体の集合）で学習と推論の両方を行なっている。Metaは、SNSコミュニティーの運営に推論を行わないといけないので、AIの競合他社に比べると推論に割り当てるGPUの割合が多いように思う。（湯川解説：半導体は大別すると、２つの用途で使われる。１つはAIモデルにいろいろなことを学ばせるために使う。その用途は、「学習」向けと呼ばれる。もう１つは、学習済みのAIモデルが、ユーザーの質問に答えるという用途。これは「推論」向けと呼ばれる）

(24:57)
興味深いのは、70Bのモデルを15兆トークンで学習させたところ、精度が上がり続けたということ（湯川解説：トークンとはデータ量を示す単位で、英語の場合１つの単語が約１トークン）。それだけ学習させれば、さすがにそれ以上学習させても性能の向上は見込めないと思っていたのだが、それでも学習させればさせるほど性能は向上した。性能向上が鈍化する兆しがなかった。もっと70Bの学習を続けたかったんだけど、さすがにLlama4の学習にも取り組みたかったので、仕方なく70Bの学習はいったん打ち切った。（湯川解説：中小規模のモデルでも学習データを増やすことで性能が向上し続ける可能性があるということ。Llama３の中規模モデルはLlama2の大規模モデルと同等の性能が出ると言われるが、今後学習データを増やすことで、より高性能な中小モデルが登場する可能性がある）

【AIの指数関数的な進化はいつまで続くのか】

(26:20)
誰にも分からない。多分今100億ドル、1000億ドルを投資してもスケール則（AIモデルの規模を大きくすればするほど、性能が向上するというのではないかという仮説）が十分続くのではないかと思っている。でもその先は分からない。この先もこのペースで指数関数的にAIが進化するのかどうか、誰にも分からないと思う。

ただ歴史的に見ても技術はいつか何らかの壁にぶつかる。今はすごいペースで技術が進化しているので、少々の壁なら超えることができているけれど、それがいつまで続くのか誰にも分からない。

過去１、２年はGPU不足が壁になった。その壁もかなり解消されたので、さらに多くの資本が投入されようとしている。それがどこまでいくのか。でも投資対効果が行き着くところまで行くまでに、エネルギー不足の壁にぶつかると思う。電力供給は政府によって規制されている。発電所や送電施設の建設など、政府によって多くが規制されているので、実現するまでに長い時間が必要になる。

今のデータセンターは50メガワットから150メガワット規模。まだだれも１ギガワットのデータセンターを構築していない。いずれだれかが建設するだろうけど、何年も先になるだろう。

【なぜオープンソースにするのか】

(1:06:01)
すべてのソフトをオープンソースで公開しているわけではない。Instagramのコードはオープンにしていない。オープンソースにしているのは、もっと基本的なインフラ部分のコード。サーバーや、ネットワークスイッチ、データセンターなどのデザインをオープンソースにしている。そのおかげでわれわれのサーバーデザインが業界標準になった。そのデザインをベースに周辺パーツも安価で大量生産されるようになり、多くの人がその恩恵を受けたし、われわれにとっても何十億ドルものコスト削減につながった。

もしシステムに何百、何千億ドルも使うのであれば、コストが10%削減されただけでも大変大きなメリットになる。

AIモデルをオープンソースにすることで、AIの学習にかかるコストも削減されるようになるだろうし、性能もよくなる。

モバイルの領域ではAppleとGoogleがクローズドモデルでエコシステムを牛耳っている。スマホ上で新しい機能のアプリをリリースしようとしても、AppleやGoogleがクビを縦にふらなければリリースできない。AIのプラットフォームをそんな風にはしたくない。

AIプラットフォームがオープンであったとしても、InstagramやFacebookといったわれわれのプロダクトは、だれもがすぐに真似できるものでもない。もしAIをわれわれのプロダクトの１つだと考えれば、オープンにすべきかどうかをより慎重に考えないといけないかもしれないが、今のところAIをわれわれのプロダクトの１つだとみなさなければならないというような状況ではない。

基本的にLlamaの使用料は一定限度まで無料で、一部大企業がLlamaを一定限度以上使って大きな収益を上げるようになれば、その収益に対して使用料をもらうようなライセンスになっている。でもこのライセンス料収入を主要収益源にするつもりは今のところない。Llama2はほとんどのクラウドサービスで利用できるようになっている。今後も同様にクラウドサービスに提供しようと思っているが、それをわれわれにとって大きな収入源にしようとは考えていない。

【自社半導体】

自社開発の半導体で大規模言語モデルを学習させたいと思っているが、Llama4ではまだできない。まずはランキングやレコメンデーションに使える推論用チップを開発しようとしている。そうすることでNVIDIAのGPUを学習用に充てることができる。