Googleに挑む男から見たAIの今と未来 PerplexityのAravind Srinivas氏

このほか少し専門的になりますが、次のような発言もありました。

【RAGの使い方が重要】

Perplexityでは、既にYelpやShopifyなどからデータを提供してもらうライセンス契約を結んでおり、今後もデータ提供者との連携を進めていくという。(40:00)

C向けはデータを厳選し、ライセンス契約を結んでいる。

B向けは、データの重要度を決めるのが大変。社長の訓示を優先するのかどうか。どのレベルの社員にどの程度の情報を開示するのかという問題もある。

【Perplexityが利用しているモデル(55:13)】

独自モデルの訓練をしている。使っているのはMistralのモデルをファインチューニングしたもの。X.aiのモデルでも実験している。Mistral 7BやGemmaなどの小規模のモデルをほかの部分に使っている。GPT-4やClaude 3などの大規模モデルは受けた質問の理解に使っている。それで写真を生成すべきか動画や文章を生成すべきかを決めて、分類器にかけて、質問を作り直して、より詳しい情報にする。そうした部分はオープンソースを改良したものを使っていてる。

【計算資源かブレークスルーか(1:03:10)】

AIの進化に必要なのは「計算資源」だ。でもトランスフォーマーのようなGPUを有効活用できるようなブレークスルーも求められている。どんなブレークスルーかというと、モデルが自分で考えられるというようなブレークスルー。自分で実験をデザインし、実験し、結論を導き出すまで何度も新しい実験を繰り返す。そんなモデル。今は学習と推論が別々だけど、学習と推論が合体したようなモデルが次世代のモデルだと思う」