- HOME
- コラム
- 湯川鶴章のテクノロジーフィクション
- AIエージェントの時代はどこまできているのか
AIエージェントの時代はどこまできているのか
Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。
ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。
他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。
3つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。
この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング(上に挙げたVisionのような能力)、オペレーションナレッジ(アプリの使い方の理解)、Long-Horizon Task Execution(上のReasonで挙げたようなタスクを分解して実行する能力)、Interactive Learning(試行錯誤する中で学んでいく能力)、スケーラビリティ(拡張性)、マルチモーダル(テキスト、画像、音声、映像などのデータを理解する能力)などだ。
この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。
なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。
また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。
![20240910issue_cover150.png](https://f.img-newsweekjapan.jp/mailmagazine/2024/09/02/20240910issue_cover150.png)
アマゾンに飛びます
2024年9月10日号(9月3日発売)は「日本政治が変わる日」特集。派閥が「溶解」し、候補者乱立の自民党総裁選。日本政治は大きな転換点を迎えている
※バックナンバーが読み放題となる定期購読はこちら
AppleとOpenAIの提携は何を意味するのか 2024.06.13
AIは今後も急速に進化する? 進化が減速し始めた? 2024.06.05
AI自体を製品にするな=サム・アルトマン氏からスタートアップへのアドバイス 2024.05.29
汎用AIが特化型モデルを不要に=サム・アルトマン氏最新インタビュー 2024.05.27
マーク・ザッカーバーグ氏インタビュー「なぜAIを無料公開するのか」 2024.05.14
AIエージェントの時代はどこまできているのか 2024.05.07
生成AIでネット広告はどう変わるのか 2024.04.25