コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

20250401issue_cover150.png
※画像をクリックすると
アマゾンに飛びます

2025年4月1日号（3月25日発売）は「まだ世界が知らない 小さなSDGs」特集。トランプの「逆風」をはね返す企業の努力が地球を救う

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ワールド

仏大統領、20億ユーロの対ウクライナ追加軍事支援発
2025.03.27

ワールド

Ｘの広告収入、25年はマスク氏買収以来初のプラスに
2025.03.27

ビジネス

米国株式市場＝Ｓ＆Ｐ・ナスダック急反落、自動車関税
2025.03.27

ワールド

ゼレンスキー氏「米国の対ロシア影響力に期待」、制裁
2025.03.27
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：まだ世界が知らない 小さなSDGs
特集：まだ世界が知らない 小さなSDGs
2025年4月 1日号（3/25発売）

トランプの「逆風」をはね返す企業の努力が地球を救う

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    800年前のペルーのミイラに刻まれた精緻すぎるタトゥーが解明される...「現代技術では不可能」
  • 2
    テスラの没落が止まらない...株価は暴落、業績も行き詰った「時代遅れ企業」の行く末は？【アニメで解説】
  • 3
    【独占】テスラ株急落で大口投資家が本誌に激白「取締役会はマスクCEOを辞めさせろ」
  • 4
    「この巨大な線は何の影？」飛行機の窓から撮影され…
  • 5
    一体なぜ、子供の遺骨に「肉を削がれた痕」が？...中…
  • 6
    「一夜にして死の川に」 ザンビアで、中国所有の鉱山…
  • 7
    中国が太平洋における米中の戦力バランスを逆転させ…
  • 8
    【クイズ】アメリカで「ネズミが大量発生している」…
  • 9
    反トランプ集会に異例の大観衆、民主党左派のヒロイ…
  • 10
    老化を遅らせる食事法...細胞を大掃除する「断続的フ…
  • 1
    中国戦闘機が「ほぼ垂直に墜落」する衝撃の瞬間...大爆発する機体の「背後」に映っていたのは？
  • 2
    「一夜にして死の川に」 ザンビアで、中国所有の鉱山ダムから有毒の水が流出...惨状伝える映像
  • 3
    「さようなら、テスラ...」オーナーが次々に「売り飛ばす」理由とは？
  • 4
    「今まで食べた中で1番おいしいステーキ...」ドジャ…
  • 5
    テスラの没落が止まらない...株価は暴落、業績も行き…
  • 6
    「低炭水化物ダイエット」で豆類はNG...体重が増えな…
  • 7
    「テスラ離れ」止まらず...「放火」続発のなか、手放…
  • 8
    古代ギリシャの沈没船から発見された世界最古の「コ…
  • 9
    【独占】テスラ株急落で大口投資家が本誌に激白「取…
  • 10
    【クイズ】世界で2番目に「レアアース」の生産量が多…
  • 1
    中国戦闘機が「ほぼ垂直に墜落」する衝撃の瞬間...大爆発する機体の「背後」に映っていたのは？
  • 2
    テスラ離れが急加速...世界中のオーナーが「見限る」ワケ
  • 3
    「テスラ時代」の崩壊...欧州でシェア壊滅、アジアでも販売不振の納得理由
  • 4
    「さようなら、テスラ...」オーナーが次々に「売り飛…
  • 5
    「一夜にして死の川に」 ザンビアで、中国所有の鉱山…
  • 6
    テスラ失墜...再販価値暴落、下取り拒否...もはやス…
  • 7
    「今まで食べた中で1番おいしいステーキ...」ドジャ…
  • 8
    市販薬が一部の「がんの転移」を防ぐ可能性【最新研…
  • 9
    テスラ販売急減の衝撃...国別に見た「最も苦戦してい…
  • 10
    テスラの没落が止まらない...株価は暴落、業績も行き…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story