コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

20250225issue_cover150.png
※画像をクリックすると
アマゾンに飛びます

2025年2月25日号（2月18日発売）は「ウクライナが停戦する日」特集。プーチンとゼレンスキーがトランプの圧力で妥協？ 20万人以上が死んだ戦争は本当に終わるのか

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ワールド

中国副首相が米財務長官と会談、対中関税に懸念　対話
2025.02.22

ビジネス

アングル：債券市場に安心感、ＱＴ減速観測と財務長官
2025.02.22

ビジネス

米中古住宅販売、1月は4.9％減の408万戸　4カ
2025.02.22

ワールド

米・ウクライナ、鉱物協定巡り協議継続か　米高官は署
2025.02.22
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：ウクライナが停戦する日
特集：ウクライナが停戦する日
2025年2月25日号（2/18発売）

ゼレンスキーとプーチンがトランプの圧力で妥協？　20万人以上が死んだ戦争が終わる条件は

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    口から入ったマイクロプラスチックの行く先は「脳」だった？...高濃度で含まれる「食べ物」に注意【最新研究】
  • 2
    人気も販売台数も凋落...クールなEVテスラ「オワコン化」の理由
  • 3
    がん細胞が正常に戻る「分子スイッチ」が発見される【最新研究】
  • 4
    1888年の未解決事件、ついに終焉か？ 「切り裂きジャ…
  • 5
    飛行中の航空機が空中で発火、大炎上...米テキサスの…
  • 6
    ソ連時代の「勝利の旗」掲げるロシア軍車両を次々爆…
  • 7
    動かないのに筋力アップ？ 88歳医大名誉教授が語る「…
  • 8
    ビタミンB1で疲労回復！疲れに効く3つの野菜＆腸活に…
  • 9
    私に「家」をくれたのは、この茶トラ猫でした
  • 10
    【クイズ】世界で1番マイクロプラスチックを「食べて…
  • 1
    口から入ったマイクロプラスチックの行く先は「脳」だった？...高濃度で含まれる「食べ物」に注意【最新研究】
  • 2
    がん細胞が正常に戻る「分子スイッチ」が発見される【最新研究】
  • 3
    戦場に「北朝鮮兵はもういない」とロシア国営テレビ...犠牲者急増で、増援部隊が到着予定と発言
  • 4
    人気も販売台数も凋落...クールなEVテスラ「オワコン…
  • 5
    動かないのに筋力アップ？ 88歳医大名誉教授が語る「…
  • 6
    朝1杯の「バターコーヒー」が老化を遅らせる...細胞…
  • 7
    7年後に迫る「小惑星の衝突を防げ」、中国が「地球防…
  • 8
    墜落して爆発、巨大な炎と黒煙が立ち上る衝撃シーン.…
  • 9
    ビタミンB1で疲労回復！疲れに効く3つの野菜＆腸活に…
  • 10
    「トランプ相互関税」の範囲が広すぎて滅茶苦茶...VA…
  • 1
    週刊文春は「訂正」を出す必要などなかった
  • 2
    中居正広は何をしたのか？　真相を知るためにできる唯一の方法
  • 3
    【一発アウト】税務署が「怪しい！」と思う通帳とは？
  • 4
    口から入ったマイクロプラスチックの行く先は「脳」…
  • 5
    「健康寿命」を延ばすのは「少食」と「皮下脂肪」だ…
  • 6
    1日大さじ1杯でOK！「細胞の老化」や「体重の増加」…
  • 7
    戦場に「北朝鮮兵はもういない」とロシア国営テレビ.…
  • 8
    がん細胞が正常に戻る「分子スイッチ」が発見される…
  • 9
    有害なティーバッグをどう見分けるか？...研究者のア…
  • 10
    世界初の研究：コーヒーは「飲む時間帯」で健康効果…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story