コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

ニューズウィーク日本版 トランプショック
※画像をクリックすると
アマゾンに飛びます

2025年4月22日号（4月15日発売）は「トランプショック」特集。関税発表の直後に90日間の猶予を宣言。世界経済を揺さぶるトランプの真意は？

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ビジネス

米3月小売売上高1.4％増、約2年ぶり大幅増　関税
2025.04.17

ワールド

19日の米・イラン核協議、開催地がローマに変更　イ
2025.04.17

ビジネス

米3月の製造業生産0.3％上昇、伸び鈍化　関税措置
2025.04.17

ビジネス

カナダ中銀、金利据え置き　米関税で深刻な景気後退の
2025.04.17
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：トランプショック
特集：トランプショック
2025年4月22日号（4/15発売）

大規模関税発表の直後に90日間の猶予を宣言。世界経済を揺さぶるトランプの真意は？

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    【クイズ】世界で最も「半導体の工場」が多い国どこ？ 1位は意外にも...！？
  • 2
    パニック発作の原因とは何か？...「あなたは病気ではない」
  • 3
    【クイズ】世界で2番目に「話者の多い言語」は？
  • 4
    あなたには「この印」ある？ 特定の世代は「腕に同じ…
  • 5
    【心が疲れたとき】メンタルが一瞬で “最…
  • 6
    紅茶をこよなく愛するイギリス人の僕がティーバッグ…
  • 7
    中国はアメリカとの貿易戦争に勝てない...理由はトラ…
  • 8
    NASAが監視する直径150メートル超えの「潜在的に危険…
  • 9
    あまりの近さにネット唖然...ハイイログマを「超至近…
  • 10
    間食はなぜ「ナッツ一択」なのか？...がん･心疾患･抜…
  • 1
    【心が疲れたとき】メンタルが一瞬で “最強” になる「超短い一言」
  • 2
    間食はなぜ「ナッツ一択」なのか？...がん･心疾患･抜け毛の予防にも役立つ可能性【最新研究】
  • 3
    北朝鮮兵の親たち、息子の「ロシア送り」を阻止するための戦い...膨れ上がった「腐敗」の実態
  • 4
    クレオパトラの墓をついに発見？　発掘調査を率いた…
  • 5
    「ただ愛する男性と一緒にいたいだけ！」77歳になっ…
  • 6
    【クイズ】世界で最も「半導体の工場」が多い国どこ…
  • 7
    コメ不足なのに｢減反｣をやめようとしない理由...政治…
  • 8
    あなたには「この印」ある？ 特定の世代は「腕に同じ…
  • 9
    中国はアメリカとの貿易戦争に勝てない...理由はトラ…
  • 10
    パニック発作の原因とは何か？...「あなたは病気では…
  • 1
    中国戦闘機が「ほぼ垂直に墜落」する衝撃の瞬間...大爆発する機体の「背後」に映っていたのは？
  • 2
    「さようなら、テスラ...」オーナーが次々に「売り飛ばす」理由とは？
  • 3
    【話題の写真】高速列車で前席のカップルが「最悪の行為」に及ぶ...インド人男性の撮影した「衝撃写真」にネット震撼【画像】
  • 4
    「一夜にして死の川に」 ザンビアで、中国所有の鉱山…
  • 5
    「今まで食べた中で1番おいしいステーキ...」ドジャ…
  • 6
    健康寿命を伸ばすカギは「人体最大の器官」にあった.…
  • 7
    市販薬が一部の「がんの転移」を防ぐ可能性【最新研…
  • 8
    【クイズ】世界で最も「レアアースの埋蔵量」が多い…
  • 9
    【心が疲れたとき】メンタルが一瞬で “最…
  • 10
    テスラの没落が止まらない...株価は暴落、業績も行き…
トランプ2.0記事まとめ
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story