コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

20250121issue_cover150.png
※画像をクリックすると
アマゾンに飛びます

2025年1月21日号（1月15日発売）は「トランプ新政権ガイド」特集。1月20日の就任式を目前に「爆弾」を連続投下。トランプ新政権の外交・内政と日本経済への影響を読む


※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ワールド

アングル：フィリピンの「ごみゼロ」宣言、達成は非正
2025.01.18

ワールド

イスラエル政府、ガザ停戦合意を正式承認　19日発効
2025.01.18

ビジネス

米国株式市場＝反発、トランプ氏就任控え　半導体株が
2025.01.18

ワールド

ロシア・イラン大統領、戦略条約締結　20年協定で防
2025.01.18
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：トランプ新政権ガイド
特集：トランプ新政権ガイド
2025年1月21日号（1/15発売）

１月20日の就任式を目前に「爆弾」を連続投下。トランプ新政権の外交・内政と日本経済への影響は？

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    「拷問に近いことも...」獲得賞金は10億円、最も稼いでいるプロゲーマーが語る「eスポーツのリアル」
  • 2
    【クイズ】世界で1番マイクロプラスチックを「食べている」のは、どの地域に住む人？
  • 3
    轟音に次ぐ轟音...ロシア国内の化学工場を夜間に襲うウクライナの猛攻シーン　「ATACMSを使用」と情報筋
  • 4
    【クイズ】次のうち、和製英語「ではない」のはどれ…
  • 5
    ドラマ「海に眠るダイヤモンド」で再注目...軍艦島の…
  • 6
    ティーバッグから有害物質が放出されている...研究者…
  • 7
    北朝鮮兵が「下品なビデオ」を見ている...ロシア軍参…
  • 8
    「搭乗券を見せてください」飛行機に侵入した「まさ…
  • 9
    「ウクライナに残りたい...」捕虜となった北朝鮮兵が…
  • 10
    雪の中、服を脱ぎ捨て、丸見えに...ブラジルの歌姫、…
  • 1
    ティーバッグから有害物質が放出されている...研究者が警告【最新研究】
  • 2
    体の筋肉量が落ちにくくなる3つの条件は？...和田秀樹医師に聞く「老けない」最強の食事法
  • 3
    睡眠時間60分の差で、脳の老化速度は2倍！ カギは「最初の90分」...快眠の「7つのコツ」とは？
  • 4
    メーガン妃のNetflix新番組「ウィズ･ラブ、メーガン…
  • 5
    北朝鮮兵が「下品なビデオ」を見ている...ロシア軍参…
  • 6
    轟音に次ぐ轟音...ロシア国内の化学工場を夜間に襲う…
  • 7
    膝が痛くても足腰が弱くても、一生ぐんぐん歩けるよ…
  • 8
    「拷問に近いことも...」獲得賞金は10億円、最も稼い…
  • 9
    ドラマ「海に眠るダイヤモンド」で再注目...軍艦島の…
  • 10
    大麻は脳にどのような影響を及ぼすのか...? 高濃度の…
  • 1
    ティーバッグから有害物質が放出されている...研究者が警告【最新研究】
  • 2
    大腸がんの原因になる食品とは？...がん治療に革命をもたらす可能性も【最新研究】
  • 3
    体の筋肉量が落ちにくくなる3つの条件は？...和田秀樹医師に聞く「老けない」最強の食事法
  • 4
    夜空を切り裂いた「爆発の閃光」...「ロシア北方艦隊…
  • 5
    インスタント食品が招く「静かな健康危機」...研究が…
  • 6
    ロシア軍は戦死した北朝鮮兵の「顔を焼いている」──…
  • 7
    TBS日曜劇場が描かなかった坑夫生活...東京ドーム1.3…
  • 8
    「涙止まらん...」トリミングの結果、何の動物か分か…
  • 9
    膝が痛くても足腰が弱くても、一生ぐんぐん歩けるよ…
  • 10
    「戦死証明書」を渡され...ロシアで戦死した北朝鮮兵…
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story