コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

20241210issue_cover150.png
※画像をクリックすると
アマゾンに飛びます

2024年12月10日号（12月3日発売）は「サステナブルな未来へ 11の地域の挑戦」特集。地域から地球を救う11のチャレンジとJO1のメンバーが語る「環境のためにできること」

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

あわせて読みたい
ニュース速報

ビジネス

戒厳令騒動で「コリアディスカウント」一段と、韓国投
2024.12.04

ビジネス

ＪＡＭ、25年春闘で過去最大のベア要求へ　月額1万
2024.12.04

ワールド

ウクライナ終戦へ領土割譲やＮＡＴＯ加盟断念、トラン
2024.12.04

ビジネス

日経平均は小幅に3日続伸、小売関連が堅調　円安も支
2024.12.04
ニュース速報一覧
あわせて読みたい
MAGAZINE
特集：サステナブルな未来へ 11の地域の挑戦
特集：サステナブルな未来へ 11の地域の挑戦
2024年12月10日号（12/ 3発売）

地域から地球を救う11のチャレンジと、JO1のメンバーが語る「環境のためできること」

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    健康体の40代男性が突然「心筋梗塞」に...マラソンや筋トレなどハードトレーニングをする人が「陥るワナ」とは
  • 2
    NewJeansの契約解除はミン･ヒジンの指示？　投資説など次々と明るみにされた元代表の疑惑
  • 3
    【クイズ】核戦争が起きたときに世界で1番「飢えない国」はどこ？
  • 4
    JO1が表紙を飾る『ニューズウィーク日本版12月10日号…
  • 5
    混乱続く兵庫県知事選、結局SNSが「真実」を映したの…
  • 6
    【クイズ】世界で1番「IQ（知能指数）が高い国」はど…
  • 7
    NATO、ウクライナに「10万人の平和維持部隊」派遣計…
  • 8
    健康を保つための「食べ物」や「食べ方」はあります…
  • 9
    韓国ユン大統領、突然の戒厳令発表　国会が解除要求…
  • 10
    シリア反政府勢力がロシア製の貴重なパーンツィリ防…
  • 1
    BMI改善も可能？ リンゴ酢の潜在力を示す研究結果
  • 2
    エリザベス女王はメーガン妃を本当はどう思っていたのか？
  • 3
    「1年後の体力がまったく変わる」日常生活を自然に筋トレに変える7つのヒント
  • 4
    リュックサックが更年期に大きな効果あり...軍隊式ト…
  • 5
    ウクライナ前線での試験運用にも成功、戦争を変える…
  • 6
    健康体の40代男性が突然「心筋梗塞」に...マラソンや…
  • 7
    メーガン妃の支持率がさらに低下...「イギリス王室で…
  • 8
    「時間制限食（TRE）」で脂肪はラクに落ちる...血糖…
  • 9
    NewJeansの契約解除はミン･ヒジンの指示？　投資説な…
  • 10
    黒煙が夜空にとめどなく...ロシアのミサイル工場がウ…
  • 1
    朝食で老化が早まる可能性...研究者が「超加工食品」に警鐘【最新研究】
  • 2
    北朝鮮兵が「下品なビデオ」を見ている...ロシア軍参加で「ネットの自由」を得た兵士が見ていた動画とは？
  • 3
    寿命が延びる、3つのシンプルな習慣
  • 4
    「1年後の体力がまったく変わる」日常生活を自然に筋…
  • 5
    朝鮮戦争に従軍のアメリカ人が写した「75年前の韓国…
  • 6
    自分は「純粋な韓国人」と信じていた女性が、DNA検査…
  • 7
    北朝鮮兵が味方のロシア兵に発砲して2人死亡!?　ウク…
  • 8
    「会見拒否」で自滅する松本人志を吉本興業が「切り…
  • 9
    ロシア陣地で大胆攻撃、集中砲火にも屈せず...M2ブラ…
  • 10
    足跡が見つかることさえ珍しい...「超希少」だが「大…
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story