コラム

湯川鶴章 湯川鶴章のテクノロジーフィクション

AIエージェントの時代はどこまできているのか

2024年05月07日（火）12時40分

Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。

ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。

他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。

３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。

この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。

この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。

なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。

また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。

【関連記事】
生成AIでネット広告はどう変わるのか
有力AI企業が東京に拠点を設ける理由
Googleに挑む男から見たAIの今と未来　PerplexityのAravind Srinivas氏

20240910issue_cover150.png
※画像をクリックすると
アマゾンに飛びます

2024年9月10日号（9月3日発売）は「日本政治が変わる日」特集。派閥が「溶解」し、候補者乱立の自民党総裁選。日本政治は大きな転換点を迎えている

※バックナンバーが読み放題となる定期購読はこちら


プロフィール

湯川鶴章

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算２０年間の米国生活を終え２０００年５月に帰国。時事通信編集委員を経て２０１０年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』（2015年）、『次世代マーケティングプラットフォーム』（2007年）、『ネットは新聞を殺すのか』（2003年）などがある。趣味はヨガと瞑想。妻が美人なのが自慢。

今、あなたにオススメ
ニュース速報

ワールド

アングル：ＡＩ洪水予測で災害前に補助金支給、ナイジ
2024.09.08

ワールド

アングル：中国にのしかかる「肥満問題」、経済低迷で
2024.09.08

ワールド

ロシア国営ＴＶ、米有権者をトランプ氏に誘導か＝米情
2024.09.07

ワールド

アングル：ハリス対トランプ」ＴＶ討論会、互いに現状
2024.09.07
ニュース速報一覧
今、あなたにオススメ
MAGAZINE
特集：日本政治が変わる日
特集：日本政治が変わる日
2024年9月10日号（9/ 3発売）

派閥が「溶解」し、候補者乱立の自民党総裁選。日本政治は大きな転換点を迎えている

メールマガジンのご登録はこちらから。
人気ランキング
  • 1
    「まるで別人」「ボンドの面影ゼロ」ダニエル・クレイグの新髪型が賛否両論...イメチェンの理由は？
  • 2
    「令和の米騒動」その真相...「不作のほうが売上高が増加する」農水省とJAの利益優先で国民は置き去りに
  • 3
    メーガン妃の投資先が「貧困ポルノ」と批判される...「アフリカの女性たちを小道具として利用」「無神経」
  • 4
    強烈な炎を吐くウクライナ「新型ドローン兵器」、ロ…
  • 5
    森ごと焼き尽くす...ウクライナの「火炎放射ドローン…
  • 6
    【現地観戦】「中国代表は警察に通報すべき」「10元…
  • 7
    森に潜んだロシア部隊を発見、HIMARS精密攻撃で大爆…
  • 8
    国立西洋美術館『モネ 睡蓮のとき』 鑑賞チケット5組…
  • 9
    「燃料気化爆弾」搭載ドローンがロシア軍拠点に突入…
  • 10
    川底から発見された「エイリアンの頭」の謎...ネット…
  • 1
    エリート会社員が1600万で買ったマレーシアのマンションは、10年後どうなった？「海外不動産」投資のリアル事情
  • 2
    森ごと焼き尽くす...ウクライナの「火炎放射ドローン」がロシア陣地を襲う衝撃シーン
  • 3
    中国の製造業に「衰退の兆し」日本が辿った道との3つの共通点
  • 4
    国立西洋美術館『モネ 睡蓮のとき』 鑑賞チケット5組…
  • 5
    死亡リスクが低下する食事「ペスカタリアン」とは？.…
  • 6
    大谷翔平と愛犬デコピンのバッテリーに球場は大歓声…
  • 7
    「まるで別人」「ボンドの面影ゼロ」ダニエル・クレ…
  • 8
    再結成オアシスのリアムが反論！「その態度最悪」「…
  • 9
    エルサレムで発見された2700年前の「守護精霊印章」.…
  • 10
    「あの頃の思い出が詰まっている...」懐かしのマクド…
  • 1
    ウクライナの越境攻撃で大混乱か...クルスク州でロシア軍が誤って「味方に爆撃」した決定的瞬間
  • 2
    寿命が延びる「簡単な秘訣」を研究者が明かす【最新研究】
  • 3
    エリート会社員が1600万で買ったマレーシアのマンションは、10年後どうなった？「海外不動産」投資のリアル事情
  • 4
    電子レンジは「バクテリアの温床」...どう掃除すれば…
  • 5
    ハッチから侵入...ウクライナのFPVドローンがロシア…
  • 6
    年収分布で分かる「自分の年収は高いのか、低いのか」
  • 7
    日本とは全然違う...フランスで「制服」導入も学生は…
  • 8
    「棺桶みたい...」客室乗務員がフライト中に眠る「秘…
  • 9
    ウクライナ軍のクルスク侵攻はロシアの罠か
  • 10
    「あの頃の思い出が詰まっている...」懐かしのマクド…
日本再発見 シーズン2
CHALLENGING INNOVATOR
Wonderful Story