インプラント不要、ヒトの脳内思考を読み取ってAIで文章化する方法が開発される

実際に被験者に読み聞かせた文章と、AIによって再現された文章との類似度を単語レベルと意味レベルで評価し、繰り返しトレーニングすることで、一人ひとりの脳に対するオーダーメイドの解読モデルを作りました。

AIのトレーニングのために、26歳の女性、36歳の男性、23歳の男性の被験者は、ポッドキャストをそれぞれ16時間ずつ聞きました。内容は1人の話者が語る５～15分の自伝的な物語で、82のテスト・ストーリーが流れる間の脳の活動がfMRIで画像として記録されました。

準備が整ったところで、研究者たちは同じ３人に新しい物語を聞かせました。個人の脳活動の特徴を学習済みのAIには、fMRIの画像データだけを与えて物語の内容を予測させました。すると、物語を聞いている時間の72～82%で、たまたま似た文章ができる場合の類似度の値を大きく上回りました。

さらに、被験者自身に頭の中でスピーチを考えてもらいながらfMRIで記録しました。後に、実際のスピーチ内容と、fMRI記録からAIが解読したスピーチを比較しても、十分なレベルで解読ができていました。

また、被験者に短い無音の動画を視聴してもらい、そのときの脳活動の記録をAIで文章化すると、被験者が「I see a girl that looks just like me get hit on her back and then she is knocked off(自分に似た女の子が背中を殴られて倒されているところが見えている)」と考えていることが分かりました。つまり、音の情報がなくても、その人が見ているものをfMRIの記録から推測できることが示唆されました。

人の脳活動をAIで文章化する実験は、さらに応用的な試みも行われました。

被験者に同時に2つの物語を聞かせて、「片方は積極的に耳を傾け、もう一方は無視するように」と指示した実験では、AIは積極的に聞いた物語のほうの意味をつかむことができました。

本当にAIの分析は「オーダーメイド」なのかを確かめるために、ある被験者のfMRIデータで訓練したAIで別の被験者のfMRIデータの意味を推測させたところ、性能は低下しました。

研究チームは、今回の実験では大型装置のMRIを使ったものの、持ち運び可能な近赤外分光装置を使ったfNIRS（機能的近赤外分光法）でも同様に脳活動の読み取りができるといいます。

発声できない人とのコミュニケーション、犯罪予防にも

脳内の考えを読み取る技術は、近年、大きく加速しています。

発声がなくても意思疎通ができれば、病気などで声が出せない人とのコミュニケーション手段になります。あるいは、要注意人物の思考を追跡できれば、犯罪を未然に防ぐこともできるかもしれません。