脳の信号から音声に変換するシステムが世界で初めて開発される

2019年2月8日（金）16時00分

脳の信号を理解可能な音声に直接変換するシステムが開発された（写真はイメージ）gorodenkoff -iStock

＜コロンビア大学の研究チームが、ヒトの脳の信号を音声を再構築する技術を世界で初めて開発し、怪我などで失われた会話力を修復する可能性を持つ画期的なものとして注目を集めている＞

脳の信号を理解可能な音声に直接変換するシステムが世界で初めて開発された。人工知能（AI）と音声合成技術を活用し、ヒトの脳の電気活動をもとに、他者が明快に聞き取れる言葉へと再構築するというもので、脳とコンピュータとを接続し、直接情報を授受し合う「ブレイン・コンピュータ・インターフェイス（BCI）」の進化に向けた目覚ましい成果として注目されている。

ヒトの脳の聴覚野から音声を再構築する技術

米コロンビア大学ザッカーマン研究所のニマ・メスガラニ博士らの研究チームは、2019年1月29日、オープンアクセスジャーナル「サイエンティフィック・リポーツ」で研究論文を発表し、ディープラーニング（深層学習）と音声合成技術を組み合わせたアルゴリズムによりヒトの脳の聴覚野から音声を再構築する技術について、その詳細を示した。

人間は、言葉を発したり、何か話すことをイメージする際、脳内で特徴的な活動パターンが現れ、他者の話を聞いたり、それをイメージするときにも、特有の信号パターンが現れることがわかっている。

そこで、研究チームでは、人間の会話音声データで学習し、音声を合成するコンピュータアルゴリズム「ボコーダー」を採用。てんかんの治療を受けている患者5名を対象に、言語音を聞いているときの脳での神経活動を測定し、この測定データを「ボコーダー」に与えて、人間の脳の活動を解釈できるよう学習させた。

さらに、これら5名の被験者に0から9までの数字を数える音声を聞かせ、その間の脳の信号を記録したデータを「ボコーダー」に与えたところ、信号パターンを分析し、独自の音声を合成することに成功した。人間が理解可能な音声に変換できる確率は75％で、これまで実施された同様の実験結果を大きく上回るものであった。