Считывая мозговые волны, ИИ стремится предсказать, какие слова хотят слышать Люди.

Это исследование еще далеко от практического применения, но исследователи надеются, что однажды оно может помочь в общении людям, перенесшим черепно-мозговые травмы.

Ученые пытаются использовать искусственный интеллект для перевода мозговой активности на язык.

Программа искусственного интеллекта проанализировала фрагменты мозговой активности людей, которые слушали записанную речь. Он попытался сопоставить эти мозговые волны с длинным списком возможных речевых сегментов, которые человек, возможно, слышал, пишет Джонатан Моэнс из Science News. Алгоритм выдал свой прогноз десяти наиболее вероятных вариантов, и более чем в 70 процентах случаев его списки из десяти лучших вариантов содержали правильный ответ.

Исследование, проведенное командой материнской компании Facebook, Meta, было опубликовано в августе на сервере препринтов arXiv и еще не прошло рецензирование.

В прошлом большая часть работы по расшифровке речи на основе активности мозга основывалась на инвазивных методах, требующих хирургического вмешательства, пишет Жан-Реми Кинг, исследователь Мета-ИИ и нейробиолог Высшей нормальной школы во Франции, в своем блоге. В новом исследовании ученые использовали мозговую активность, измеренную с помощью неинвазивной технологии.

Согласно Мэтью Спарксу из New Scientist, полученные результаты в настоящее время имеют ограниченное практическое значение. Но исследователи надеются однажды помочь людям, которые не могут общаться с помощью разговоров, набора текста или жестикуляции, таким как пациенты, перенесшие тяжелые травмы головного мозга, пишет Кинг в своем блоге. Согласно Science News, большинство существующих методов, помогающих этим людям общаться, связаны с рискованными операциями на головном мозге.

В ходе эксперимента ИИ изучил ранее существовавшую базу данных о мозговой активности 169 человек, собранную во время прослушивания записей других людей, читающих вслух. Мозговые волны были записаны с помощью магнитоэнцефалографии (МЭГ) или электроэнцефалографии (ЭЭГ), которые неинвазивно измеряют магнитную или электрическую составляющую сигналов мозга, сообщает Science News.

Исследователи дали ИИ трехсекундные отрезки мозговой активности. Затем, получив список из более чем 1000 возможностей, они попросили алгоритм выбрать десять звуковых записей, которые, по их мнению, человек, скорее всего, слышал, согласно Science News. Искусственный интеллект не очень преуспел с активностью по показаниям ЭЭГ, но для данных МЭГ его список содержал правильную запись звука в 73 процентах случаев, согласно Science News.

“Производительность ИИ была выше того, что многие люди считали возможным на данном этапе”, — сообщает Science News Джованни Ди Либерто, специалист по информатике из Дублинского Тринити-колледжа в Ирландии, который не принимал участия в исследовании. Однако о его практическом применении он говорит: “Что мы можем с этим сделать? Ничего. Абсолютно ничего.”

Это потому, что машины MEG слишком дороги и непрактичны для широкого использования, рассказывает он Science News. Кроме того, МЭГ-сканирование, возможно, никогда не сможет зафиксировать достаточно деталей мозга, чтобы улучшить результаты, говорит New Scientist Томас Кнепфель, нейробиолог из Имперского колледжа Лондона в Англии, который не участвовал в исследовании. “Это все равно что пытаться транслировать HD-фильм по старомодным аналоговым телефонным модемам”, — рассказывает он изданию.

Другим недостатком, по словам экспертов, является то, что ИИ требовал конечного списка возможных звуковых фрагментов на выбор, вместо того, чтобы придумывать правильный ответ с нуля. “С языком это не поможет, если мы хотим масштабировать его для практического использования, потому что язык бесконечен”, — говорит Джонатан Бреннан, лингвист из Мичиганского университета, который не участвовал в исследовании, в Science News.

Кинг отмечает Меган Маккласки из Time, что в исследовании рассматривалось только восприятие речи, а не ее производство. Чтобы помочь людям, технологии будущего должны будут выяснить, что люди пытаются донести, что, по словам Кинга, будет чрезвычайно сложной задачей. “Мы не имеем ни малейшего представления о том, возможно ли [расшифровка мысли] или нет”, — говорит он New Scientist.

В настоящее время исследование, которое проводится Исследовательской лабораторией искусственного интеллекта Facebook и не направляется сверху вниз компанией Meta, не предназначено для коммерческих целей, сообщает Time Кинг.

Обращаясь к критикам, он говорит, что в этом исследовании все еще есть ценность. “Я воспринимаю это скорее как доказательство принципа”, — говорит он Time. “В этих сигналах [мозга] могут быть довольно богатые репрезентации — больше, чем, возможно, мы могли бы подумать”.

От АВТОРА: Will Sullivan | | READ MORE

Will Sullivan is a science writer based in Washington, D.C. His work has appeared in Inside Science and NOVA Next. https://www.smithsonianmag.com/