Вчені знайшли спосіб читати людські думки
Стверджується, що це перший метод неінвазивної реконструкції мови щодо активності мозку. "Якби ви двадцять років тому запитали будь-якого когнітивного нейробіолога, чи можливо це, він би вигнав вас зі сміхом".
Вчені розробили метод, який використовує запис функціональної магнітно-резонансної томографії мозку для реконструкції безперервної мови. Отримані дані є наступним кроком для інтерфейсів "мозок-комп'ютера", які розробляються як допоміжна технологія для тих, хто не може говорити.
Наукова стаття вийшла поки що у препринті, про неї розповідає Scientist.
Команда вчених з Техаського університету в Остіні (США) описує декодер або алгоритм, який може читати слова, які людина чує або думає під час функціональної магнітно-резонансної томографії (фМРТ). Новий декодер є першим, який використовує неінвазивний метод для досягнення цієї мети.
"Якби ви двадцять років тому запитали будь-якого когнітивного нейробіолога у світі, чи можливо це, вони вигнали б вас зі сміхом. У нашому випадку система не розшифровує мову дослівно, а швидше розрізняє сенс речення чи думки", — каже Олександр Хат, нейробіолог, один із авторів дослідження.
Хат та його колеги навчили свій алгоритм за допомогою фМРТ-записів мозку трьох піддослідних — однієї жінки та двох чоловіків віком від 20 до 30 років, які слухали 16 годин подкастів та радіорепортажів. За словами Хата, для створення точного та широко застосовуваного декодера було важливо, щоб випробувані слухали широкий спектр інформації.
Грунтуючись на навчанні, декодер зробив набір прогнозів того, як виглядатимуть свідчення фМРТ, якщо людина думатиме чи чутиме ті чи інші речі. За словами Хата, використання цих "здогадок" було ключем до того, щоб декодер міг перекладати думки, які не належать до жодного з аудіозаписів, використаних у навчанні. Ці "здогадки" потім звірялися із записом фМРТ у реальному часі, і передбачення, яке найточніше відповідало реальності, визначало слова, які зрештою згенерував декодер.
Результати показали, що алгоритм зрештою генерує цілу історію із записів фМРТ, яка досить добре збігається з реальною історією. Однак у технології є деякі недоліки: наприклад, не дуже добре розрізняє займенники і часто змішує першу та третю особу. "Декодер, - каже Хат, - досить точно розуміє, що відбувається, але не розрізняє, хто що робить".
Оскільки в декодері використовуються неінвазивні записи фМРТ, у нього більш високий потенціал для застосування в реальних умовах, хоча дорожнеча та незручності апаратів є очевидною проблемою. Магнітоенцефалографія — ще один неінвазивний, але портативніший метод візуалізації мозку, який є більш точним у часі, ніж фМРТ. Нині тривають його випробування.
Найдивовижніше полягає в тому, що декодер зміг реконструювати стимули, в яких не використовувалася мова, хоча була навчена вимовленою мовою. Наприклад, після навчання алгоритм успішно реконструював зміст переглянутих сюжетів німого фільму, а також уявний досвід.
"Факт, що ці речі настільки перетинаються [у мозку], ми тільки починаємо розуміти", - говорить учений
Вчені перевірили, чи працюватиме декодер без добровільної згоди піддослідних. Дослідники просили учасників відволіктися. Їм пропонували порахувати, називати про себе та уявляти тварин, а також придумати іншу історію. Виявилося, що найбільш ефективним способом зробити декодування неточним було називання та уявлення тварин.
Також примітним є те, що декодер, навчений скануванням мозку однієї людини, не може реконструювати мову іншої. Тобто щоб подібний алгоритм прочитав ваші думки спочатку доведеться дуже довго його навчати.
Нагадаємо, вчені за допомогою нейро-інтерфейсу дали змогу паралізованим спілкуватися думками.
Бажаєте отримувати найактуальніші новини про війну та події в Україні – підписуйтесь на наш телеграм канал!