Нейромережа відтворила людську мову за активністю мозку

Фахівці з Нью-Йоркського університету створили нейромережу, здатну аналізувати нейронну активність кори головного мозку і за нею реконструювати мову людини. Ба більше, вчені додатково навчили мережу відтворювати голос пацієнта за кількома зразками голосових або відеозаписів, що дає змогу людям повернути свій голос навіть після його втрати.

Людське мовлення – це складна поведінкова активність, що містить у собі не тільки керування рухами безлічі ротових, гортанних і дихальних м’язів, а й одночасне опрацювання власної мови для її коригування. Поділ розгалужених нейронних мереж мозку, що контролюють точні рухи м’язів і обробляють слуховий зворотний зв’язок, визнають вкрай складним завданням. Однак його необхідно розв’язати для розроблення мовленнєвих протезів наступного покоління.

У багатьох моделях виробництва мови прийнято вважати, що ці дві системи анатомічно розділені. Система прямого зв’язку здебільшого керується вентральною лобовою корою, тоді як оброблення зворотного зв’язку здійснюється через різні сенсорні зони кори (наприклад, через звивину Гешля і верхню скроневу звивину). Але на практиці дві мережі нейронів значно перекриваються та взаємодіють, і навіть найсучасніші методи електрокортикографії (запис біоелектричної активності мозку за допомогою реєстрації сигналів з мережі електродів, імплантованих у кору головного мозку) не здатні відокремити процеси продукування мовлення від його обробки.

У новій роботі група дослідників зі США представила власну архітектуру нейромережі глибокого навчання, яка тренується на електрокортикографічних (ЕКГ) записах активності кори головного мозку людини для просторової і часової роздільної здатності моторних і сенсорних сигналів. Навчаючи нейромережу застосовувати причинні (використовують поточні та минулі нейронні сигнали), антипричинні (використовують поточні та майбутні нейронні сигнали) або непричинні (їхню комбінацію) тимчасові згортання, авторам дослідження вдалося реконструювати людську мову. Про свою розробку колектив учених розповів у статті, опублікованій у журналі Proceedings of the National Academy of Sciences.

Система декодування мови / © Wang R., et al., Proceedings of the National Academy of Sciences (2023)

Дослідники використали нейромережу для створення власних протезів, які зможуть зчитувати активність мозку і декодувати її безпосередньо в мову. Ба більше, прототип фахівців із Нью-Йоркського університету має ще одну особливість: він здатний значною мірою відтворити голос пацієнта, використовуючи лише невеликий набір записів – наприклад, із відео на YouTube або запису Zoom.

Декодовані та оригінальні зразки мовлення / © Wang R., et al., Proceedings of the National Academy of Sciences (2023)

Для збору даних і тестування свого прототипу дослідники звернулися до групи з п’яти пацієнтів із діагностованою рефрактерною епілепсією та порушеннями розвитку мовлення. У цьому стані пацієнт, який страждає на судомні напади, не реагує на лікування протиепілептичними препаратами в адекватних дозах і комбінаціях, а отже, не піддається медикаментозному лікуванню.

Цим пацієнтам імплантували в ліву півкулю мозку сітку з 64 стандартних субдуральних (розміщуються на поверхню кори головного мозку) електродів ЕЕГ для моніторингу їхнього стану протягом тижневого експерименту. Крім того, їм встановлювали додаткові 64 електроди меншого розміру, що чергуються між звичайними клінічними електродами для підвищення просторової роздільної здатності зчитуваного сигналу. Імплантована ЕКоГ-матриця надала дослідникам ключову інформацію про діяльність мозку під час процесу виголошення мови, що давало змогу з високою точністю її декодувати.