Коли ми говоримо, наш мозок ставить складний танець м’язів у роті та горлі, щоб сформувати звуки, з яких складаються слова. Ця складна робота відображається в електричних сигналах, що надходять до мовленнєвих м’язів.
В рамках нового прориву вчені втиснули величезний масив крихітних датчиків у простір, не більший за поштову марку, щоб зчитувати цю складну суміш електричних сигналів і передбачати звуки, які намагається вимовити людина.
“Мовленнєвий протез” відкриває двері в майбутнє, де люди, які не можуть говорити через неврологічні захворювання, зможуть спілкуватися за допомогою думки.
Ваша перша реакція може бути такою, що він читає думки. Точніше – датчики визначають, які м’язи губ, язика, щелепи та гортані ми хочемо рухати.
“Є багато пацієнтів, які страждають на виснажливі рухові розлади, такі як БАС (бічний аміотрофічний склероз) або синдром замкненості, які можуть погіршити їхню здатність говорити”, – говорить співавтор дослідження, нейробіолог Грегорі Коган з Університету Дьюка.
“Але сучасні інструменти, які дозволяють їм спілкуватися, як правило, дуже повільні і громіздкі”.
Зображення сенсорів на пристрої (пунктирна частина на білій смузі). (Ден Вахаба/Університет Дьюка)
Подібна нещодавня технологія розшифровує мову зі швидкістю приблизно вдвічі меншою, ніж середня швидкість мовлення. Команда вважає, що їхня технологія повинна поліпшити затримку, оскільки вона вміщує більше електродів на крихітній матриці для запису більш точних сигналів, хоча до того, як мовний протез стане доступним для громадськості, потрібно ще попрацювати.
“Ми знаходимося на тому етапі, коли це все ще набагато повільніше, ніж природне мовлення, але ви можете бачити траєкторію, на якій ви зможете досягти цього”, – сказав у вересні співавтор дослідження і біомедичний інженер з Університету Дьюка Джонатан Вівенті.
Дослідники сконструювали свою електродну решітку з надтонкого гнучкого пластику медичного призначення, з електродами, розташованими на відстані менше двох міліметрів один від одного, які можуть виявляти специфічні сигнали навіть від нейронів, розташованих дуже близько один до одного.
Сучасний мовний протез зі 128 електродами (ліворуч) і новий пристрій, який вміщує вдвічі більше сенсорів у значно меншому масиві. (Ден Вахаба/Університет Дьюка)
Щоб перевірити, наскільки корисними є ці мікроскопічні записи мозку для декодування мови, вони тимчасово імплантували свій пристрій чотирьом пацієнтам без мовних порушень.
Скориставшись можливістю, поки пацієнтам робили операції – трьом з них з приводу рухових розладів і одному з видалення пухлини – вони повинні були зробити це швидко.
“Мені подобається порівнювати це з роботою піт-команди NASCAR, – каже Коган. “Ми не хотіли додавати зайвого часу до операційної процедури, тому ми мали встигнути за 15 хвилин.”
Під час імплантації крихітного масиву команда змогла записати активність мовленнєвої моторної кори головного мозку, яка подає сигнали мовленнєвим м’язам, поки пацієнти повторювали 52 безглуздих слова. “Не-слова” включали дев’ять різних фонем, найменших звукових одиниць, які створюють вимовлені слова.
Записи показали, що фонеми викликали різні патерни сигнальної активності, і вчені відзначили, що ці патерни іноді накладалися один на одного, подібно до того, як музиканти в оркестрі змішують свої ноти. Це свідчить про те, що наш мозок динамічно підлаштовує нашу мову в реальному часі, коли ми вимовляємо звуки.
Біомедичний інженер з Університету Дьюка Сузендракумар Дурайвел використав алгоритм машинного навчання для оцінки записаної інформації, щоб визначити, наскільки добре активність мозку може передбачити майбутнє мовлення.
Деякі звуки були передбачені з 84-відсотковою точністю, особливо якщо звук був початком не-слова, наприклад, “g” у слові “gak”. Точність варіювалася і падала в більш складних ситуаціях, наприклад, для фонем в середині і в кінці не-слів, і в цілому декодер мав середній показник точності 40 відсотків.
І це на основі 90-секундної вибірки даних від кожного учасника, що вражає, враховуючи, що існуючі технології потребують години даних для декодування.
В результаті цього багатообіцяючого старту було отримано значний грант від Національного інституту охорони здоров’я для підтримки подальших досліджень і доопрацювання технології.
“Зараз ми розробляємо такий же тип записуючих пристроїв, але без дротів, – каже Коган. “Ви зможете пересуватися і не будете прив’язані до електричної розетки, що дуже захоплююче”.
Дослідження опубліковане в журналі Nature Communications..
