Мозковий імплантат допоміг паралізованому чоловікові знову говорити – двома різними мовами.
Він може перемикатися між англійською та іспанською мовами, використовуючи той самий декодер мовлення.
Мозковий імплантат Asingle був використаний для відновлення мовлення паралізованого чоловіка як його рідною іспанською, так і англійською мовами. Незважаючи на те, що він вивчив англійську набагато пізніше, інтерфейс “мозок-комп’ютер” (BCI) зміг визначити, якою мовою він намагається говорити, без необхідності програмувати його заздалегідь – і цілком можливо, що це може працювати ще краще для людей, які більшу частину свого життя були двомовними.
36-річний учасник цього дослідження став паралізованим після інсульту, який вразив частину стовбура мозку. Неймовірно, але саме у віці 30 років – після інсульту – він досяг вільного володіння англійською, своєю другою мовою. І це незважаючи на діагноз дефекту мовлення – анартрія. Його когнітивні функції не постраждали, але він зберіг лише невеликий контроль над голосовим апаратом, достатній для того, щоб видавати хрюкання і стогони, але не слова.
Чоловік спілкувався за допомогою інтерфейсу, який дозволяв йому вимовляти слова за допомогою невеликих рухів голови, але імплантація BCI мала потенціал для значного покращення цього процесу.
У попередніх дослідженнях ми бачили, який трансформаційний вплив може мати ця технологія. Нещодавно дослідники представили перші результати роботи над системою, яка може допомогти повернути мову людям, що не мають фізичного контролю над своїм голосом. Інші системи можуть допомогти людям друкувати на комп’ютері, уявляючи, що вони пишуть від руки. Навіть компанія Ілона Маска Neuralink працює над цим, нещодавно імплантувавши свій перший пристрій BCI, який, як кажуть, працює як “телепатія”.
Той факт, що учасник цього випробування був двомовним, додав ще один рівень інтересу.
“Досі залишалося незрозумілим, якою мірою двомовне мовлення залежить від унікальної чи спільної активності кори головного мозку в різних мовах”, – пишуть автори у своїй статті. Це означає, що вони не знали, чи зможе один пристрій декодувати нейронну активність однаково, коли людина намагається говорити англійською та іспанською мовами.
Успішна операція з імплантації відбулася понад три роки тому. Пристрій містить решітку з 128 електродів і був прикріплений до поверхні лівої півкулі мозку пацієнта, над областями, які, як відомо, є важливими для мовлення. Вбудований у череп роз’єм дозволяє підключити пристрій до комп’ютерної системи.
Ідея імплантату полягає в тому, що він переводить нейронну активність, яка зазвичай сигналізує м’язам обличчя та голосового тракту, що ви намагаєтеся вимовити певне слово. Існують докази того, що коли ви вивчаєте другу мову, мозок ефективно мапує її на всі мовленнєві патерни, які ви вже маєте з рідної мови – тому автори припустили, що спільні характеристики між англійською та іспанською мовами в мозку чоловіка можуть дозволити імплантату відтворювати будь-яку з цих мов.
Проте імплантація апаратного забезпечення – це лише частина справи. Програмне забезпечення також потрібно було навчити. Почали з обмеженого словникового запасу: 51 англійське слово, 50 іспанських слів і три слова, які були однаковими в обох мовах – наприклад, прізвисько чоловіка, Панчо. Під час тренування учаснику показували слова на екрані одне за одним, а потім він повинен був спробувати вимовити їх, щоб система навчилася правильно перекладати його мозкову активність.
Щоб полегшити завдання, дослідники використали досягнення, які ми бачили у великих мовних моделях, подаючи вихідні дані системи у GPT2. Це допомогло знизити рівень помилок.
Після всіх цих тренувань головним випробуванням було те, чи зможе учасник насправді використовувати систему для розмови, використовуючи цю попередньо натреновану лексику. Як показують автори в додатковому відео 3, це було дійсно можливо, і він міг перемикатися між мовами за власним бажанням.
Незважаючи на обмеження невеликого словникового запасу і необхідність постійного навчання для регулярного калібрування системи – хоча ця система протрималася довше, ніж деякі інші, 48 днів – це захоплююче вікно в те, що може бути досягнуто в міру розвитку цієї технології. Це також розширює наші знання про те, як білінгвізм працює в мозку.
В ідеалі така система мала б бути ще гнучкішою, щоб дозволити користувачам перемикатися між мовами навіть у межах одного речення. Автори оптимістично налаштовані щодо своєї технології, роблячи висновок, що вона має “потенціал для відновлення більш природної комунікації для багатьох двомовних людей з паралічем, які можуть отримати від цього користь”.
