Имплант дава реч и жестове наведнъж чрез аватар

Екип на Калифорнийския университет в Сан Франциско (UCSF) съобщи на 14 септември, че един-единствен мозъчен имплант може да разчита едновременно опита за говор и опита за жест при хора с тежка парализа и да ги превежда в реч и движение на персонален аватар. Изследването е публикувано в Nature Neuroscience и е описано от Science, а Националните здравни институти на САЩ (NIH), които финансират работата, го обявиха със собствено съобщение.

Досегашните невропротези умееха едното или другото: или синтезираха реч, или управляваха курсор и роботизирана ръка. Тази система прави и двете в един и същи момент — аватарът може да каже „здравей“, докато маха с ръка, или да кимне, докато изговаря „да“.

Как работи

В основата стои електрокортикография (ECoG) — тънка решетка от електроди, положена върху повърхността на кората, без да прониква в мозъчната тъкан. Масивът от 253 електрода покрива достатъчно голяма част от сензомоторната кора, за да улавя както сигналите за говорния апарат, така и тези за движенията на горната част на тялото.

Оттам нататък работата е на два декодера, обучени с машинно самообучение и пуснати паралелно в реално време: единият превръща активността в думи и фрази, другият — в жест. Участниците могат да използват само реч, само жест или двете заедно.

Аватарите не са обща анимация. За всеки участник екипът е изградил персонален модел на цялото тяло с Unreal Engine — същата платформа, с която се правят видеоигри.

„Разговорът е много повече от изречените думи. Това е многопластов, динамичен процес, в който участва цялата моторна кора“, обяснява неврохирургът Едуард Чанг, който ръководи екипа.

Снимка: Chang Lab, UCSF

Какво показват резултатите

Системата е тествана с трима души с тежка парализа — след инсулт или с амиотрофична латерална склероза (ALS). При двама от тях декодирането е стигнало до управление на аватара.

За обучението участниците са репетирали до 10 жеста и до 10 думи и фрази, което дава 100 възможни комбинации. Жестовете са от всекидневния репертоар: свиване на рамене, вдигнат юмрук, кимане, махване с ръка. Според съобщението на NIH един от участниците е постигнал средна точност от 100% едновременно за реч и за жест в три последователни блока разговор.

Най-интересната част обаче не е точността, а наблюдението зад нея. Изследователите очаквали, че сигналът при едновременни реч и жест ще бъде просто сбор от двата поотделно. Оказало се друго: картината е различна и декодери, обучени върху записи от едновременни действия, се справят осезаемо по-добре от такива, тренирани върху изолирани реч и жест. Мозъкът, казано просто, прави нещо трето, когато говорим и жестикулираме заедно.

„Тези обещаващи резултати ми дават надежда, че можем да върнем цялостния характер на човешката комуникация“, коментира Дебара Тучи, директор на института по глухота и комуникационни нарушения към NIH.

Докъде стига и докъде не

Тук е мястото за трезвата част. Става дума за двама души, малък набор от фрази и жестове и лабораторна постановка с кабелна връзка, а при третия участник системата не е проработила по същия начин. Това е изследователска демонстрация, не медицинско изделие, което утре влиза в клиниките.

Работата е продължение на линия, започната от същата лаборатория през 2023 г., когато аватар изговаряше мислите на жена с парализа със скорост около 78 думи в минута и 25% грешка на думата. Новото тук е езикът на тялото — интонацията на разговора, която думите сами не носят.

Следващата стъпка, която екипът си поставя, е напълно имплантируема безжична версия за дългосрочна употреба у дома. Без нея тази технология остава в лабораторията.

Защо си заслужава вниманието

Докато публичният разговор за изкуствения интелект се върти около рискове и искания за независим надзор над фронтира, тук виждате тесен, конкретен модел, който върши точно една задача: превежда електрическа активност в жест и дума за човек, който не може да направи нито едното, нито другото. Резултатът няма да промени статистиката за инсултите, но променя това, което един парализиран човек може да каже — и как изглежда, докато го казва.