Pixel 11 превежда жестовия език в текст в реално време

Google DeepMind обяви на 12 август 2026 модел на име SL2T (sign-language-to-text), който превежда американския жестов език в английски текст в реално време. Функцията тръгва в Gboard като „sign-to-text“ диктовка и в приложението Live Transcribe, а първите устройства, които я получават, са от серията Pixel 11 — без допълнително заплащане. Компанията описва това като първия модел за жестов език, стигнал до масов потребителски продукт.

Какво прави и къде се появява

Идеята е проста за описване и трудна за изпълнение: където обикновено бихте писали на клавиатурата, вече можете да жестикулирате пред камерата. Съобщение в чат, търсене в Google, въпрос към Gemini — SL2T връща текст, който върви на потока, докато жестикулирате.

В публикацията си DeepMind настоява на една важна разлика. Жестовите езици не са „ръчна версия“ на говоримите — те са самостоятелни езици със собствена граматика и лексика. Затова задачата е машинен превод, а не разпознаване на отделни знаци.

Как работи: телефонът вижда точки, не картина

Тук е и най-интересната част от инженерна гледна точка. На самото устройство работи MediaPipe Holistic — модел за компютърно зрение, който проследява ключови точки по ръцете, лицето, торса и главата на жестикулиращия. Към сървърите на Google заминават само тези геометрични координати; самото видео не напуска телефона и се изхвърля веднага.

Тоест преводаческият модел никога не вижда изображението от камерата. Това решава едновременно два проблема — поверителността и обема данни, който трябва да се прехвърля, за да остане закъснението поносимо.

Втората техническа особеност е, че SL2T превежда директно от последователността точки към текст, без междинния слой „gloss“ (условна запис на жестовете с думи). Междинният запис традиционно изяжда точно това, което носи значението в жестовия език: изражението на лицето, посоката на погледа, използването на пространството пред тялото.

Числата зад модела

Обучението е върху над 100 000 часа материал от 50+ жестови езика, като около една четвърт е американски жестов език. На бенчмарка FLEURS-ASL моделът постига 70 BLEURT при zero-shot оценка.

Отделно има оптимизации за неща, които се пропускат лесно в лаборатория: разпознаване при жестикулиране само с една ръка, поддръжка на левичари и механизъм срещу халюцинации, когато камерата хване движение, което изобщо не е жест.

Google казва и къде греши

Рядко се случва, но заедно с модела е публикуван и съвместен доклад за възможностите и ограниченията, съавторстван с новосъздадения консултативен комитет AISLAC — организации и експерти от глухата общност по света. Екипът за жестов език в DeepMind се води от Sam Sepah, който самият е глух.

Изброените грешки са конкретни: бърз fingerspelling се обърква (примерът на Google е „prey“, разпознато като „grey“), пасивните конструкции създават проблеми, класификаторните описания понякога изпадат от превода, а глаголното време без контекст се сгрешава — „kicked off“ става „start“.

Кога и на какво

Според Notebookcheck функцията към момента е ексклузивна за Pixel 11 и работи само в посока американски жестов език към английски. Google обещава още езици и още устройства, но без конкретна дата. Телефоните тръгват към клиентите на 20 август, а цените в Европа започват от 999 евро за базовия модел — подробностите за цялата серия можете да видите в обзора ни на Pixel 11.

Извън посоката „към текст“ остава и другата половина от разговора: модели, които генерират жестове от текст. Те са в пътната карта, но не и в този релийз.

Заключение

За жестовия език това е ключова стъпка от демо към телефон в джоба — и то реализирана така, че видеото да не излиза от устройството. Реалната проверка обаче тепърва предстои: 70 BLEURT е приличен резултат за бенчмарк, но ежедневното общуване е с диалекти, лоша светлина и хора, които жестикулират бързо. Ако функцията издържи този тест, тя ще е по-полезна за нейните потребители от всяка друга новост в серията — включително обмена на файлове с едно докосване. А ограничението „само ASL, само Pixel 11“ показва точно колко рано е още.