Lyria 3.5 пише музика в Gemini, Meta слуша в реално време

Аудиото се оказа темата на седмицата. На 4 септември Google вгради модела си за музика Lyria 3.5 директно в приложението Gemini и го отвори в Gemini API, а няколко дни по-рано Meta Superintelligence Labs пусна Muse Voice Transcribe — модел, който транскрибира, разделя говорещите и усеща края на изречението едновременно, докато записът още тече.

Lyria 3.5: генератор на песни в чата

До момента Lyria живееше главно във Flow Music. Сега моделът е достъпен на всички потребители на Gemini в света — и в уеб версията, и в мобилното приложение, съобщава официалният блог на Google.

В приложението избирате или описвате жанр, решавате дали искате вокал, или инструментал, и дали да е кратък клип, или по-дълго парче. Има и шаблони за старт — фонова музика за видео, джингъл, персонализирана рождена песен. Google описва Lyria 3.5 като най-добре звучащия си музикален модел, с по-изразителен вокал и по-богати аранжименти от предшественика си, а резултатът е цяла структура с куплети, припев и бридж, а не залепен на цикъл откъс.

За разработчиците моделът е lyria-3.5 в Gemini API. Документацията е конкретна: изход в 44,1 kHz стерео, MP3 по подразбиране и WAV като опция, продължителност около няколко минути, която се управлява с текст в промпта („направи двуминутна песен“).

interaction = client.interactions.create(
    model="lyria-3.5",
    input="An epic cinematic orchestral piece about a journey home..."
)

Ограниченията също са ясни: генерирането е еднократно — не можете да редактирате готов клип с втори промпт. Всеки промпт минава през филтри, които блокират заявки за гласа на конкретен изпълнител или за защитен текст. И всяко парче носи невидим за ухото воден знак SynthID.

Google твърди, че Lyria е обучен само върху лицензирано съдържание — за разлика от Suno. Какви точно са данните обаче компанията не казва, отбелязва The Decoder, а без списък твърдението остава дума срещу дума.

Muse Voice Transcribe: 80 милисекунди наведнъж

Моделът на Meta решава друг проблем — не как машината звучи, а колко добре чува. Muse Voice Transcribe е първият модел за възприемане на звук в реално време от лабораторията и е част от семейството Muse Spark. Изследователският блог на Meta описва архитектурата: звукът се обработва на парчета от 80 ms (12,5 Hz), всяко от които става един „мек“ токен.

Интересното е адаптивното забавяне. Вместо фиксиран компромис между скорост и точност, моделът решава дума по дума колко да изчака — лесните излизат веднага, трудните получават още малко слушане. Балансът е тренирал с reinforcement learning, който едновременно наказва грешките и закъснението.

Снимка: Meta AI Research

Числата, измерени независимо от Artificial Analysis на 1 септември: 3,1% грешка на думите за английски при 0,16 секунди след края на речта. За сравнение — ElevenLabs Scribe v2 Realtime е с 3,6% при 0,14 s, а AssemblyAI Universal-3.5 Pro е с 4,0%. При разделянето на говорещи средната грешка е 17,5% на AMI-IHM, AMI-SDM и VoxConverse. Ако следите тези класации, вижте и как Artificial Analysis преработи методиката си наскоро.

Останалите способности: до над 20 говорещи в един поток, обучение на над 70 езика с 25 подробно проверени, превключване между езици в рамките на едно изречение и записи над един час без последваща обработка.

Цени и къде работи

В Meta Model API моделът е muse-voice-transcribe-1.0 и струва 3 щатски долара за 1000 аудио минути, тоест 0,18 долара на час (около 2,60 € за 1000 минути, или към 0,15 € на час). Cartesia Ink-2 е 4 долара, а ElevenLabs — 6,50 долара за същия обем.

Освен това моделът вече върши работа: захранва диктовката в Meta AI за Mac, където държите клавиша Fn и говорите в което и да е приложение, и в Muse Code. Теглата не са публикувани, нито броят параметри.

Защо двете вървят заедно

Google превръща музиката в поредната функция на чатбота — нещо, което досега изискваше отделен инструмент като Suno или Udio. Meta пък подготвя основата за асистент, който слуша непрекъснато: транскрипция, разпознаване на говорещия и усещане кога сте свършили изречението, събрани в един модел с 0,16 секунди закъснение. Точно тази комбинация липсва на гласовите режими днес — те чакат тишина, за да разберат, че е техен ред.

Практическото следствие ще го видите първо в приложенията, които вече опитват гласово управление навсякъде — от чатботовете в CarPlay до диктовката в редактора. Другата страна на медала е също толкова очевидна: модел, който е евтин, бърз и разпознава кой говори, прави постоянното слушане технически тривиално. Регулаторният разговор за това тепърва предстои.