Nvidia: линейна алгебра замества скъпите AI преходи

Група изследователи на Nvidia показа, че една от най-скъпите операции в съвременните AI системи — смяната на модела насред разговор — може да се избегне с математика от първи курс. В публикация в arXiv от 4 август 2026 г. екипът описва метод, който пренася KV кеша от по-малък към по-голям модел от същото семейство чрез обикновена линейна регресия и постига между 2,7 и 25 пъти ускорение спрямо стандартното преизчисляване. За работата първи писа VentureBeat на 21 август.

Защо смяната на модел струва скъпо

Днешните агентни системи рядко ползват един модел. Малък модел поема рутинните стъпки, а когато задачата се усложни, щафетата се предава на по-голям. Проблемът е, че приемащият модел не може да ползва нищо от свършеното дотук — той трябва да прочете целия досегашен контекст отначало и да си построи собствен KV кеш. Тази фаза се нарича prefill и при дълъг контекст тя е основният разход в сметката за GPU време и в закъснението, което потребителят усеща.

Оттук идва и наблюдението на екипа: щом двата модела са обучени по един и същи начин и върху сходни данни, вътрешните им представяния може да не са толкова различни. Оказва се, че между съответните ключове и стойности на двата модела има силна линейна зависимост.

Снимка: Nvidia / VentureBeat

Как работи мапърът

Методът се казва cross-model KV cache transfer и има три части, всичките без нито едно обучение с градиентен спуск:

1. Избор на изходни слоеве. Двата модела имат различен брой слоеве, затова за всеки целеви слой се търсят най-предсказващите слоеве от източника.
2. Махане на RoPE. Позиционното кодиране се съблича от ключовете, преди да се направи преобразуването. Така картата става независима от позицията и работи при произволна дължина на контекста.
3. Ridge регресия на ниво attention head. Решението е в затворена форма — няма итерации, няма learning rate.

Калибрирането минава върху едва 500 текста от FineWeb-Edu по 1024 токена. Самото напасване отнема около час на осем H100 и се прави еднократно за дадена двойка модели.

Числата обясняват защо изобщо работи: при двойката Qwen3 14B → 32B един-единствен изходен слой обяснява 56% от вариацията в ключовете и 32% в стойностите на целевия модел, а с няколко слоя стойностите се качват до 79% и 65%.

Резултатите

Тествани са шест двойки от три семейства — Qwen3, Llama 3.1 и Ministral 3, в диапазона от 3 до 70 милиарда параметъра. На четири от двойките пренесеният кеш запазва между 73% и 98% от точността, която целевият модел би постигнал, ако сам си беше направил prefill. Измерванията са на ARC-Challenge, HellaSwag, WinoGrande, MMLU и GSM8K, плюс perplexity на WikiText-2 и многоходовия CoQA.

Най-нагледният пример: кеш от 32 768 токена се прехвърля от Qwen3 14B към 32B за 278 милисекунди срещу около 7 секунди за нормален повторен prefill. Най-големият скок в размера е Llama 3.1 8B → 70B — 8,8 пъти повече параметри при запазени 72,8% от точността.

Екипът не крие и провалите. При две от конфигурациите на Ministral линейната карта се разпада и се налага да бъде заменена с малък MLP, който връща до 37 процентни пункта на HellaSwag. Това е важен детайл: линейността не е универсален закон, а свойство на конкретни двойки модели.

Какво остава нерешено

Ограниченията са ясно изброени. Методът работи само между модели от едно семейство и при съвпадащ брой KV heads. Прехвърляне между различни семейства, при несъвпадащи глави и при хибридни архитектури остава за бъдеща работа.

Практическият ефект обаче е реален още сега. Ако едно облачно API може да вдига и сваля размера на модела според трудността на въпроса, без да плаща prefill при всяко превключване, каскадите от модели стават чувствително по-евтини. Същата логика движи и експериментите на Netflix с езиков модел вместо ръчна логика, където цената на инференса решава дали идеята изобщо е приложима.

Заключение

Резултатът няма нищо общо с по-голям модел или по-мощен чип — това е оптимизация, която тече изцяло в софтуера и се калибрира за час. За Nvidia, която междувременно плаща милиарди за софтуерни активи като Model Factory на Poolside, това е поредното напомняне, че част от печалбите в AI вече идват не от силикона, а от математиката около него. Ще видим дали методът ще излезе извън рамките на едно семейство модели — там е истинската проверка.