Езиков модел на 27B параметъра тръгна изцяло на iPhone — без облак

Американският стартъп PrismML пусна на 14 юли 2026 г. езиков модел с 27 милиарда параметъра, който работи изцяло върху iPhone — без връзка с облак и без изпращане на данни към сървър. Моделът се казва Bonsai 27B и според компанията е първият от този клас, който се събира в паметта на iPhone 17 Pro, заемайки едва 3,9 GB. Новината беше отразена от 9to5Mac и българските HiComm и Kaldata.

Какво точно е направено

Bonsai 27B е изграден върху open-source модела Qwen3.6 27B на Alibaba — същото семейство, за което писахме, когато Alibaba пусна Qwen 3.8. В пълна точност такъв модел заема около 54 GB и е немислим за телефон. PrismML свива тежестите драстично, като ги записва с ефективно 1–2 бита вместо стандартните 16.

Компанията предлага два варианта:

При тернарния вариант тежестите приемат три стойности (−1, 0, +1), а при 1-битовия — само две (−1, +1). Групово мащабиране във FP16 възстановява голяма част от загубеното качество: по данни на PrismML лаптоп версията запазва 95% от резултата на пълния модел през 15 теста, а телефонната — около 90%.

Моделът не е само за текст. И двата варианта са мултимодални — носят компактна 4-битова визуална кула, така че могат да „виждат“ екранни снимки, документи и вход от камерата. Контекстният прозорец е внушителните 262K токена, а моделът поддържа spekulativno dekodirane за ускорение. Всичко е под лиценз Apache 2.0.

Как работи на самия телефон

На iPhone Bonsai 27B се изпълнява през MLX — рамката на Apple за машинно обучение на устройство. Същият код върви и на iPad и Mac, а на видеокарти на NVIDIA — през CUDA.

Числата, които PrismML съобщава за производителността:

• ~11 токена в секунда на iPhone 17 Pro Max през MLX Swift;
• около 67 000 токена на едно пълно зареждане на батерията;
• след 5+ минути непрекъснато натоварване чипът започва да троттлва (намалява честотата заради топлина).

За сравнение, на десктоп хардуер разликата е огромна: до 87 tok/s на Apple M5 Max и до 163 tok/s на NVIDIA RTX 5090 в 1-битов режим. Телефонът е бавен, но важното тук е самият факт, че моделът изобщо се побира — а както отбелязва 9to5Mac, ограничението е паметта, не дисковото място: на 12 GB iPhone за модела остават реално около 6 GB, споделени с KV кеша и активациите.

Защо това е важно за поверителността

Основното предимство е просто. Когато моделът работи локално, заявките ви — съобщения, документи, снимки — не напускат телефона. „Колкото повече изкуствен интелект работи директно на устройството, толкова по-малко лични данни се озовават в облака“, заяви изпълнителният директор на PrismML пред CNBC.

Това е и посоката, в която самата Apple бута индустрията: все повече обработка на устройството, все по-малко зависимост от отдалечени сървъри и от скъпия облачен GPU капацитет, който днес е тясно място за целия сектор.

Какви са ограниченията

Bonsai 27B не е готов продукт за крайния потребител. Засега няма приложение — моделът е насочен към разработчици и ентусиасти, които да го вградят сами. Най-слабите места остават разбирането на изображения и използването на инструменти (tool use), където компресията си казва думата. А троттлингът след няколко минути показва, че за дълги, тежки задачи телефонът все още не е заместител на сървър.

Какво означава за бъдещето

Bonsai 27B е по-скоро доказателство на концепция, отколкото завършен продукт — но силно. Допреди година „сериозен“ езиков модел на телефон без облак звучеше нереалистично; сега 27-милиарден модел се събира в 3,9 GB и говори с 11 токена в секунда от джоба ви. Ако агресивната квантизация продължи да се подобрява, следващата вълна лични асистенти може да работи изцяло офлайн — по-бавно, но напълно поверително. За компании като Apple, които залагат именно на обработка на устройството, това е точно посоката, която търсят.