Хакната PS5 върти локални AI модели със 124 токена/сек

Разработчикът, известен в GitHub като abhi245y, пусна PS5LM Plus — приложение, което кара джейлбрейкната PlayStation 5 да изпълнява локални езикови модели директно върху графичния си процесор. Последната стабилна версия v0.8.3 е от 13 октомври, а на 17 октомври излезе и pre-release v0.8.4. Измерените скорости стигат до 124 токена в секунда, което превръща конзолата в напълно използваем домашен AI сървър. За новината у нас писаха HiComm и TechNews.bg.

От един токен на минута до 124 в секунда

Проектът стъпва върху PS5LM на турския разработчик Mert Cobanov — порт на llama.cpp за хакната конзола, който обаче работеше само на процесора. Там 27-милиардният модел пълзеше с около един токен на минута: технически постижение, практически безполезно.

PS5LM Plus решава точно този проблем. Авторът пренася RADV — отвореният AMD драйвер от проекта Mesa, с който работят Linux машините — върху силициума на конзолата чрез порта PS5_Vulkan на Mihawk-99, и пуска llama.cpp през неговия Vulkan backend, без класически Vulkan loader.

Вторият ключов ход е, че PS5LM Plus не е payload, а native приложение. Това му отваря 12-те GiB директна памет на конзолата в един heap от 11,44 GiB, вместо около 6 GB, с които се задоволяваше предишният подход. Отгоре на това PS5 има GDDR6 памет с 448 GB/s честотна лента — цифра, за която повечето настолни компютри могат само да мечтаят.

Какво реално се получава

Числата от хранилището на проекта в GitHub са измерени при 64k контекст:

Модел	Размер	Скорост
Llama 3.2 3B Instruct Q4_K_M	1,9 GiB	124 tok/s
Gemma 4 E4B QAT q4_0	4,8 GiB	61 tok/s
Qwen3.8-27B UD-IQ2_XXS	6,8 GiB	20,7 tok/s
Qwen3.8-27B UD-Q2_K_XL (32k)	9,2 GiB	20,3 tok/s

На екрана от самото приложение се вижда и останалата телеметрия: 20,9 токена в секунда при генериране, 58 токена в секунда при обработка на промпта, GPU натоварване 100% срещу едва 2% на процесора, 86 W консумация на SoC-а, или 4,1 джаула на токен. Температурата на чипа стои на 55 °C, а вентилаторът се върти на 23% — конзолата дори не се напъва.

Снимка: PS5LM Plus / GitHub

Сървър за цялата мрежа

PS5LM Plus не е просто демо. Приложението вдига уеб интерфейс и API на порт 8081, съвместим едновременно с OpenAI Chat Completions и с Anthropic Messages. Това означава, че всяко устройство в домашната мрежа може да го ползва, включително инструменти за писане на код като opencode, codex, aider и Claude Code:

curl http://192.168.1.2:8081/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3.8-27b","messages":[{"role":"user","content":"Здравей"}]}'

На телевизора стои dashboard с показателите в реално време, а библиотеката поддържа всеки GGUF модел и всяка квантизация, която llama.cpp разбира — от 1 до 8 бита, с директно теглене от Hugging Face. Моделите се четат както от вътрешния диск, така и от USB.

Цената на удоволствието

Задължително условие е джейлбрейкната конзола с payload-ите kstuff-lite, etaHEN и ShadowMountPlus; elfldr на порт 9021 се препоръчва силно, защото без него приложението не вижда сензорите за температура и мощност. Инсталацията е копиране на папката PPSA99581 в /data/homebrew/ през FTP.

Ограниченията също са реални. Общите 16 GB RAM поставят твърд таван на размера на модела, смяната на модел изисква рестарт на приложението заради непълно освобождаване на паметта, а дългите промптове означават дълго чакане. И най-важното: модифицираната конзола носи риск от бан на PlayStation Network.

Защо това има значение

Отвъд хакерската естетика, PS5LM Plus е нагледна илюстрация колко евтин е станал локалният inference, когато имате бърза памет и GPU, който някой е успял да програмира. Втора ръка PS5 е значително по-достъпна от видеокарта с 12 GB VRAM, а моделите с отворени тегла вече догонват големите услуги.

Проектът е под GPL-3.0, а llama.cpp запазва своя MIT лиценз. В по-широк план случаят подсилва и спора кой какво притежава, след като плати — същият въпрос, който стои зад законопроекта купената игра да е ваша, а не лиценз. Sony засега мълчи, но е трудно да си представим, че компанията гледа с умиление на конзола, която вместо игри обслужва чат модели по локалната мрежа.