Неймовірний прорив Xiaomi у швидкості обробки штучного інтелекту: понад 1000 токенів за секунду на стандартному обладнанні
Коли мова йде про Xiaomi, більшість людей одразу згадує недорогі смартфони, електросамокати чи очищувачі повітря. А от про те, що ця компанія першою у світі на звичайній 8-GPU системі змогла показати фантастичну швидкість роботи з моделлю на 1 трильйон параметрів — знають далеко не всі.
Що саме вдалося Xiaomi?
Xiaomi спільно зі своїм партнером TileRT анонсували режим обробки MiMo-V2.5-Pro-UltraSpeed, який реформує уявлення про продуктивність AI. Ця технологія показує більше 1000 токенів на секунду — у тестах із показниками до 1200 токенів. Для розуміння, токени — це частинки тексту, приблизно три чверті середнього слова, які модель аналізує чи генерує.
Надзвичайно важливо, що для цього не потрібне спеціальне обладнання, а лише звичайний вузол з 8 графічними процесорами. Це означає, що передові швидкості можуть отримати значно ширші користувачі та компанії без величезних витрат.
Порівняння з іншими лідерами галузі
Для більшої наочності наведемо дані про швидкість деяких інших моделей:
- GPT-5.5 — близько 68 токенів за секунду.
- Claude Opus 4.6 — приблизно 71 токен/сек на низькопродуктивній версії.
- Gemini Flash — 192 токени на секунду.
- Новинка Xiaomi MiMo-V2.5-Pro-UltraSpeed — 1000 токенів на секунду і більше.
Унікальність цього рекорду в тому, що попередні результати досягалися на менш складних моделях або вимагали дорогих, спеціалізованих процесорів.
Технологічні секрети неймовірної швидкості
FP4 Квантування – розумне зменшення обчислень без втрати якості
Перший трюк – це FP4 квантування, яке зменшує розрядність чисел у складних експертних шарах моделі до 4 біт замість традиційних 8 чи 16. Це зменшує обсяг пам’яті, розвантажує пропускну здатність і пришвидшує роботу моделі.
Що важливо: Xiaomi компресує лише експертні шари, залишаючи інші частини моделі у повній точності. Таким чином, якість роботи практично не страждає.
DFlash — новий підхід до видовищної декодувальної швидкості
Друга технологія — DFlash speculative decoding, яка кардинально змінює спосіб прогнозування наступних токенів. Замість поетапного (“по одному”) передбачення, DFlash пропонує повний блок токенів за один прохід.
У кодингових завданнях великий AI приймає в середньому 6.3 з 8 запропонованих токенів за раз. Це означає в рази швидший вихідний потік без втрати точності.
TileRT — рушійна сила “екстремального” симбіозу моделі та системи
Усе це доповнює інноваційний inference рушій TileRT, що робить весь обчислювальний конвеєр безперервно “живим” в GPU, без простоїв та лагів між операціями. Саме комбінація цих трьох інновацій дозволила Xiaomi перетнути межу в 1000 токенів на секунду.
Що це означає для користувачів та бізнесу?
Mimo-V2.5-Pro — це одна з найсучасніших моделей у світі, що демонструє відмінні результати у завданнях кодування за адекватною ціною, у сотні разів доступнішою за конкурентів.
Основні переваги такі:
- Можливість паралельно запускати десятки розумових процесів замість очікування відповіді на один запит.
- Застосування в системах виявлення шахрайства, генерації торгових сигналів, реального часового контролю агентів.
- Покриття високих вимог до затримки та продуктивності, які раніше були недосяжними.
Xiaomi пропонує API-тестування UltraSpeed з 9 по 23 червня з прицілом на корпоративних і професійних розробників, ставлячи ціну, що в три рази вища за стандартну, проте з швидкістю, що у десять разів більша.
Колаборації та суспільні ініціативи
Варто зазначити, що версія FP4-DFlash доступна у відкритому доступі на Hugging Face, що відкриває нові можливості для спільноти дослідників, розробників та ентузіастів AI по всьому світу.
Це значний крок, який демонструє не лише технічний прорив, а й готовність Xiaomi ділитися новими ідеями та розвивати інновації на світовому рівні.
