Як перетворити смартфон на потужну локальну AI-лабораторію
Завжди було відчуття особливої сили, коли великий мовний модел на твоєму телефоні завжди під рукою. Можна просто поставити питання в будь-який момент, швидко переглянути об’ємні документи або освіжити деталі зі зустрічей без запуску десктопу. Раніше це означало встановлення “важких” додатків на кшталт Google Gemini, що відправляли ваші запити на сервери рекламних гігантів.
Мій ПК тягне великі моделі, але вони завжди залишаються тут, на десктопі
Мій RTX 4070 Ti Super справно запускає потужні моделі на кшталт Qwen3.6-35B-A3B чи Gemma 4 26B A4B, але такі гіганти зазвичай «прив’язані» до комп’ютера. Наприклад, 4-бітна версія Gemma 4 26B важить близько 14,4 ГБ тільки на ваги, і, як ви розумієте, пам’яті iPhone для цього явно не вистачить.
Довго не міг зрозуміти, що є фактично безболісний спосіб користуватися цими можливостями без обмежень. Безкоштовний додаток LM Studio для iPhone дала змогу підключити телефон до моделі, що працює на моєму ПК. Якщо у вас налаштована локальна система ШІ, цей спосіб дозволить отримувати доступ до неї з будь-якого мобільного пристрою навіть вдома, максимально зручно та безпечно.
LM Studio виконує модель, а LM Link передає її вам в руки
Всі мої дані залишаються на моєму обладнанні, а не в мережі
Якщо ви вже знайомі з локальними ШІ, то, ймовірно, чули про LM Studio. Це середовище, що дозволяє завантажувати та запускати локальні моделі на вашому власному залізі. Остання версія (v0.4.28) містить функцію LM Link — місток між моїми пристроями і моделями на ПК. Оскільки LM Link базується на Tailscale, з’єднання від початку до кінця зашифроване, а ПК не відкривається в інтернет.
Активувати цю опцію можна в три прості кроки. Якщо у вас вже є акаунт LM Studio — це великий плюс. Після входу в LM Link в бічному меню, залишиться слідувати простим підказкам. На моєму iPhone довелося зареєструватися, після чого пристрій миттєво з’явився у списку підключених.
Найчастіше я користуюсь офіційною 4-бітною версією Gemma 4 26B A4B від Google. Це варіант з квантованим навчанням (QAT), який підтримує якість на рівні оригінального 16-бітного формату bfloat16. Важливо, що ця модель повністю вміщується у VRAM моєї відеокарти, а LM Studio заздалегідь повідомляє, що відеоадаптер може повністю завантажити модель — це дуже зручно, особливо з 16К контекстним вікном, яке я звик використовувати.
Чому мій телефон отримує 26-мільярдну модель, навіть не запускаючи її сам
Locally не має значення, чи я на Wi-Fi, чи на мобільному інтернеті
На стороні телефону достатньо лише одного додатку — Locally, розміром близько 116 МБ, який завантажується з Apple App Store. Для роботи потрібно увійти в свій акаунт LM Studio — і мій ПК миттєво з’явився в додатку з Gemma 4 підключеною. Використання нічим не відрізнялося від звичного чатбота, тільки сервер фізично знаходився у кімнаті поряд зі мною.
Особливо вразило, що Locally дозволяє отримувати доступ до моделі на ПК, навіть якщо телефон і комп’ютер не в одній мережі. Саме це й було однією з причин, чому я звернув увагу на LM Studio.
Щоб перевірити, чи це працює, я вимкнув Wi-Fi на iPhone і перевів його на мобільний інтернет. Підключення до моделі з десктопа продовжилось без жодних додаткових налаштувань — навіть не довелося відкривати порти на роутері. Для порівняння, на саморобному сервері llama.cpp довелося б нахабно возитися з VPN або відкривати доступ у мережу, що забирає багато часу і сил.
Є свої нюанси: ПК має залишатися увімкненим, поки користуєшся моделлю
І не факт, що LM Link завжди буде безплатним
Таке налаштування дійсно дуже зручне, але має деякі очевидні обмеження. По-перше, ПК повинен бути увімкненим і не заспляти, поки я користуюсь моделлю через телефон. Якщо Windows переходить у режим сну, з’єднання втрачено — а отже, і сам доступ до моделі.
Ще один момент — LM Link наразі безкоштовний у статусі Preview, але планується введення платних тарифів у подальшому. До того ж, додаток Locally працює виключно на iOS, тож користувачам Android поки що доводиться обмежуватись традиційними рішеннями на кшталт llama.cpp.
Тепер мої потужні моделі не прив’язані до десктопа
Якщо й далі підтримувати такий сервіс Locally, його вже можна вважати корисним інструментом. Адже він робить найкращі моделі, які я запускаю на ПК, зручними у кишені — поки GPU у спальні виконує всі обчислення. Це не лише зменшує залежність від зовнішніх сервісів типу ChatGPT чи Gemini, але й дозволяє тримати документи, які не хочеться відправляти у хмару, на локальному рівні. Звичайно, це дуже буде цікаво ентузіастам та професіоналам, які працюють з власними даними.
