Як я запустив чат-бота на старому обладнанні і це реально спрацювало
Останнім часом я активно занурився у світ локальних великих мовних моделей (LLM). Так цікаво, що навіть спробував їх запускати на своєму смартфоні. Адже підписки на хмарні сервіси штучного інтелекту з часом стають дедалі дорожчими, а якщо не підвищуватимуть ціни, то скорочуватимуть ліміти на кількість оброблюваних токенів.
Саме тому я вирішив нарешті серйозно взятися за локальні обчислення, створити власне робоче середовище замість того, щоб чекати вимушених змін. І результат — тепер я маю дійсно зручний набір інструментів на своєму лептопі.
LM Studio: швидше за Ollama
Чому швидкість — це так важливо?
З Ollama я вже давно знайомий: він настроєний, працює і залишається незамінним. Коли потрібно підключити локальну модель до зовнішніх сервісів, наприклад, Claude Code, Ollama — мій вибір. Він краще інтегрується з іншими інструментами, і я не бачу сенсу міняти цю частину робочого процесу.
Проте для звичайного спілкування з моделлю LM Studio значно зручніший. Це справжній десктопний додаток, що швидко запускається, дозволяє підібрати і завантажити модель, а потім майже миттєво почати розмову. І все без жодних команд у терміналі — буквально за кілька хвилин.
Хоч у Ollama теж є десктопний застосунок, основна його сила — зв’язок з іншими програмами. Навіть у плані продуктивності LM Studio випереджає конкурента: тут більша швидкість обробки токенів, що визначає ефективність роботи.
Переваги LM Studio у виборі моделей
Одним з значущих плюсів LM Studio є зручність пошуку моделей. Усередині програми можна відфільтрувати за кількістю параметрів, типом квантізації та сферою застосування, так само легко оцінити розмір завантаження до старту. Це набагато практичніше, ніж відкривати різні вкладки в браузері.
- Підтримка додатків: DuckDuckGo для актуальних результатів пошуку і Wikipedia для швидких посилань.
- Покращення зручності: живі пошукові дані доповнюють відповіді моделей, виправляючи проблему застарілої інформації.
- Практичність у повсякденному використанні — не революційно, але дуже корисно.
Водночас LM Studio не так підходить для роботи у фоновому режимі на підтримку інших застосунків — тут роль зберігає Ollama. Вони працюють на різних портах, тому можуть співіснувати на одній машині без конфліктів. Ollama запускається у фоновому режимі, а LM Studio — коли хочеться безпосередньо поговорити з моделлю.
Моделі, які я запускаю на своєму MacBook
4B модель може бути цілком пристойною
Вибір першої локальної мовної моделі — не такий вже і складний процес, якщо розуміти основні терміни: кількість параметрів і квантізація.
Цифра перед літерою “B” означає мільярди параметрів. Зазвичай, більше параметрів — це потужніша модель, але і більш ресурсомістка. 4B модель запускається швидко і комфортно на будь-якому сучасному Mac, тоді як 12B вже потребує мінімум 16 ГБ оперативної пам’яті і залишає менше місця для довгих діалогів.
Квантізація — це спосіб стискання ваг моделі для зменшення споживання пам’яті. Найпоширеніший формат, Q4_K_M, знижує точність до 4-біт, але на якість це майже не впливає, при цьому знижуючи навантаження десь на 75%.
Оптимальна конфігурація для MacBook
На MacBook Air або Pro з 16 ГБ об’єднаної пам’яті можна запускати локальні AI-моделі без проблем. macOS вважає кілька гігабайт для системи, тому реально залишається близько 12–13 ГБ для моделей і контексту, що вистачає для досить потужної роботи без перегрівів і «тормозів».
Наразі моєю улюбленою моделлю є Gemma 4 E4B від Google — більш нова модель із MoE-архітектурою. Вона комфортно запускається на 16 ГБ, досить швидка та підтримує одночасну обробку тексту і зображень. Наприклад, можна просто вставити скриншот у чат — це виявилося значно зручнішим, ніж я очікував.
Варто також звернути увагу на сімейство моделей Qwen, які чудово працюють для різних сценаріїв. Хоча вибір багато в чому залежить від технічних параметрів вашого пристрою і задач, які ви хочете виконувати, експерименти з різними моделями точно не будуть зайвими.
А якщо мого лептопа замало?
Використовуйте власну “хмару”!
MacBook впевнено тягне більшість завдань, але іноді його ресурсів таки не вистачає: більші моделі, довгі контексти або кілька одночасних процесів потребують більшої потужності.
Я зібрав приватний AI-сервер на базі Mac mini, де більше пам’яті і потужності.
- На ньому працює Ollama, що підтримує великі моделі, які не запустилися б на лептопі.
- Основною моделлю для програмування є квантований Qwen 3.6 27B, він виконує більшість моїх робочих завдань бездоганно.
- Зв’язок між пристроями забезпечує Tailscale — приватна, зашифрована мережа, що об’єднує всі гаджети незалежно від фізичного розташування.
Таким чином, я можу працювати з потужними моделями де завгодно, залишаючись у безпеці й не наражаючи доступу у публічний інтернет. Жодних API-ключів, обмежень на використання чи непередбачуваних підвищень тарифів.
Усе під контролем завдяки власному серверу
Власна інфраструктура означає, що всі обчислення відбуваються на моєму обладнанні, доступ до моделей — лише в межах моєї приватної мережі, а залежність від сторонніх сервісів зводиться до мінімуму. Це дає максимальну свободу і контроль.
Куди рухається локальний штучний інтелект?
Моя мета була проста — позбутися максимальної кількості підписок на комерційні AI-сервіси. Прогрес помітний: під місцевим керуванням зараз працюють більшість моїх повсякденних завдань.
Звичайно, для складних і глибинних задач я поки що звертаюся до Claude, і навряд чи це зміниться найближчим часом. Проте, якби півроку тому хтось сказав, що я так далеко зайду зі своїми локальними моделями на власному залізі — навряд чи повірив би.
Швидкість розвитку вражає: те, що здається пристойним локальним рішенням сьогодні, ще рік тому виглядало фантастикою. Можливо, майбутнє за локальним обчисленням, і саме воно стане стандартом для більшості користувачів.
