Інновація у світі ШІ: як бразильський IT-експерт навчив штучний інтелект “бачити” помилки
Історія про те, як незвичайний інструмент допомагає штучному інтелекту працювати з фізичним обладнанням, змінює уявлення про автоматизацію налагодження та тестування електроніки. Бразильський айтішник із квадриплегією розробив відкритий проєкт claude-code-eyes, що дає можливість автономному ШІ-агенту бачити через камеру та виправляти помилки інтерфейсу без людського втручання.
Виклик і початок проєкту з ESP32
Працюючи над проєктом з використанням мікроконтролера ESP32, розробник поставив за мету перевірити, чи спроможний Claude Code виконати весь цикл — написати прошивку, налаштувати реле, провести тести й оновити пристрій “по повітрю” (OTA). ШІ чудово впорався, але виникла складність із некоректним відображенням тексту на невеликому дисплеї.
Для людини з обмеженими руховими можливостями цей процес був надто виснажливим — потрібно було робити скріншоти або фотографії, надсилати їх собі через WhatsApp, завантажувати, а потім передавати в чат із Claude для аналізу. Такий спосіб ускладнював і сповільнював роботу.
Автоматизація “зору” для штучного інтелекту
Щоб позбутися зайвих рутинних кроків, розробник вирішив створити навичку, що дала би Claude Code змогу отримувати зображення напряму з камери. Це може бути старий смартфон під керуванням IP Webcam, камера Raspberry Pi або будь-який інший пристрій із URL для миттєвого знімка (snapshot).
- Після отримання фото ШІ багатоетапно аналізує його, як звичайний файл.
- Виявляє та виправляє дефекти у відображенні.
- Редагує код і отримує підтвердження результатів після повторного оновлення мікроконтролера.
Що це дає на практиці
Так Claude Code реально помічає баги, які не під силу впіймати ніяким юніт-тестам:
- Занадто викривлені або зіпсовані шрифти.
- Текст, який обрізається на краю екрана.
- Дроти, підключені неправильно.
Особливості самодіагностики інструмента
Розробник також подбав про зручність і надійність:
- Якщо зображення розмите або зняте надто далеко, ШІ не робить сумнівних висновків і просить краще налаштувати камеру.
- Порожній кадр не вважається “без помилок”, а спонукає перевірити, чи справна само камера.
Технічна реалізація та доступність
Код цього інструменту дуже компактний — близько 100 рядків Bash-коду і конфігураційний файл SKILL.md. Проєкт поширюється під відкритою ліцензією MIT, що робить його доступним для широкого кола користувачів. Встановлення займає одну команду, а сам Claude Code може навіть автоматично сканувати локальну мережу в пошуках підключених IP-камер.
Весь вихідний код і демонстрація роботи доступні у відкритому репозиторії на GitHub, що дозволяє будь-кому ознайомитися з рішенням і застосувати його у своїх розробках.
