Трохи більше року тому був представлений Raspberry Pi AI HAT+ ‒ додаткова плата для Raspberry Pi 5 з нейронними мережевими прискорювачами Hailo-8 (варіант 26-TOPS) та Hailo-8L (варіант 13-TOPS). Оскільки вся обробка ШІ відбувається безпосередньо на пристрої, AI HAT+ надав нашим користувачам справжні передові можливості ШІ, забезпечуючи їм конфіденційність та безпеку даних, одночасно усуваючи необхідність підписки на дорогі хмарні сервіси ШІ.
Хоча AI HAT+ забезпечує найкраще у своєму класі прискорення для моделей нейронних мереж на основі зору, включаючи виявлення об’єктів, оцінку пози та сегментацію сцени (можна побачити це в дії тут), йому бракує можливості запускати дедалі популярніші моделі генеративного ШІ (GenAI). Сьогодні ми раді анонсувати Raspberry Pi AI HAT+ 2, наш перший продукт ШІ, розроблений для заповнення прогалини в генеративному ШІ.
Нижче наведені основні відмінності у можливостях між AI HAT+ та AI HAT+ 2, щоб отримати інформацію про конкретні варіанти продуктивності мікросхем-акселераторів, доступних для кожної моделі:
Параметри | AI HAT+ | AI HAT+ 2 |
Чіп підсилювача (Hailo NPU) | Hailo-8L (13 TOPS, INT8) або Hailo-8 (26 TOPS, INT8) | Hailo-10H (40 TOPS, INT4) |
Пам’ять (RAM) | Використовує пам’ять Raspberry Pi 5 | Має власну вбудовану пам’ять об’ємом 8 ГБ, що дозволяє запускати LLM та VLM з приблизно 6 мільярдами параметрів. |
Підтримка Large Language Model (LLM) | Не підтримується | Підтримується |
Підтримка Vision-Language Model (VLM) | Не підтримується | Підтримується |
Використання | Виявлення об’єктів, постобробка камери, робототехніка, помірні нейронні навантаження | Все, що доступно на AI HAT+, плюс генеративні робочі навантаження ШІ, включаючи локальні LLM та VLM |
Розблокуйте генеративний ШІ на своєму Raspberry Pi 5
Завдяки новому нейронному мережевому прискорювачу Hailo-10H, Raspberry Pi AI HAT+ 2 забезпечує продуктивність логічного висновку 40 TOPS (INT4), забезпечуючи безперебійну роботу генеративних ШІ-навантажень на Raspberry Pi 5. Виконуючи всю обробку ШІ локально та без мережевого підключення, AI HAT+ 2 працює надійно та з низькою затримкою, зберігаючи конфіденційність, безпеку та економічну ефективність безхмарних обчислень ШІ, які ми представили з оригінальним AI HAT+.
На відміну від свого попередника, AI HAT+ 2 має 8 ГБ виділеної вбудованої оперативної пам’яті, що дозволяє прискорювачу ефективно обробляти набагато більші моделі, ніж це було можливо раніше. Це, разом з оновленою апаратною архітектурою, дозволяє чіпу Hailo-10H прискорювати моделі з великими мовами програмування (LLM), моделі з мовним розумінням (VLM) та інші генеративні програми ШІ.
Для моделей на основі зору, таких як розпізнавання об’єктів на основі Yolo, оцінка пози та сегментація сцени, продуктивність комп’ютерного зору AI HAT+ 2 загалом еквівалентна продуктивності його попередника з 26-TOPS завдяки вбудованій оперативній пам’яті. Він також має таку ж тісну інтеграцію з нашим стеком програмного забезпечення для камер (libcamera, rpicam-apps та Picamera2), як і оригінальний AI HAT+. Для користувачів, які вже працюють з програмним забезпеченням AI HAT+, перехід на AI HAT+ 2 є здебільшого безпроблемним та прозорим.
Наступні LLM будуть доступні для встановлення під час запуску:
Модель | Параметри/розмір |
DeepSeek-R1-Distill | 1.5 мільйона |
Llama3.2 | 1 мільйон |
Qwen2.5-Coder | 1.5 мільйона |
Qwen2.5-Instruct | 1.5 мільйона |
Qwen2 | 1.5 мільйона |
Більше (і більших) моделей готується до оновлень і мають бути доступні для встановлення невдовзі після запуску.
Давайте коротко розглянемо деякі з цих моделей у дії. У наступних прикладах використовується серверна частина LLM hailo-ollama (доступна в Hailo’s Developer Zone) та фронтенд Open WebUI, що забезпечує знайомий інтерфейс чату через браузер. Усі ці приклади працюють повністю локально на Raspberry Pi AI HAT+ 2, підключеному до Raspberry Pi 5.
У першому прикладі модель Qwen2 використовується для відповіді на кілька простих запитань:
У наступному прикладі модель Qwen2.5-Coder використовується для виконання завдання кодування:
У цьому прикладі виконується простий переклад з французької на англійську за допомогою Qwen2:
В останньому прикладі показано VLM, що описує сцену з потоку камери:
Налаштування моделі ШІ
Сьогодні найпопулярнішими прикладами генеративних моделей ШІ є такі LLM, як ChatGPT та Claude, моделі перетворення тексту на зображення/відео, такі як Stable Diffusion та DALL-E, а також VLM, які поєднують можливості моделей зору та LLM. Хоча наведені вище приклади демонструють можливості доступних моделей штучного інтелекту, слід пам’ятати про їхні обмеження: хмарні LLM від OpenAI, Meta та Anthropic мають від 500 мільярдів до 2 трильйонів параметрів; LLM на периферії, що працюють на Raspberry Pi AI HAT+ 2, розмір яких підібраний для розміщення в доступній вбудованій оперативній пам’яті, зазвичай працюють з 1–7 мільярдами параметрів. Менші LLM, такі як ці, не розроблені для відповідності набору знань, доступному для більших моделей, а швидше для роботи в обмеженому наборі даних.
Це обмеження можна подолати шляхом точного налаштування моделей штучного інтелекту для нашого конкретного випадку використання. На оригінальному Raspberry Pi AI HAT+ візуальні моделі (такі як Yolo) можна перенавчати, використовуючи набори даних зображень, що підходять для цільового застосування HAT — це також стосується Raspberry Pi AI HAT+ 2, і це можна зробити за допомогою Hailo Dataflow Compiler.
Аналогічно, AI HAT+ 2 підтримує точне налаштування мовних моделей на основі адаптації низького рангу (LoRA ‒ Low-Rank Adaptation), що дозволяє ефективно налаштовувати попередньо навчені LLM для конкретних завдань, зберігаючи при цьому більшість параметрів базової моделі замороженими. Користувачі можуть компілювати адаптери для своїх конкретних завдань за допомогою компілятора Hailo Dataflow та запускати адаптовані моделі на Raspberry Pi AI HAT+ 2.
Raspberry Pi AI HAT+ 2 вже доступний за ціною $130. Щоб отримати допомогу з налаштуванням, варто ознайомитись з посібником з AI HAT.
Репозиторій Hailo на GitHub repo містить безліч прикладів, демонстрацій та фреймворків для програм на основі зору та GenAI, таких як VLM, голосові помічники та розпізнавання мовлення. Також можемо знайти документацію, навчальні посібники та завантаження для компілятора Dataflow та сервера hailo-ollama в Developer Zone Hailo.
За матеріалами raspberrypi.com