Модель штучного інтелекту Moondream, щоб наш Raspberry Pi бачив як людина

Тепер ми готові почати використовувати Moondream.

Використання Moondream з Python

Відкриємо новий скрипт у Thonny та вставимо наступний демонстраційний код. Збережемо скрипт у папці проєкту, яку щойно створили. Якщо скрипт не збережено в цій папці, він не зможе прочитати моделі чи зображення.

import moondream as md

from PIL import Image

import time

# Load the local .mf file

model = md.vl(model=”./moondream-0_5b-int8.mf”)

# Load your image

image = Image.open(“./images/crash1.jpg”)

# Encode the image

encoded_image = model.encode_image(image)

# Ask questions about the image

answer = model.query(encoded_image,”Is the car driveable?”)[“answer”]

print(answer)

Як бачимо, насправді, для запуску цього режиму потрібно не так багато коду. Почнемо з імпорту необхідного пакета Moondream та Python Imaging Library (PIL ‒ бібліотеки зображень Python):

import moondream as md

from PIL import Image

import time

Потім завантажуємо нашу модель. За замовчуванням код завантажує модель 0.5b, але ми можемо змінити його на модель 2b, змінивши назву на ./moondream-2b-int8.mf. Ця назва просто відповідатиме назві моделі у нашій папці проєкту.

# Load the local .mf file

model = md.vl(model=”./moondream-0_5b-int8.mf”)

Потім завантажуємо зображення з нашої папки images та кодуємо його. Цей процес кодування є необхідним кроком, оскільки готує зображення до аналізу Moondream. Це потрібно зробити лише один раз для кожного зображення.

# Load your image

image = Image.open(“./images/crash1.jpg”)

# Encode the image

encoded_image = model.encode_image(image)

І нарешті, беремо це закодоване зображення та використовуємо Moondream, щоб поставити про нього запитання. Після того, як ми закодували зображення, можемо поставити про нього скільки завгодно запитань.

# Ask questions about the image

answer = model.query(encoded_image,”Is the car driveable?”)[“answer”]

print(answer)

Після завантаження нашого питання подивимося, як модель 0.5b спрацює з ним.

Значна частина часу, який Pi витрачає на обробку зображення, припадає на генерацію текстової відповіді. Тож чим менше символів потрібно згенерувати, тим менше часу витрачається на кожне зображення. Щоб проаналізувати це, у нас є код, який вимірює час кожного кроку процесу:

import moondream as md

from PIL import Image

import time

# Start the timer

start_time = time.time()

# Load the local .mf file

model = md.vl(model=”./moondream-2b-int8.mf”)

model_time = time.time()

print(f”Model Load Time: {model_time – start_time:.2f} seconds”)

# Load your image

image = Image.open(“./images/flower2.jpg”)

# Encode the image

encoded_image = model.encode_image(image)

encode_time = time.time()

print(f”Image Encode Time: {encode_time – model_time:.2f} seconds”)

# Ask questions about the image

answer = model.query(encoded_image,”Answer only yes or no, are there flowers in this image?”)[“answer”]

print(answer)

answer_time = time.time()

print(f”Answer Time: {answer_time – encode_time:.2f} seconds”)

print(f”\nTotal Image Time: {answer_time – model_time:.2f} seconds”)

Якщо запустимо цей код на моделі 2b, то отримаємо наступний розподіл часу, який займав кожен крок, з питанням Answer only yes or no:

• Час завантаження моделі: 23,47 секунди
• Час кодування зображення: 18,61 секунди
• Час відповіді: 1,34 секунди

По-перше, час завантаження моделі. Це неминуча плата, яку потрібно сплатити, але її потрібно сплатити лише один раз! Щоразу, коли ми запускаємо скрипт, модель має бути завантажена, але після завантаження можемо аналізувати скільки завгодно зображень у циклі while true.Єдиний раз, коли нам потрібно буде знову завантажити модель, це коли ми перезапустимо скрипт.

Потім є час кодування зображення, це ще одна значною мірою неминуча плата, яку потрібно сплатити, і її потрібно сплатити за кожен кадр або зображення, яке хочемо проаналізувати.Це також мінімізується шляхом передачі зображення з правильною роздільною здатністю.Кожне зображення, яке ми надали Moondream досі, мало розмір 512×512 пікселів або менше. Якщо передамо йому зображення, більше за це, кодування зображення може зайняти від 30 до 45 секунд.Припускаємо, що більші зображення потребують зниження роздільної здатності обробки Moondream (ймовірно, 512×512 пікселів).Тому дуже важливо переконатися, що ми передаємо йому зображення, які вже були зменшені до 512×512 або менше.

Потім у нас є час відповіді. Це те, що можемо найбільше контролювати, пропонуючи Moondream обмежити розмір виводу тексту. Час, який бачили вище, ‒ це найшвидший, який можемо отримати з крихітною відповіддю, такою як yes чи no, або одним числом. Якби ми замість цього поставили йому запитання, яке генерує текст на цілий абзац, то час відповіді міг би зайняти більше 40 секунд.

Варто знати, що після кодування зображення можемо поставити кілька запитань про нього. Якби ми поставили одне запитання yes чи no, загальний час обробки зображення становив би 19,95 секунди (час кодування зображення + час відповіді).Якби ми поставили 5 запитань щодо зображення, це зайняло б близько 25,31 секунди.

Після запуску того ж коду з моделлю 0.5b отримуємо наступний розподіл часу:

• Час завантаження моделі: 10,68 секунди
• Час кодування зображення: 8,75 секунди
• Час відповіді: 0,63 секунди

Як бачимо, модель 0.5b приблизно вдвічі швидша загалом – це варто розглянути, якщо прагнемо чогось трохи швидшого. Але часто різниця між часом обробки 8-9 секунд і часом обробки 20 секунд мінімальна – модель 2b може бути нашою обраною зброєю в більшості випадків.