M5Stack UnitV AI Cameraで映像認識してスタックチャンを動かす

# 緑色の領域を追跡する
# for M5Stack UnitV (K210)
# 
# Copyright (c) 2025 Kaz  (https://akibabara.com/blog/)
# Released under the MIT license.
# see https://opensource.org/licenses/MIT

import sensor
import KPU as kpu
import image
import lcd
import time

from machine import UART
from fpioa_manager import fm
# from modules import ws2812    # WS2812はデフォルトのファームウェア以外では有効になっていない可能性あり

# 閾値の設定（MaixPy IDEのツール→マシンビジョン→閾値エディタで調整する）
#green_threshold   = (0,   80,  -70,   -10,   -0,   30)   # 緑色の領域を追跡するための閾値（サンプルのオリジナル値）
green_threshold   = (0,   80,  -70,   -15,   -0,   30)   # 緑色の領域を追跡するための閾値

# LCD初期化（UnitVはディスプレイが無いから不要）
# lcd.init()
# lcd.rotation(0)

# シリアルポートの設定
fm.register(35, fm.fpioa.UART1_TX, force=True)
fm.register(34, fm.fpioa.UART1_RX, force=True)
uart = UART(UART.UART1, 115200,8,0,0, timeout=1000, read_buf_len=4096)

# カメラモジュールの準備
sensor.reset(dual_buff=True)        # デュアルバッファを有効にする
sensor.set_pixformat(sensor.RGB565) # カラーモード RGB565
sensor.set_framesize(sensor.QVGA)   # サイズ QVGA 320x240
sensor.set_hmirror(0)   #カメラミラーリングの設定
sensor.set_vflip(0)     #カメラのフリップを設定する
sensor.skip_frames(time = 2000)     # 2秒間フレームをスキップして安定化
sensor.set_auto_exposure(False, 10000)  # 蛍光灯のフリッカー対策(50Hz) 固定露出時間10ms(自動露出無効)
sensor.run(1)           #カメラを有効にする

# その他の初期化
# class_ws2812 = ws2812(8, 1)
clock = time.clock()
color = (255, 0, 0)
max_area = 25   # 最大面積（ピクセル）
no_hit = 0

# メインループ
while True:
    # 緑領域を検出する
    clock.tick()
    img = sensor.snapshot()
    # blobs = img.find_blobs([green_threshold])
    # blobs = img.find_blobs([green_threshold], x_stride=2, y_stride=2, pixels_threshold=100, merge=True, margin=20)
    # blobs = img.find_blobs([green_threshold], x_stride=2, y_stride=2, pixels_threshold=64)
    blobs = img.find_blobs([green_threshold], pixels_threshold=max_area)  # 面積36以上の領域を検出

    # 最大の緑色領域を検出
    if blobs:
        # print(blobs)
        blob = max(blobs, key=lambda b: b.area()) # 面積が最大の領域を取得
        # 認識した緑色領域を表示
        img.draw_rectangle(blob[0:4], color=color)
        img.draw_cross(blob[5], blob[6], color=color)

    # ディスプレイ出力
    # lcd.display(img)
    fps = clock.fps()
    #print("%2.1f fps" % fps)

    # シリアルに出力
    if blobs:
        # hit, x, y, w, h, pixel, cx, cy, fps
        data = "1,{},{},{},{},{},{},{},{}".format(blob[0], blob[1], blob[2], blob[3], blob[4], blob[5], blob[6], int(fps))
        print(data)
        uart.write(data + "\r\n")
    else:
        # 見つからない場合も死活監視のため出力
        no_hit += 1
        if no_hit > 30:
            data = "0,,,,,,,{}".format(int(fps))
            print(data)
            uart.write(data + "\r\n")
            no_hit = 0

img = sensor.snapshot()
blobs = img.find_blobs([green_threshold], pixels_threshold=max_area)

[
  {
    "x": 112,
    "y": 13,
    "w": 13,
    "h": 31,
    "pixels": 220,
    "cx": 117,
    "cy": 26,
    "rotation": 1.757753,
    "code": 1,
    "count": 1
  },
  {
    "x": 140,
    "y": 233,
    "w": 7,
    "h": 6,
    "pixels": 40,
    "cx": 143,
    "cy": 236,
    "rotation": 0.759107,
    "code": 1,
    "count": 1
  }
]

blob = max(blobs, key=lambda b: b.area())

        # hit, x, y, w, h, pixel, cx, cy, fps
        data = "1,{},{},{},{},{},{},{},{}".format(blob[0], blob[1], blob[2], blob[3], blob[4], blob[5], blob[6], int(fps))
        print(data)
        uart.write(data + "\r\n")

// GPIO設定
#define GPIO_SERVO_X 27   // サーボ X軸  
#define GPIO_SERVO_Y 19   // サーボ Y軸 
#define GPIO_UART_RX 32   // UnitV UART RX (Core2 Port A)
#define GPIO_UART_TX 33   // UnitV UART TX (Core2 Port A)

    UnitVData unitv = get_unitv_latest_data();
    if (unitv.hit == 1 && unitv.pixel > 200) {
      float fx = -map(unitv.cx, 0, UNITV_CAM_WIDTH, -1000, 1000) / 1000.0;
      float fy = -map(unitv.cy, 0, UNITV_CAM_HEIGHT, -1000, 1000) / 1000.0;
      servo.headPosition(fx, fy); // 頭の向きを変更
    }

green_threshold   = (0,   80,  -70,   -15,   -0,   30)

import sensor
import image
import lcd
import time
lcd.init()
clock = time.clock()
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.run(1)
threshold = [
    (0, 80, -70, -15, -0, 30),     # 緑
    (0, 81, 14, 72, -2, 46)        # 赤
]
while True:
    img=sensor.snapshot()
    clock.tick()
    blobs = img.find_blobs(threshold)
    if blobs:
        for b in blobs:
            col = (0,255,0) if b.code() == 1 else (255,0,0)
            img.draw_rectangle(b[0:4], col)
            img.draw_cross(b[5], b[6], col)
    lcd.display(img)
    fps = clock.fps()
    print("%2.1f fps" % fps)

# デフォルト状態のファームウェアに含まれているfacedetect.kmodelを使用する
import sensor
import KPU as kpu
import lcd
import time
lcd.init()
clock = time.clock()
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.run(1)

# モデルの読み込み
task_fd = kpu.load(0x300000)
anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025)
kpu.init_yolo2(task_fd, 0.5, 0.3, 5, anchor)

while True:
    img = sensor.snapshot()
    code = kpu.run_yolo2(task_fd, img)
    if code:
        print(code)
        for i in code:
            img.draw_rectangle(i.x(), i.y(), i.w(), i.h())
    lcd.display(img)

kpu.deinit(task_fd)

[
  {
    "x": 130,
    "y": 130,
    "w": 82,
    "h": 111,
    "value": 0.663561,
    "classid": 0,
    "index": 0,
    "objnum": 1
  }
]

# 人の顔を追跡する
# for M5Stack UnitV (K210)
# 
# Copyright (c) 2025 Kaz  (https://akibabara.com/blog/)
# Released under the MIT license.
# see https://opensource.org/licenses/MIT

import sensor
import KPU as kpu
import image
import lcd
import time

from machine import UART
from fpioa_manager import fm

# モデルの読み込み
task_fd = kpu.load(0x300000)  # デフォルトのファームウェアの0x300000にあるfacedetect.kmodelを読み込む
anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025)
kpu.init_yolo2(task_fd, 0.5, 0.3, 5, anchor)

# シリアルポートの設定
fm.register(35, fm.fpioa.UART1_TX, force=True)
fm.register(34, fm.fpioa.UART1_RX, force=True)
uart = UART(UART.UART1, 115200,8,0,0, timeout=1000, read_buf_len=4096)

# カメラモジュールの準備
sensor.reset(dual_buff=True)        # デュアルバッファを有効にする
sensor.set_pixformat(sensor.RGB565) # カラーモード RGB565
sensor.set_framesize(sensor.QVGA)   # サイズ QVGA 320x240
sensor.set_hmirror(0)   #カメラミラーリングの設定
sensor.set_vflip(0)     #カメラのフリップを設定する
sensor.skip_frames(time = 2000)     # 2秒間フレームをスキップして安定化
sensor.set_auto_exposure(False, 10000)  # 蛍光灯のフリッカー対策(50Hz) 固定露出時間10ms(自動露出無効)
sensor.run(1)           #カメラを有効にする

# その他の初期化
clock = time.clock()
no_hit = 0

# メインループ
while True:
    # 顔を検出する
    clock.tick()
    img = sensor.snapshot()
    code = kpu.run_yolo2(task_fd, img)
    if code:
        #print(code)
        for i in code:
            # 認識した顔の領域を表示
            img.draw_rectangle(i.x(), i.y(), i.w(), i.h())
    
    # ディスプレイ出力
    fps = clock.fps()

    # シリアルに出力
    if code:
        # hit, x, y, w, h, pixel, cx, cy, fps のフォーマットに合わせる
        x = code[0].x()
        y = code[0].y()
        w = code[0].w()
        h = code[0].h()
        cx = x + w / 2
        cy = y + h / 2
        area = w * h /2
        data = "1,{},{},{},{},{},{},{},{}".format(x, y, w, h, area, cx, cy, int(fps))
        print(data)
        uart.write(data + "\r\n")
    else:
        # 見つからない場合も死活監視のため出力
        no_hit += 1
        if no_hit > 30:
            data = "0,,,,,,,{}".format(int(fps))
            print(data)
            uart.write(data + "\r\n")
            no_hit = 0