YOLOv7-tinyをdarknet-rosで使用する - えいあーるれいの技術日記

YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
abs: https://t.co/424f8imHe3
github: https://t.co/FElT8fOBUZ pic.twitter.com/ITNuSg5923
— AK (@_akhaliq) 2022年7月7日

ナンバリングではYOLOv4→Scaled-YOLOv4→YOLOR→YOLOv7の順で論文が掲載されており、4から7になっています。5、6が飛ばされているのは、既出のアルゴリズムと比較するためだと考えられます。

Introductionでは、次の3つのキーワードについて、高速化を試みているそうです。

vanilla convolution
depth-wise convolution
MLP operations

(Introductionより)

ターゲットはGPU・モバイル向けGPUを想定されているそうです。

YOLOv7がdarknetでも動作する！？

論文公開日にdarknetでもYOLOv7をサポートする旨のissueが立てられました。

github.com

現在は推論のみのサポートで、自作する場合はPyTorchで学習を行い、.pt形式のファイルを.weightsに変換する必要があります。

また、以前のバージョンに加えて representation_layer 関連のソースコードを含める必要があります。

darknet_ros も今回のアップデートに合わせてsubmoduleを更新しました。

詳しく知りたい場合は、本家のコミットログよりも私のsubmoduleアップデートのプルリクを見た方が参考になると思います。（v4-cspとv7の差分が確認できます）

github.com

darknet_ros側の変更はありませんでした。ただし、フレーム名などの変更が利きやすいようにパラメータ関連のアップデートは行なっています。

むしろこれらの変更だけで動くとか神かよ…

darknet_ros_fp16 (YOLOv7版) の使い方

リポジトリは以下から↓

github.com

darknetはNNにしては非常に依存が少ないプログラムで、ROS2さえ入れておけばビルドが通ってしまいます。launchファイルを調整すればUbuntu18とかでも動くと思います。

ただし、CUDAを使わないと使い物にならないレベルで遅いので、CUDA（できればcuDNNも）を入れておきましょう。

環境

Ubuntu22.04 LTS + ROS2 Humble-desktop-full
CUDA 11.7 (NVIDIA 515.5)
入力 : v4l2-camera

事前インストールリスト

cuda
ros2-humble-desktop-full
ros2-humble-v4l2-camera

# ダウンロード
git clone https://github.com/Ar-Ray-code/darknet_ros_fp16 --recursive ~/darknet_ws/src/darknet_ros_fp16
darknet_ws/src/darknet_ros_fp16/darknet_ros/rm_darknet_CMakeLists.sh

# ビルド (サンプルの重みは自動でダウンロードされます)
source /opt/ros/humble/setup.bash
cd ~/darknet_ws/
colcon build --symlink-install
source install/setup.bash

# 実行 (USB経由でWebカメラを接続してください)
ros2 launch darknet_ros yolov7.launch.py

動きました！