Yaw角の推定モデル学習

画像から推定した吊り荷のYaw角を制御へ利用することを目的に、推定モデルの構築および精度評価を行う。

学習から評価までの流れ

制御モデルの評価結果(CSV)から学習データを作成し、画像を用いた吊り荷 Yaw 角推定モデルを学習する。

Yaw 角の推定モデルの学習から推論および評価までの流れ
Yaw 角の推定モデルの学習から推論・評価までの処理構成

学習データ

三種類の吊り荷を、制御装置のカメラで撮影。 外乱あり・なしで多様な揺れ方の画像で、フック位置をGT (Ground Truth) とする学習データを生成。

制御装置のカメラ

吊り荷の Yaw 角推定モデルを学習するため、制御装置に搭載した真下向きカメラの画像から学習データを作成した。

HSteel
HSteel 2点吊り
Plate
Plate 4点吊り
Truss
Truss 4点吊り

学習データには、Baseline と Auto の2種類のデータセットを用いた。これらは異なる条件で生成した画像から構成される。

学習対象

HSteel、Plate、Truss の各フックを物体検出し、推定したフック位置から吊り荷の Yaw 角を算出する。

HSteel
HSteel 2点吊り
Plate
Plate 4点吊り
Truss
Truss 4点吊り

Yaw 角の推定

学習済みモデルで検出したフック位置から、画像処理により吊り荷の Yaw 角を推定する。 フックが一部欠落した場合でも、残りの検出結果から Yaw 角を算出する。

HSteel
HSteel 2点吊り
Plate
Plate 4点吊り
Truss
Truss 4点吊り

推定値の評価

Ground Truth(正解の Yaw 角)と推定値を比較して精度を評価した。

吊り荷 Yaw 角の推定精度評価結果

HSteel および Plate は、Auto による推定でも MAE は概ね 0.4° 以下となり、高い推定精度を確認した。

特に Truss / X1Y1 条件では最大誤差が 2.68° となり、 後述する制御評価でも同条件が最も難しいケースとなった。 誤差の要因は「最大誤差の原因」を参照。

  • Data: Baseline と Auto の比較
  • Object: HSteel / Plate / Truss の比較
  • Wind: X0Y0 / X1Y0 / X1Y1 の比較
  • Images: 評価サンプル数
  • MAE: 平均的な推定誤差
  • RMSE: 大きな誤差も考慮した指標

MAE: Mean Absolute Error
RMSE: Root Mean Square Error
単位: degree

Baseline と Auto の精度比較

Baseline と Auto の比較表

全体では45°線付近に分布しており、Baseline と Auto の推定精度は概ね同等である。 もともと誤差が非常に小さいため、差は見かけ上大きく見えるが、 絶対誤差としてはいずれも 1° 未満であり、実用上は同等の推定精度と判断できる。

よって、本調査で用いた画像ベースの Yaw 推定手法は、 吊り荷の姿勢変化や揺れに対しても安定した推定性能を維持できることを確認した。
Baseline と Auto の精度比較

最大誤差の原因

最大誤差が 2.0° 以上となったのは、Truss の吊り荷で、 下図のようにフックを検知できない状態の3枚である。 残りの1枚も同様の状態であった。 フックを検知できない場合も、時系列処理によって補正しているため、 制御への影響は大きくないと考えられる。

多少の影響が見られたのは Raspberry Pi 環境での実行時である。

Frame 915 におけるフックの検知欠落
Frame 920 におけるフックの検知欠落