概要

本プロジェクトでは、吊り荷の制御環境を構築し、強化学習による制御モデルとカメラ画像による Yaw 角推定を組み合わせました。 最終的に、制御モデルと Yaw 角推定を統合したシステムを Raspberry Pi 環境で動作させ、3Hz での制御を実証しました。

吊り荷の制御環境の構築

制御装置、吊り荷(トラス、H形鋼、平板)、ロープおよびクレーンを含むシミュレーション環境を構築しました。 複数の吊り荷形状や風外乱に対応できる開発・評価環境としています。

吊り荷制御装置と4基のスラスター
制御対象のトラス吊り荷

吊り荷の制御モデルの学習

強化学習により、吊り荷を目標Yaw角まで回転させる制御モデルを構築しました。 下図は一方向風(X1Y0)および二方向風(X1Y1)の外乱条件における制御結果を示しています。

制御結果 X1Y0制御結果 X1Y0

吊り荷 Yaw 角の推定

制御装置に搭載したカメラ画像から吊り荷の Yaw 角を推定します。 色付きフックの検出結果と画像処理を組み合わせ、 吊り荷の形状に応じた Yaw 角推定を行います。

色付きフックの検出結果と吊り荷Yaw角の推定

画像ベース制御

Yaw 角推定モデルと強化学習による制御モデルを統合し、Raspberry Pi 上で推論・制御を実行しました。 開発環境と同様に、外乱下でも吊り荷を目標 Yaw 角まで制御できることを確認しました。

開発環境での制御結果 X1Y1Raspberry Pi 制御結果 X1Y1