カメラで物体の位置を検出する

[MibuchiYuta]

• 物体を掴ませる #66 において、目標座標へエンドエフェクタの移動をさせることができた。実際にロボットについているKinectから対象物体の座標を検出し、その座標をもとにピッキングを行いたい。

[KiyoshiroKawanabe]

カメラで検出した物体の3次元カメラ座標をパブリッシュするスクリプト:orne_or_task_execution/scrpt/object_position

それをロボット座標に変換するスクリプト:同じディレクトリのtf_object_position

カメラ、yolo、上の二つのスクリプトを起動するlaunch: orne_or_task_execution/launch/camera_start.launch

/tf_object_positionトピックをサブスクライブし、そこを手先位置としてマニピュレーターを制御するスクリプトを作ったが動作未確認　manipulater_left.py

[KiyoshiroKawanabe]

lauchを起動したときの様子の動画です。https://youtu.be/IhsRYugSenc

ターミナルに出力している値は/tf_object_positionトピックの値です。30cm定規を置き、ボールを動かしています。

[KiyoshiroKawanabe]

yolov5_pytorch_rosパッケージのdetector.launchを変更し、右ハンドに取り付けている単眼カメラとkinectのそれぞれで物体検出ができるようになった。
プログラム：https://drive.google.com/file/d/1dvXHyUhKzJ3VbBdTDqEo8T4gvfvcl7ug/view?usp=sharing

[KiyoshiroKawanabe]

#85 (comment)
それっぽい値がとれたのでクローズします．