卓球するロボットアームを作りたい

Question

下記のような卓球するロボットアームを作りたいのですが、市販のサーボモーターを使ってアームを3Dプリンタで作り、ビジュアルフィードバック制御で、DIYで可能ですか？

https://youtu.be/J3gvpaNFvZU

プログラムとしては、

①画像認識で卓球の球を認識し、その位置、速度の情報を取得するプログラム
②その球の軌道を予測するプログラム
③軌道に対してどのようにラケットを振るか(ラケットの軌道、姿勢をどうするのか)というプログラム
④目標軌道通りになるようにモーターを制御するプログラム

ができれば可能でしょうか？

②以外は何とかできそうな気もしないでもないですが、②はどのようにしてすれば良いでしょうか？ご教授のほどよろしくお願いします。

Accepted Answer

機能長文書いたのにアップされてない

シリアル通信速度(RS232C)です
https://qiita.com/Nomisugi/items/eb2875fcdeede65d6189#:~:text=%E3%81%A8%E3%81%84%E3%81%86%E4%BA%8B%E3%81%A7%E3%80%81Web%E6%83%85%E5%A0%B1,%E5%AE%9F%E9%9A%9B%E9%80%9A%E4%BF%A1%E3%81%8C%E3%81%A7%E3%81%8D%E3%81%BE%E3%81%99%E3%80%82

USBを使ってますが
中身はRS232Cです
アルディーノの場合　115200bps　が限界です
100kbyte＝209.718秒です
画像データは640x480x3=979,200バイト≒1000kバイト
じゃ話になりません

超音波でもできますが
ピンポン玉を検出できるかは？です

ESP32CAM　で　WiFi　で　30FPS　ぐらい出るようです
この間買ったが技適が通ってないので　電波出すと違法
https://www.tele.soumu.go.jp/j/adm/monitoring/summary/qa/giteki_mark/

廃止してくれんかなぁ
WiFi自体は免許いらないことは知っていたのに
使えないとは　技適通ってるやつも売ってる(CAM版はまず通ってないのでチップ交換が必要　現在作業中)

画像認識　https://www.acrovision.jp/career/?p=2089
など
3D計算
軌跡予測もどっかのAI探す

ロボットに返すです

単にデジカメが欲しくて　ちょっと調べただけなので　
あと聞く前に考えましょう
ネタとしてはいいが
考えないとだめよ

ついでに
締め切られたけど
ローランドＤＧで
アルミ　銅は　切削可能です　メーカも非公式ですが認めてます
キリコが伝送部に入るともちろんショートして壊れます
おすすめはしないが　条件しだいです

Answer

DIYレベルなのかどうかは不明
参考のはCMなのでフィクションです
スピンかけられたりしたら対応できない
6軸は人間の腕と考えられてるが肩の関節がないので人間の動きより可動域が狭い
理想はもう2軸直行が必要　最低でも左右に動くもの

実機
https://www.youtube.com/watch?v=pQ0JJbImWIA
オムロン

ざっくり見積もり
長文書いたが見積100万以下　安くなったものだ

ハード
https://jp.banggood.com/6DOF-Mechanical-Robot-Arm-Claw-With-Servos-For-Robotics-Arduino-DIY-Kit-p-1256135.html?rmmds=detail-left-hotproducts&cur_warehouse=CN

⇡
デジタルサーボ(デジタルサーボなので速度制御ができない　滑らかな動きは出来ない)なので　サーボかステッピングにする必要がり

1.5万+6万

パソコンは20万クラスで化

ロボットの制御系は　アルディーノだと通信速度が遅いので
ラズベリーパイピコ　か　ESP32　WiFi

カメラユニット
https://www.amazon.co.jp/dp/B088M1BHD2/ref=sspa_dk_crr_aax_0?psc=1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEyREkyWVFLUk9IR1NVJmVuY3J5cHRlZElkPUEwMzcyMDM5MlFMOUFGNVFWQzhSVSZlbmNyeXB0ZWRBZElkPUExQVhaUkQ5UUxOUU5DJndpZGdldE5hbWU9c3BfY3JyX3NoYXJlZCZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=

0.3万ｘ2(３Ｄ解析が必要なので2個)
ただし画像だと処理が重いのでもっと軽いものがよい

AI　オープンソース
https://docs.microsoft.com/ja-jp/cognitive-toolkit/

ここまで40万ぐらい

3Dプリンタでは精密さが足りない
加工機が必要

なので私は自作NCを作ってますよ
全く進んでないが

ESP32などでWiFiするには　技適が必要
https://www.tele.soumu.go.jp/j/adm/monitoring/summary/qa/giteki_mark/

安いデジカメ作ろうと思ったら技適対応出なかった

日本で売ってるんだからとっとけよ　と思う

Answer

ロボットメーカーの取り組みとしては、球の軌道の観測結果だけで制御するのではなく、相手プレーヤーの動きをはじめとして、表情や脈拍のデータまで取得して、球の軌道を予測しているようですね。
https://toyokeizai.net/articles/-/324080

メカの応答速度には限度があるので、予測技術も必要なのですね。
勉強することが沢山あって楽しいですね。

Answer

面白そうですよね。夢が膨らみますね。
ただ漠然とした推測ですが、ロボットアームの
現実的な移動速度が不足するような気がします。
対する人間がある程度緩い返球をしない限り
ロボットの動きが球の動きについていけないの
では、と思います。ロボットアームの（超）高速
制御が可能な機構、構造が必須かと思います。
①～③は現在のPCでの高速演算能力で達成できても
④は３次元＋角度の機械的高速動作が必要ですが
人間の動作以上の能力の実現がむずかしかも。

卓球するロボットアームを作りたい