移動ロボットにLEDテープとサーボモーターを組み合わせ花を表現しています。
Player will use the VR deivce to find the lost Pokemon with the help of the 360 degree camera, the robot will be controlled by the operator using the controller. The dectection method including 150 + pictures, Labeling process and YOLO algorithm training.
プロジェクタを利用して床に道を投影し、この投影された道を山彦でトレースするゲームを開発した。 このゲームでは、道を正確にトレースできた者が勝利するというルールである。ゲームには二台の山彦が登場する。 一台はカメラで道を認識し、自動でトレースする自動機、もう一台はコントローラで操作する手動機である。 道中には、学生生活を彩る様々なイベントが組み込まれている。挑戦者はこの道を自動機よりも高い精度で道をトレースことができれば「卒業」できる。
はじめてのWiiのタンクを山彦を用いて再現しました。現実空間ではコントローラを用いて山彦を動かし、仮想空間で砲弾を再現しました。今回は時間の都合上、俯瞰視点での実装となりましたが、今後の展望として山彦にカメラを載せ、一人称視点でプレイできるようにできればと考えています。
A mobile robot detects fire alarm tone and detect sleeping person in a room. If a person does not wake up, the robot sprays water to alert him for safe evacuation.
2つのロボットを操って指定された区域で釣り競技を行い、まず2人のチームメイトが互いに得点し、最後に最終ボスに挑戦します。カメラでロボットが持ってきた色を認識してロボットの位置を識別して点数を得る。
目覚まし時計が鳴っても起きれない人、腹筋しないと目覚ましを止められないようにしました。無視して寝続けると、霧吹きで水をかけられます。かなり不快ですので、腹筋して目を覚ましましょう。
今流行りのChatGPTと音声読み上げを用いた恋愛シミュレーションロボット。ユーザーと会話をしながら、ユーザーがどれだけ上手くロボットを口説けたかどうかをメーターで教えてくれる。ChatGPT APIを用いることで、ユーザーとの自然な会話と、口説きの上手さの評点が可能になる。若者の恋愛や結婚離れによる少子化が危惧される現代において、非常に実用性のあるロボットである。音声認識ができなかったのが悔やまれる。
研究室ロボット山彦beegoにヤンキーコスプレをさせて、ウィーリ走行を実装しました！！
本システムは音声認識とロボット制御を組み合わせた構成です。ユーザーの音声をWebAudioAPIで取得し、Flaskサーバーで処理します。サーバーはWebSocketを介してロボットPCと通信し、ROSを使用してロボットを制御します。Dockerコンテナ内でFlaskアプリケーションが動作し、Goal判定用PCがQRコードを認識してシステム全体を管理します。これにより、音声命令による複数ロボットの遠隔操作が可能になっています。
私たちは毎日研究に打ち込んでいる皆さんに楽しい時間と笑顔を届けることをコンセプトに、表情で楽しむクイズゲームを開発しました。参加者には一列に並んでもらい、ロボットが順番に参加者の前に来てクイズを出題します。面白いのは、ロボットが人間の表情を読み取って、それに合わせて対応を変えるところです。笑顔で接してくれた人には解答のチャンスを与え、怒りの表情を示す参加者には、ロボットはおびえた反応を示しながらその参加者をスキップするというユニークな仕組みになっています。
骨格認識を用いて旗の上げ下げを判定し人間側が勝利した場合はロボットから賞賛の言葉が送られます。敗北した場合はロボットがプレイヤーの周りを周回し憐みの言葉を送ります。ロボットに負けないように頑張って勝利してください！技術面は骨格認識でmediapipe,音声出力はSound_Playを使用しました。プレイヤーの位置はobstacle_detectorで最も近い障害物として認識します。
参加者は自分の服と同じ色のボールをロボットの横のボックスに入れてロボットを振り向かせます。後から入れられたボールの色によって、ロボットの追従対象が切り替わります。制限時間が終了した時点で、ロボットが誰を追従しているかで勝者が決まります。技術的には、ロボットの自己位置推定にはndt_scan_matchingを、特定の人の認識および服とボールの色検出にはYOLOv8+OCSortとOpenCVを、経路計画にはteb_local_plannerを使用しています。
だるまさんが転んだを行いながら間違い画像を見つけるゲームを開発しました．３台の山彦ロボットのうち１台だけ間違い画像が表示されており，参加者は間違い画像が表示されている山彦の番号を先頭のロボットに入力します．ただしこの時「だるまさんが転んだ」といった音声が流れ続けていて，この言葉を発している最中しか動くことができません．だるまさんが転んだをこなしつつ最終的に先頭のロボットに正解の番号を入力できたらゲームクリアです．
ロボットと人間とが協働作業を行う機会が急増している昨今。 その簡易的な機会として研究室内にある山彦に外界センサを搭載して機能を拡充することによって実現を図った
カメラを用いて不審者を発見するロボットを作りました。yolov8を用いてマスクとサングラスを同時に着用している人を不審者として認識し、認識した不審者に接近＆警告を行います。学習は普通の人の画像と不審者の画像を合計200枚程度用意して行いました。
羊飼いを意味するshepherdと題したシステムを作成しました。ロボットのカメラで人の骨格を検出して特定のポーズを認識させてロボットを制御します。ロボットに人を追従させるポーズとロボットの動きを停止させるポーズを使ってロボットを特定の場所まで移動させることができます