その他のアプリも使ってみよう

ここまで紹介した以外にも、様々なアプリが公開されています。 興味があるアプリがあれば、git cloneして使ってみましょう。 使い方は、各URL先のREADMEを参照ください。

akari_hand_tracking

URL: https://github.com/AkariGroup/akari_hand_tracking

AKARIが認識した手の追従が出来るアプリです。
引数で手のポーズを指定すると、そのポーズをしている時のみ追従することができます。

akari_dataset_creator

URL: https://github.com/AkariGroup/akari_dataset_creator

AKARIで学習用のデータセットを作成するアプリです。
画像を特定の名前や連番で撮影する機能があり、手動シャッター、自動撮影を行うことができます。
詳しい使い方は 1. 学習用のデータセットを作る を参照ください。

akari_yolo_inference

URL: https://github.com/AkariGroup/akari_yolo_inference

AKARIでYOLOの推論を行うアプリです。
デフォルトではYOLOv4の認識を行う設定になっていますが、自身で学習させたYOLOの推論モデルを使うこともできます。
詳しい使い方は 4. 物体認識をテストする を参照ください。

akari_motion_server

URL: https://github.com/AkariGroup/akari_motion_server.git

AKARIヘッドを動かして感情表現をするモーションサーバアプリです。
grpcでモーション名を送ると、そのモーションを再生します。
割り込み再生や優先度による割り込みブロックにも対応しています。

akari_chatgpt_bot

URL: https://github.com/AkariGroup/akari_chatgpt_bot.git

AKARIでchatGPTを使った音声対話botを使用するサンプルです。
音声認識、文章生成、音声合成を組み合わせて、高速で応答するチャットボットを作成しています。
それぞれの要素に対するサンプルアプリも用意されているため、各機能を個別で試したり、自身のアプリに実装する用途でも使えます。
注: AKARI本体にはマイク、スピーカーが内蔵されていないので、音声認識、音声合成の発話を試す際は外付けする必要があります。

akari_chatgpt_vision_bot

URL: https://github.com/AkariGroup/akari_chatgpt_vision_bot

chatGPTを使った音声対話botに画像を組み合わせたアプリです。
カメラ画像と音声を組み合わせてchatGPTから返答を得るGPT-4V版と、YOLOの3次元位置認識結果と音声を組み合わせてchatGPTから返答を得るYOLO版の2種類を公開しています。
注: AKARI本体にはマイク、スピーカーが内蔵されていないので、音声認識、音声合成の発話を試す際は外付けする必要があります。

akari_chatgpt_indian_poker

URL: https://github.com/AkariGroup/akari_chatgpt_indian_poker

chatGPTを使った音声対話botで、AKARIとインディアンポーカーができるアプリです。
インディアンポーカーの醍醐味であるカード交換の駆け引きを、ChatGPT対話で実現しています。
トランプはYOLOで認識しています。
注: AKARI本体にはマイク、スピーカーが内蔵されていないので、音声認識、音声合成の発話を試す際は外付けする必要があります。

akari_chat_dify_bot

URL: https://github.com/AkariGroup/akari_chat_dify_bot

akari_chatgpt_botのLLM部分をDify(https://dify.ai/)で作成したアプリに置き換えたものです。
独自にデザインしたDifyアプリを介して音声対話をすることができます。
注: AKARI本体にはマイク、スピーカーが内蔵されていないので、音声認識、音声合成の発話を試す際は外付けする必要があります。

akari_rag_chatbot

URL: https://github.com/AkariGroup/akari_rag_chatbot

akari_chatgpt_botのLLM部分をWeaviateを用いたRAGを参照し、回答するLLMに置き換えたアプリです。
独自に用意したテキストの知識を参照しながら音声対話をすることができます。
注: AKARI本体にはマイク、スピーカーが内蔵されていないので、音声認識、音声合成の発話を試す際は外付けする必要があります。

tracking_annotator

URL: https://github.com/AkariGroup/tracking_annotator.git

https://raw.githubusercontent.com/AkariGroup/tracking_annotator/main/jpg/tracking_annotator.jpg
OAK-Dのtracking機能を使い、認識できなかったフレームを自動でYOLOアノテーションし、保存するアプリです。
作成した学習モデルを再学習して強化する用途に便利です。

akari_joy_controller

URL: https://github.com/AkariGroup/akari_joy_controller.git

AKARIのヘッドをジョイスティックで動かすためのアプリです。

akari_tracking_palette

URL: https://github.com/AkariGroup/akari_tracking_palette.git

AKARIで物体認識を使って、指定した位置に存在する物体の検知を行うサンプルです。
3次元物体トラッキングを用い、人や物の場所も認識することができます。
更に、俯瞰図上にマウスでエリアを描画することで、そのエリア内に人や物が存在するかを検出することができます。
任意の認識モデル、任意のエリアを簡単に設定してオリジナルの見守り、インタラクションアプリを簡単に作ることができます。

shy_akari

URL: https://github.com/AkariGroup/shy_akari.git

恥ずかしがり屋のAKARIアプリです。
AKARIはこちらの顔を見つめてきますが目が合うと恥ずかしがって顔を背けてしまいます。
顔認識と目線認識を組み合わせて、目が合っていない時は顔を追従しつつ、目線がAKARIを向いているかを検出しています。

akari_good_sign_counter

URL: https://github.com/AkariGroup/akari_good_sign_counter.git

AKARIにグッドポーズをすると、1いいねカウントされるアプリです。

akari_starry_sky

URL: https://github.com/AkariGroup/akar_starry_sky

YOLOの物体認識で人の3次元位置の軌道を認識、記録し、星空を描画するアプリです。

AKARIをはじめよう(Ubuntu編) へ戻る

ヘッドカメラをwebカメラとして使ってみよう へ戻る