DepthAIカメラでテルミン作ってみました
DepthAIカメラ「OAK-D」を買いました。DepthAIカメラに関しては、以下記事参照ください。
せっかく買ったので、とりあえず何かしてみようかなということで、テルミンを作ることにしました。私は、昔から何かとテルミンを作る習性があるのです。
昔作ったテルミンっぽい楽器やテルミン自体の説明に関しては、本記事末尾に関連記事としてリンクを貼りますので、そちらを参照ください。
DepthAI Theremin
仕組み自体は、以前Jetson Nanoで作ったものとほぼ同等です。
このときは、Jetson Nano含め5万円以上かかりましたが、DepthAIなら本体2万5千円と今回はホストPCとしてM1 Mac使いましたがラズパイで動かせるはずなので4万円以下でできそうですね。あら、それほどお得でもない…
動かしている様子は以下のような形です。
とりあえずDepthAI OAK-Dでテルミン的なものを作ってみました。 pic.twitter.com/QHdrymcyoF
— からあげ (@karaage0703) August 14, 2021
コードはGitHubにアップしてあります。depthai_hand_trackerという手を検出するリポジトリをforkしてサンプルを追加したものになります。
AIテルミンの作り方と動かし方
必要なものはDepthAI OAK-DとホストPCです。
ホストPCはDepthAIとSonic Piが動くものならOKです。Mac(Intel/Apple Silicon), Linuxマシン、ラズパイでしょうか。Jetson Nanoは、音を出すのがお手軽じゃないのでオススメしないです。Windowsはでも動く気がしますが、ハマる可能性あるかもです。
動かし方は以下のREADME参照ください。
基本は、以下3ステップです。
- DepthAIセットアップ
- Sonic Piをインストールして起動
- ソフトをGitから落として実行
起動したら、手とDepthAIとの距離に応じて、音の高さが変わります。
手の形を変えると、音色が変わったりもします。
セットアップの参考になりそうな記事にリンクしておきます。
まとめ
DepthAIでディープラーニングを使ったテルミンを作ってみました。
実際の演奏感ですが、AIの検出速度は十分速いのですが、音が出るまでのラグが大きくて、このままでは実用的ではない感じですね。原因調査しきれていませんが、Sonic Piとの通信遅延かなと思っています。
もうちょっと改良してみたい気持ちもありますが、当面は雑にDepthAIを使って色々なもの作って可能性を探ってみようかなと思っています。
そして、DepthAIを購入する記事を書いた後、DepthAIのベースとなったDepthカメラであるRealsenseの開発終了がニュースになりビックリしています。Realsense亡き後は、ひょっとしたらDepthAIが覇権を握るのかも？？ますますDepthAIから目が離せませんね！それでは次回作をお楽しみに！
