ACUAH について

ACUAH とは、Alluring Character Unified Assistant of (false) Hologram の略称です。疑似ホログラム（ペッパーズゴースト）を利用して、ユーザーが好みのキャラクター・音声でカスタマイズ可能な3Dパーソナルアシスタントを、より手軽に、安価に具現化する（裸眼立体視で現実世界へ表示する）ことを念頭に開発をしています。

(特許出願中 特願2020-053604)

裸眼立体視ディスプレイ、空中ディスプレイ
  • 裸眼立体視、空中ディスプレイについては、ペッパーズゴースト、空間に結像させるタイプのディスプレイ、物体を回転させることでその残像が立体に見える走査型空中ディスプレイ、レンチュキラーディスプレイ、視線認識型ライトフィールドディスプレイや、空間に物体を飛ばし光を反射させるものなど、様々な製品、技術があります。
  • ペッパーズゴーストは、立体に見える平面画像をスクリーンに投影する簡単な仕組みのため、同時に多視点で立体映像が見られるようなものではありませんが、一人で正面方向から見るのであれば程々の立体感を感じられ、かつ非常に簡素に、安価にディスプレイを作成する事ができます。
  • 上記の様々な裸眼立体視、空中ディスプレイの実物を確認した上で、価格、輝度、解像度、安全性等を比較検討した結果、ペッパーズゴーストによる疑似ホログラムが現在のACUAHのコンセプトに最も適すると判断し、これを採用しています。
  • 一般的なペッパーズゴーストの製品では、スクリーンと投影装置のなす角度は45°にしているものが多いようです。スマートフォンやタブレットをスクリーン上面に設置し、かつこのスクリーンと投影装置のなす角度が45°になっている製品を机に設置して楽しむ場合、机に対して視線を平行にしなければ投影像が見られない事から、ユーザーが像を覗き込むような姿勢になってしまい、負担をかけることになります。ACUAH では投影装置とスクリーンの角度を計算し、投影像が設置面に対して傾かない形（キャラクターが机に垂直に立っている状態）で、かつ、視線方向に対し自然な形で投影像を眺めることができるように設計しています。詳細は「スタンドの構造について」をご覧ください。
スマートフォンの利用
  • ACUAH はお手持ちのAndroidスマートフォンで動作しますので、投影装置を別途用意していただく必要はありません。
  • お手持ちのスマートフォンをそのまま投影装置とし、疑似ホログラムのスマートフォンスタンドと組み合わせていただく事で、手軽に、安価に、3Dキャラクターを程々の立体感で現実世界に具現化します。
  • また、スマートフォンは色々なセンサーを有しているため、装置単体で多くの機能を実装する事が可能です。ジャイロセンサー、照度センサー、バッテリー充電量などを利用しています。
  • 近年、スマートフォンは有機LED（OLED）が搭載された機種が多く出てきています。有機LEDは一般的に画面輝度を液晶より上げることができるため、ペッパーズゴーストのような映像を反射するディスプレイでも、明るい場所でより高い視認性を得ることが可能になってきています。（キャラクターをより鮮明に見ることができます。）
キャラクター
  • ピクシブ株式会社様 が ユーザーがオリジナルの3Dキャラクターを簡単に作ることができる VRoid Studio、VRoidモバイル という素晴らしいアプリケーションを提供されています。それらのアプリケーションで作成された3Dキャラクターは VRoidHub にアップロードする事が可能です。
  • ACUAH β は VRoidHub と連携しています。利用条件を満たしたキャラクターを VRoidHub からダウンロードする事で、好みのキャラクターを利用できます。
  • ACUAH 用として、標準的なキャラクター（ACUAH、ぐれーぷ ）をVRoidHubにアップロードしてありますのでよろしければお試しください。
キャラクターの音声・リップシンク（口パク）
  • ACUAH β では、キャラクターの音声に CeVIOプロジェクト様 の「さとうささら」「タカハシ」「すずきつづみ」を利用させていただいています。
  • キャラクターがAI（人工知能）を持ち、自由に文章を紡いでそれを発話をするといった実装はできていませんが、逆に、決まった単語、短い文章の応答のみであることを活かし、3種類の異なる音声を「音声ファイルセット」としてアプリケーションに組み込んでいます。
  • 音声ファイルセットのファイルリストに合った音声データ一式を作成し提供することができれば、ユーザーがそれをACUAHに自由に組み込む事で、キャラクター音声のカスタマイズがより手軽に実現できるのではと考えています。
  • ACUAHでは音声ファイルに合わせた簡単なリップシンクデータを作成し、リップシンク（母音、子音判別）を独自実装しています。（リアルタイム解析は行っていません。）
音声認識
  • 現在、ACUAH はAndroid版で開発を行っています。音声認識には Android SpeechRecognizer を利用しているため短い単語をコマンドとして、対話シナリオに沿って認識する仕組みを実装しています。
  • “OK, Google” 等の指定されたウェイクワードの実装は、ユーザー側にもあまり日常的に利用しない言葉をトリガーとして機器の操作を開始させるという、操作上の負担が発生してしまうと考えています。常時音声認識を実装する場合には、音場解析、画像認識によるユーザーの存在把握を併せて実装するようにしたいところです。
  • ACUAH はパーソナルアシスタントとして開発を行っています。アシスタントであれば、ユーザー側の任意のタイミングで適切に音声認識を開始できれば十分との考えから、スマートフォン画面上のボタン、Bluetoothマルチメディアリモコンのボタンといった物理的なボタンを押して音声認識を開始するUI設計をしています。
AI（人工知能）・対話シナリオ（人工無脳）
  • ACUAHは、対話シナリオにより各機能の実装を行っています。基本的な処理の流れは、　[音声認識]→[シナリオに記載された応答・動作]→[次のシナリオへ遷移]　となりますが、認識した言葉（文字列）が見つからなかった場合は学習しようと試みるようになっています。
  • いつか将来、ユーザー毎に機能が特化された人工知能を有する時が来ると良いですね。