メインコンテンツまでスキップ

キャラクター表示画面

音声認識・コマンド入力認識​

キャラクター表示画面-音声認識・コマンド入力認識

以下、キャラクターが表示されてることが条件です。

下記、音声認識、コマンド入力認識が開始されると、キャラクターの右側に紫色の球が表示されます。

  • 表示・点滅中（ぼんやりと発光） － 音声認識、コマンド入力を行ってください。
  • 表示 － キャラクター側からの音声認識、コマンド入力を自動で開始しますので待機してください。

1. 音声認識

  • 以下の操作で音声認識を開始します。

    • キャラクターをタップする

    for Android

    • Bluetooth マルチメディアリモコンの 「再生・一時停止」 ボタンを押す
    • Bluetooth キーボードで [SHIFT] キーを押す

2. コマンド入力認識

for Android

音声認識等で声を発したくない場合には、Bluetoothキーボードからのコマンド入力にも対応しています。コマンド入力で反応する言葉（文字列）は音声認識と同じになります。

  • Bluetoothキーボードの [CTRL] キーを押すと、ソフトウェアキーボードが表示されます。 日本語入力方法はBluetoothキーボードの種類により異なります。
　

Bluetoothキーボード利用時にソフトウェアキーボードを表示するかどうかは

「設定」＞「システム」＞「言語と入力」＞「物理キーボード」＞「画面上のキーボードの表示」で変更できます。（Android12の場合）

右図例では、「なし」の状態での表示となります。

インフォメーションアイコン​

キャラクター表示画面-インフォメーションアイコン

キャラクター状態、対話シナリオ時のシナリオ遷移状態を表すアイコンが表示されます。

シナリオ進捗

左側に表示されている緑色のアイコンです。対話シナリオ時のシナリオの進捗状態を表します。

  • ■ － 初期シナリオ
  • ▶ － シナリオが遷移した状態

アイコンの色で学習中かどうかを表します。

  • 緑色 － 通常状態

  • 水色 － 学習状態 （言葉が理解できなかった場合に、学習しようとしている状態です。）

    うまく音声が聞き取りできなかった場合（アイコン「？」表示）等の際に、シナリオが初期状態に戻ってしまってないかどうか、参考にしてください。

1. ハート

  • 親愛度/感情値＋

2. 感嘆符（エクスクラメーションマーク）

びっくりした時や悲しかった時等に表示されます。

  • 親愛度/感情値－

3. 疑問符（クエスチョンマーク）

  • 理解できなかった時に表示されます。 → 「キャラクターに話しかける言葉 - 言葉の学習について」を参照ください。 黄色で表示された場合にはシナリオが初期状態まで戻ります。

4. カメラ

  • カメラ設定モードの場合に表示されます。

AI(LLM)/Voice API​

キャラクター表示画面-背景設定

AI(LLM)/Voice API での応答処理中は足元に進捗インジケーターが表示されます。LLM処理中は外側のインジケーター、Voice APIでの音声データ生成は内側のインジケーターとなります。 また、AI(LLM)の種類によって外側のインジケーターの色が異なりますので参考にしてください。 それぞれ、外部サーバーの負荷状況により応答まで時間が掛かる場合があります。

■ ChatGPT　 ■ Gemini　 ■ Claude　 ■ Llama　 ■ Grok

　

長い場合には応答まで1分以上掛かる場合もあります。処理をキャンセルする場合には、キャラクターをタップして音声・コマンド認識を開始してください。

背景設定​

キャラクター表示画面-背景設�定

画面下にある 背景設定ボタン（background）をタップすると、左図のようなウィンドウが表示されます。

1. クロマキー用背景ボタン

  • キャラクターモデルの肌の色に合わせた背景色（青、緑、赤）を用意しています。

2. カメラ映像ボタン/カメラ選択ドロップダウン

  • スマートフォンのカメラ映像を背景にすることができます。
  • 右側のドロップダウンリストからカメラを選択後、カメラ映像ボタンをタップしてください。

背景設定後、背景を元の状態（黒色）に戻したい場合には、再度 背景設定ボタン をタップしてください。

ライティング（照明）設定​

キャラクター表示画面-ライティング（照明）設定

ライティング（照明）設定ボタン（light）をタップすると、左図のようなウィンドウが表示されます。

ライトの位置（X、Y）、ライトの明るさ（強さ）を設定してください。

1. X, Y

  • キャラクターを中心に右図のような座標でライト（照明）の位置を変更できます。

2. intensity

  • ライトの明るさ（強さ）です。0.00～1.00 （初期値：0.85）

3. reset ボタン

  • ライティング設定を初期設定に戻します。

ライティング（照明）設定ボタンを再度タップするとウィンドウを閉じる事ができます。またウィンドウを閉じる際に、設定が保存されます。

エフェクト設定​

キャラクター表示画面-エフェクト設定

エフェクト設定ボタン（effect）をタップすると、左図のようなウィンドウが表示されます。

キャラクターモデルに Bloom（光らせるエフェクト）が設定されているものが含まれている場合、その発光具合を設定することができます。

注意

発光時はスマートフォンの処理負荷が高くなります。

カメラ設定​

キャラクター表示画面-カメラ設定

カメラ設定ボタンをタップすると、画面左上にカメラアイコンが表示されます。

ピンチアウト・イン、スワイプ、マルチスライド（2本指で上下にスワイプ）で、キャラクター表示の拡大・縮小、回転、上下位置移動が行えます。 設定が終わったら、再度カメラ設定ボタンをタップしてください。カメラアイコンが一瞬赤くなり、設定が保存されます。

　

カメラ設定は、音楽再生やダンスの最中でも行えます。

注意

設定画面1で「ジャイロセンサーと連動してキャラクターを傾ける」にチェックがされている場合、 上下方向スワイプでのキャラクター角度調整は行えません。キャラクターの傾きは、スマートフォンの傾きを変える事で調整してください。

リアルワールド（現実世界）スクリーン​

キャラクター表示画面-リアルワールドスクリーン

ボタンをタップすると、カメラがキャラクターの背面側に移動します。キャラクターのための、リアルワールド（現実世界）を映すスクリーンが表示されている事が確認できます。 表示されたカメラ切り替えボタンをタップすると、リア/フロント等、カメラを切り替える事ができます。

　

リアルワールド（現実世界）画面を映すスクリーンは、ボタンをタップした時点でのスマートフォンの傾きを取得して表示されます。 上記カメラ設定ボタンをタップし、スクリーンやキャラクターを別の角度から見る事も可能ですが、同スクリーンの位置は自動で変わりませんのでご了承ください。

また、リアルワールド（現実世界）を映すスクリーンは、スクリーンの表示のみの機能となりますので、スクリーンを表示した状態で、キャラクターと会話することができます。 通常通りキャラクターをタップし、音声認識やコマンド認識を行ってください。