“構音訓練に向けた音声器官３次元ビジュアライズシステムの開発”, 日本学術振興会, 科学研究費助成事業, 基盤研究(C)
[研究概要]
構音障害は国内で約80万人がいると推定され、正常構音を習得するための訓練（構音訓練）には口腔内外の音声器官の複雑な形状や動きを患者自身が理解し、再現することが不可欠である。しかし既存教材はイラストなど2次元のものが多く、立体的な口腔内の状況の把握には限界があった。そこで本研究では、3次元コンピュータグラフィックスの仮想人体によっ て、構音訓練における重要な音声器官（唇・硬口蓋・歯茎・舌）の動作をリアルタイムに視覚化、医師が自由にコントロールしながら提示できる音声器官3次元ビジュアライズシステ ムを開発・評価する。これにより、構音時の音声及び音声器官動作の包括的な提示が可能となり、より効率的で質の高い構音訓練の実現に寄与する。
[システム]
Unreal EngineのMetaHumanをベースとして用い、複数台のカメラ映像から口腔内の発声発語器官の動作をアニメーションクリップとして作成した。 UIと統合し、以下のような機能を持つ持つビジュアライザシステムのプロトタイプを完成させた。
・カメラコントロールによる任意の距離・角度からの3DCGモデルの確認
・音声の選択、再生、停止、シーク再生のコントロール
・スポットへの光の照射と切断表示
・構音点および息の流れをパーティクルで可視化
その後Sonyの空間再現ディスプレイELF-SR2と連携し、任意視点からの両眼立体視へと対応した。これにより対象者が、より直観的に正常構音の発声発語器官動作を確認することができる。
今後は、光学式モーションキャプチャ装置による顔表面動作データとの連携、舌と硬口蓋の接触点を検知できる医療機器Electropalatography(EPG)と連携し、より正確な口内再現と工学的根拠の強化を目指す。
[Credits]
工藤 達郎 , 久留米工業大学・工学部
工藤 孔梨子, 九州大学・大学病院
田尻 姿穂, 株式会社麻生（株式会社麻生飯塚病院医学研究推進本部）・歯科口腔外科
長谷川 幸代 , 九州大学・大学病院
[Software]
Software: Unreal Engine 5.3.2, Visual Studio 2022, MetaHuman Creator, ChatAvatar
Language: C++, Blueprint, hlsl
[Hardware]
SONY ELF-SR2, Windows PC(OS 11)
