Mouth Capture
ヘッドマウントディスプレイに装着した光センサによる口元形状の識別
Classi cation of Mouth Shape Using Optical Sensor Attatched to Head-Mounted Display
2017
中村文彦,鈴木克洋,正井克俊,伊藤勇太,杉浦裕太,杉本麻樹
Fumihiko Nakamura, Katsuhiro Suzuki, Katsutoshi Masai, Yuta Itoh, Yuta Sugiura, Maki Sugimoto

本研究では口元形状を学習する時には音声から認識した母音を用いて口元形状を計測したセンサ値にラベリングする自動的な訓練データの取得法を提案する。また、HMDに組み込んだ光センサを用いてHMD装着者の唇や頬を含めた口元形状を発声の有無に関わらず常時計測して認識する手法を提案する。

Facial occlusions caused by HMD (Head-Mounted Display) make capturing user's face hard. In this paper, we propose a technique to classify the mouth shapes into 6 classes using optical sensors embedded in HMD and give labels to training dataset by vowel recognition. We conducted an experiment with 5 subjects to compare recognition rates of machine learning in manual labeling and automated labeling conditions. The result shows that proposed method achieved an average of 99.9% classification accuracy in the manual labeling condition, and of 96.3% classification accuracy in the automated labeling condition.