ReflecTouch: Detecting Grasp Posture of Smartphone Using Corneal Reflection Images

By sensing how a user is holding a smartphone, adaptive user interfaces are possible such as those that automatically switch the displayed content and position of graphical user interface (GUI) components following how the phone is being held. We propose a novel method for detecting how a smartphone is being held by capturing images of the smartphone screen reflected on the cornea with a built-in front camera. In these images, the areas where the user places their fingers on the screen appear as shadows, which makes it possible to estimate the grasp posture. Since most smartphones have a front camera, this method can be used regardless of the device model; in addition, no additional sensor or hardware is required. We conducted data collection experiments to verify the classification accuracy of the proposed method for six different grasp postures, and the accuracy was 85%.

本研究では，ユーザがスマートフォンを操作する際に，スマートフォンのフロントカメラ（インカメラ）で撮影された顔写真を使用し，角膜反射像を機械学習で分類することで，ユーザがスマートフォンをどのように把持しているかを推定する手法を提案する．スマートフォンの画面は光を発するため，顔の正面の位置にスマートフォンを持つと画面の形をした角膜反射像が映り，画面上に指を置いている部分は影となり，その部分の角膜反射像が欠ける．把持姿勢に応じて角膜反射像の欠け方が異なるため，顔写真から瞳に映る角膜反射像を切り取り，機械学習を使って角膜反射像を分類することで把持姿勢を推定することが可能である．アプリ内で把持姿勢を推定することで，ユーザーの利用状況に合わせた画面表示の最適化や，操作ボタンやキーボード位置の自動切り替えなどが可能となり操作性向上につながる．

ACM CHI2022 Video figure

Presentation 

Video preview