この研究のポイント
人物の属性を判断している観察者の視線を集め、属性ごとのタスク指向視線マップを作ります。注目が集まる領域に重みを付け、人物属性の分類に役立つ画像特徴を抽出します。
概要
人物の写真から特徴を判断するとき、人はどこを見ているのでしょうか。本研究では、人がよく見る場所に、機械にとっても判断に役立つ情報があるのではないかと考えました。人物の属性、つまりその人の特徴を分類するために、観察者の視線を利用します。
複数の観察者に、歩行者の画像を見て属性を判断してもらい、その間の視線の位置を記録します。判断する属性ごとに視線の集まり方をまとめたものが「タスク指向視線マップ」です。機械が画像から情報を取り出すとき、このマップで視線が集まる領域を重視するようにします。
実験では、判断する属性によって、観察者が主に見る身体の部位が異なりました。また、視線を利用する方法を、画像の特徴を学ぶ深層学習や、画像どうしの似ている度合いを学ぶ方法と組み合わせると、属性の分類性能が向上しました。この改善は統計的にも確認され、人の見方を機械の画像認識に生かせることが示されました。
発表文献
- Michiko Inoue, Masashi Nishiyama, and Yoshio Iwai,
Age Group Identification Using Gaze-Guided Feature Extraction, Proceedings of IEEE 12th Global Conference on Consumer Electronics (GCCE), POS, pp. 711 - 714, October 2023. [Poster] - Masashi Nishiyama, Riku Matsumoto, Hiroki Yoshimura, Yoshio Iwai,
Extracting Discriminative Features using Task-oriented Gaze Maps Measured from Observers for Personal Attribute Classification,
Pattern Recognition Letters (PRL), vol. 112, pp.241 - 248, September 2018. - Riku Matsumoto, Hiroki Yoshimura, Masashi Nishiyama, Yoshio Iwai,
Feature Extraction using Gaze of Participants for Classifying Gender of Pedestrians in Images, Proceedings of IEEE International Conference on Image Processing (ICIP), pp. 3545 - 3549, September 2017.
