RESEARCH

クラス間の分離性が高い説明文の自動生成と対照学習による歩行者の年齢認識

この研究のポイント

視覚言語モデルで年齢クラスごとの特徴を説明する文章を自動生成し、画像と文章の特徴を対照学習で対応付けます。人手による説明文の試行錯誤を抑えながら、歩行者の年齢認識を改善します。

視覚言語モデルによる年齢説明文の自動生成と対照学習を用いた歩行者年齢認識の概要図

概要

人の全身画像から、その人がどの年齢層に属するかをコンピュータで見分ける研究です。画像と文章を一緒に扱うAIを使うと認識を改善できますが、年齢層ごとの特徴をどう文章で説明するかが重要です。これまでは、違いが伝わる説明文を人が何度も作り直す手間がありました。

そこで、画像についての短い質問にAIが答えるしくみを使い、体の特徴や身に着けているものを表す説明文を自動で作ります。年齢層どうしの違いを表す言葉を増やし、見分けるための手掛かりにします。さらに、同じ年齢層の画像と説明文が対応するように学習させ、画像から年齢層を判断しやすくします。

4つの公開データセット(RAPv2.0、PETA、MSP60k、PA100k)で評価したところ、平均正解率は84.1%でした。比較した手法のうち最も高い正解率を4.6ポイント上回り、説明文を手作業で試行錯誤する工程も省けました。

関連文献