学習サンプルの背景バイアスに頑健な視線誘導型自己注意機構を用いた性別認識

歩行者画像内の人物の性別を判断するときの人の視線分布を用いて、性別認識のための深層学習ネットワークに組み込む注意機構を提案します。 一般的な注意機構は、入力特徴マップのすべてのセルの値の相関を空間的に計算し、注意の重みを求めます。 歩行者画像の背景に大きなバイアスがある場合、例えばテストサンプルと学習サンプルで背景が異なる場合には、この注意機構が学習する重みも背景バイアスの影響を受け、性別認識の精度が低下します。 この問題を避けるため、人の視覚的注意に着想を得た、視線誘導型自己注意（gaze-guided self-attention：GSA）と呼ぶ注意機構を組み込みます。 提案手法では、人の視線分布を用い、各入力特徴マップに空間的に適切な注意の重みを割り当てます。 特に、GSAは背景バイアスのある学習サンプルを用いる場合にも有望な結果をもたらします。 公開データセットを用いた実験により、学習サンプルとテストサンプルの間に背景バイアスがある場合に、視線分布を用いたGSAは、既存の注意機構に基づく手法よりも性別認識の精度が高いことを確認しました。