歩行者グループの相互作用映像を用いた会話の活発さの認識

歩行者の姿勢と歩行位置の時系列から、身体的な相互作用を表す映像を仮想空間内に生成します。この相互作用映像を特徴として、グループの会話の活発さを認識します。

友人どうしで歩いているとき、会話が盛り上がると、体の動きや互いの位置関係にも変化が表れます。この研究では、屋外を歩くグループを撮影したカラー映像から、会話がどのくらい活発かを見分ける方法を考えました。一緒に歩いているか、話しているかだけでなく、会話の活発さを対象にしています。

まず、映像から各人物の姿勢と歩く位置が時間とともにどう変わるかを取り出します。次に、その情報を使い、人どうしの体の動きや位置関係を表す映像を仮想空間に作ります。この「相互作用映像」を、会話の活発さをコンピュータが判断するための手掛かりにします。判断に用いる動きは、映像として人も確認できます。

実験では、人物の体がどう見えるかを使う手法や、姿勢と位置の変化を時系列データのまま使う手法と比較しました。その結果、相互作用映像を使う提案手法の方が、会話の活発さを高い精度で見分けられました。

• Tsubasa Kondo, Michiko Inoue, Shunsuke Yoneda, and Masashi Nishiyama
  Reducing Computational Cost in Pedestrian Conversation Activity Recognition through Skeleton Spatiotemporal Graphs, Proceedings of IEEE 14th Global Conference on Consumer Electronics (GCCE), OS-AIP, pp. 815 - 818, September 2025. [Outstanding Prize Excellent Student Paper Awards] [Slides]
• Wataru Ganaha, Takumi Ozaki, Michiko Inoue, and Masashi Nishiyama,
  Conversation activity recognition using interaction video sequences in pedestrian groups, Proceedings of 27th International Conference on Pattern Recognition (ICPR), Part XIV, pp. 359 - 374, December 2024. [Poster]
• 近藤 翼, 井上 路子, 米田 駿介, 西山 正志,
  歩行者の会話の活発さ認識の軽量化における骨格時空間グラフの有効性検証,
  画像センシングシンポジウム (SSII), IS2-36, pp. 1 - 8, May 2025. [Poster] [Short movie]
• 尾崎 匠，井上 路子，西山 正志,
  会話の活発さ認識における歩行者間のインタラクションの重要度の可視化,
  ビジョン技術の実利用ワークショップ (ViEW), IS4-12, pp. 525 - 531, December 2023. [Poster]
• 尾崎 匠，我那覇 航，井上 路子，西山 正志,
  歩行者間の会話の盛衰認識における複数グループ対応の検討,
  画像の認識・理解シンポジウム(MIRU), IS1-71, July 2023. [Poster]