近年来，随着社交媒体平台和多媒体传感器的出现和发展，越来越多的数据可以用于分析人与人之间的社交互动。社交多媒体数据拥有改变人们相互交流、合作和通信方式的巨大潜能，甚至能够影响我们对生活与社会的理解。同时，多媒体传感器记录下的面对面社交互动，也为分析和理解人与人之间的社交互动提供了数据基础。

1.   基于多模态社交媒体信息的商业营销影响者推荐

社交媒体在近些年来逐渐演变为了主流媒体。与此同时，社交媒体对商业模式也产生了重要的影响。无处不在的社交媒体使商业可以轻易地与各个社交网络中的用户接触并互动。因此，在今天社交网络被视为一种商业营销的非常有效的途径。在此方向，研究引入了社交媒体数据的相似度，以及社交网络参与度来共同评价“网红”与品牌之间的可胜任度，以基于多模态的信息推荐“网红”。相关研究工作发表至ACM MM 2019（Seeking Micro-influencers forBrand Promotion Search and recommendation.）

2.   基于多传感器的社交互动中肢体语言分析

在人与人社交互动过程中，肢体语言对信息传达十分重要。手势不仅帮助丰富其语言内容的画面感，帮助传达情绪,有时还能传达言语无法表达的信息。在此方向，研究了基于演讲社交互动行为分析，借助于社会学人类行为与交际的相关概念，提出了一个基于多传感器的演讲行为分析系统。此外，进一步研究了基于深度学习的人际交互肢体语言自动生多媒体传感器成方法，能够利用数据分析方法以及人工智能技术为演讲者提供更为准确的肢体动作指导，使其能够与演讲内容深度结合，更好的表达交流内容，提高人际沟通的效率。相关研究成果发表于ACM Multimedia 2015、ToMM、ACM Multimedia Asia 2019（Multi-sensorself-quantification of presentations; A Multi-sensor Framework for PersonalPresentation Analytics; Learn to Gesture: Let Your Body Speak）