根据FashionUnited 的调查数据显示,2019年时尚行业的全球生产总值达三万亿美元, 这也证实了人们对服装的广泛需求和其背后巨大的经济价值。日常生活中,人们可以通过搭配时尚美观的服装来改善自己的外表,然而并不是每个人都擅长服装搭配,因此开展自动互补服装搭配的研究有着广阔的应用前景和市场。此外,移动互联网和电子商务的发展,导致互联网中积累了海量的服装数据,包括服装的图片和对应的文本描述,这些丰富的数据为我们建模互补服装之前的兼容性提供了可能性。目前,本实验室已从以下四个方面对服装兼容性建模开展了相关研究:
1)数据驱动的服装兼容性建模:提出了面向服装兼容性的非线性隐式空间,并对互补服装兼容性进行多模态(视觉和文本)建模(发表在CCFA会议MM2017上)。
2)知识指导的兼容性建模:采用教师学生网络框架,利用时尚领域积累的搭配规则(正向规则或反向规则)来指导数据驱动的兼容性建模(发表在CCFA会议SIGIR2018上)。
3)个性化兼容性建模:对用户的服装购买历史进行分析和建模,捕捉用户个性化偏好,并综合考虑服装间的兼容性,实现对用户的个性化推荐(发表在CCFA会议MM2019上)。
4)可解释的兼容性建模:利用矩阵分解的方法对搭配和不搭配的套装特征进行分析,捕捉一些常见的搭配或不搭配的套装模板,利用属性交互的角度解释服装搭配与否的原因(发表在CCFA会议SIGIR2019上)。未来,我们还将继续开展时尚领域的相关研究,例如在线服装试穿、交互式服装检索等。