生成对抗网络在图像文本跨模态检索中的研究

    成果编号：9642023J0341
    第一完成单位名称：宁夏大学
    联系人：刘立波 联系人电话：13709576106
    成果简介：
    该项目以图像和文本两种模态数据作为研究对象，深入挖掘图文模态数据的语义关联特征来降低数据特征语义信息的损失，在共享子空间中同时保证模态内特征间的语义区分性和模态间特征的语义一致性，提升图文跨模态检索性能。探索解决①挖掘图文不同模态数据的语义相关性，有效学习共享语义特征，将其高效地映射到共享子空间中；②增强深度学习模型对不同模态数据间的线性关联建模能力；③增强共享语义不同模态数据之间的关联性。④有机结合并优化表示学习和关联学习的统一。围绕研究目标，在保证完成既定任务的基础上，将研究内容拓展为单模态表示学习和多模态关联学习、图文共享语义特征的表示学习、模态间特征的一致性及模态内特征的区分性、细粒度图像分类、细粒度图文跨模态检索。