基于深度学习的图像文本跨模态检索研究

　　成果编号：9642021J208

　　第一完成单位名称：宁夏大学

　　联系人：刘立波 联系人电话：13709576106

　　成果简介：

　　项目通过在受限玻尔兹曼机的基础上引入相关性方法得到跨模态检索模型并应用于图像及文本两个单模态数据，通过栈式叠加以上两个单模态模型构造了深层跨模态检索模型；以实验室自行构建的数据集（棉田冠层图像及长势情况、甲状腺超声图像及文本报告、宁夏大学新闻图像及文本） 为基础进行研究，进而在公开数据集对该深层跨模态检索模型进行评测。为提升评测结果的准确率，引入单层前馈神经网络，提出了基于单隐层前馈神经网络的语义相关匹配算法并在公开数据集进行验证，结果表明该算法具有更加优异的检索能力，进一步将生成对抗网络引入到跨模态检索研究中，利用深度神经网络良好的编码能力，在不同模态数据之间建立转化的桥梁，使得深度模型具有更好的表现效果。项目发表期刊论文 3 篇、国际会议论文 1 篇，申请发明专利 1 项，取得软件著作权 4 项。