视听觉跨模态表面材质检索
河北工业大学省部共建电工装备可靠性与智能化国家重点实验室; 天津300130; 清华大学智能技术与系统国家重点实验室; 北京100084; IEEE; 中国人工智能学会; 中国人工智能学会认知系统与信息处理专业委员会
- 跨模态检索
- 特征提取
- 典型相关分析
- 子空间映射
- 材质分析
摘要：针对文本图像特征有时无法满足对物体材质进行真实准确分析的情况,本文在视听领域使用跨模态检索方法进行表面材质检索。首先提取声音的梅尔频率倒谱系数(MFCC)特征,使用卷积神经网络(CNN)提取图像特征,然后利用典型相关分析将两种特征映射到子空间并用欧氏距离进行检索,并在慕尼黑工业大学触觉纹理数据集上进行实验验证,实现了使用声音检索图像的跨模态检索过程。实验结果表明,所提出的方法在材质检索方面有较好应用效果。
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
