Deep Semantic Correlation Learning Based Hashing for Multimedia Cross-Modal Retrieval

Abstract

对于许多大规模多媒体数据集和Web内容，基于哈希策略进行跨模态检索的最近邻搜索方法由于其查询速度快，存储成本低而备受关注。大多数现有的散列方法试图以监督的方式将不同的模态映射到汉明嵌入，其中语义信息来自大的手动​​标签矩阵，并且不同模态中的每个样本通常由稀疏标签矢量编码。然而，先前的研究没有解决语义相关性学习挑战，并且无法充分利用先前的语义信息。因此，它们无法保持准确的语义相似性，往往会降低散列函数学习的性能。为了填补这个空白，我们首先提出了一种新的基于深度语义关联学习的哈希框架（DSCH），它在端到端的深度学习体系结构中生成统一哈希码，用于跨模态检索任务。这项工作的主要贡献是有效地自动构建数据表示之间的语义相关性，并演示如何利用相关信息为新样本生成哈希码。特别地，DSCH将潜在语义嵌入与统一散列嵌入相结合，以增强多个模态之间的相似性信息。此外，在我们的框架中采用了额外的图正则化，以捕获来自模态间和模内的对应关系。我们的模型同时学习语义相关性和统一哈希码，这增强了跨模态检索任务的有效性。实验结果表明，我们提出的方法对两个大型数据集上的几种最先进的交叉模态方法具有极高的准确性。

Tasks

Reproductions