草庐IT

还能这么玩?将Prompt Tuning用于细粒度的图像检索!

还能这么玩?将PromptTuning用于细粒度的图像检索!【写在前面】细粒度对象检索旨在学习判别表示以检索视觉上相似的对象。然而,现有的最佳性能作品通常在语义嵌入空间上施加成对的相似性,以在有限的数据体系中不断调整整个模型,从而导致容易收敛到次优解。本文提出了细粒度检索提示调优算法(FRPT),该算法从样本提示和特征自适应的角度出发,利用冻结的预训练模型来执行细粒度检索任务。具体地说,FRPT只需要在提示和自适应中学习较少的参数,而不是对整个模型进行调整,从而解决了对整个模型进行微调而导致的收敛到次最优解的问题。从技术上讲,作为样本提示,引入了结构扰动提示(SPP),通过内容感知的非均匀采样