跳到正文
原文
arXiv cs.SD RSS·· 3 小时前

AnchorPrompt:面向鲁棒音频语言模型的自蒸馏软提示

AnchorPrompt: Self-Distilled Soft Prompts for Robust Audio-Language Models

摘要

AnchorPrompt 是一种保持模型冻结的适配方法,在解码器输入端、音频与问题嵌入之间插入单块提示向量,并通过在多种音频与文本扰动上的自蒸馏训练这些向量。该方法以干净录音的预测作为可回答输入的目标,在音频证据不足时指定拒答目标,推理时无需预先检测扰动,可零样本迁移到未见失真。

应来源方要求,这里只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv cs.SD RSS · arxiv.org