有些短视频题目即使把屏幕遮住,也能根据问题措辞猜出答案。研究者先估计模型内部对纯文本输入敏感的方向,再调整微调更新,让模型更难只靠这些规律完成视频问答。
在七种模型和六个分布变化的测试集上,作者比较了常规微调与新方法。这个实验专门考察训练与使用环境变化后是否仍会看画面,原题库分数高低只回答了其中一部分。
原始资料
延伸阅读 第一人称视频的字幕,怎样跟上转身和伸手?
VETO 在微调时抑制仅靠题中文字取得高分的捷径,检查模型是否真正使用影像。

有些短视频题目即使把屏幕遮住,也能根据问题措辞猜出答案。研究者先估计模型内部对纯文本输入敏感的方向,再调整微调更新,让模型更难只靠这些规律完成视频问答。
在七种模型和六个分布变化的测试集上,作者比较了常规微调与新方法。这个实验专门考察训练与使用环境变化后是否仍会看画面,原题库分数高低只回答了其中一部分。