文章目录

  • 动机及其贡献
    • 动机
    • 贡献
  • 方法
    • 实验设置
      • Model
      • Dataset
      • Implementation Details
      • Evaluation Metrics
    • 分析
    • 整体网络框架
      • MFA：
      • SFS
      • WCS
      • MI
  • 实验
    • 交叉实验
    • 消融实验
    • 人为评估

动机及其贡献

动机

  1. 现有方法只提供预测结果，而没有提供直观和令人信服的解释。
  2. 有些方法已经使用预训练好的MLLM来获得深度伪造检测的可解释性，但存在一定的局限性。（对其特定于深度伪造检测的能力了解不足，以及缺乏有效的策略来提高其性能。）

贡献

  1. 研究MLLM用于深度伪造检测的内在能力：是第一个系统地评估MLLM在深度伪造检测方面的内在能力的人。发现MLLM对不同的伪造特征具有不同的鉴别能力。
  2. 通过设计的线性调整增强MLLM的可解释性：基于MLLM的已识别优势，对其进行微调，以生成最“熟悉”的伪造特征的解释，并放弃那些他们“不熟悉”的，从而提高了他们准确检测和令人信服地解释深度伪造的能力。
  3. 对于MLLM显示出局限性的领域，整合了EDD（external dedicated detectors，EDDs）来补充模型的弱点，能够利用MLLM和EDD的优势来实现更好的检测系统。

方法