事件日历

标题：社交媒体语境软审核的提炼模型

主持人：陈宇涵

指导老师：Gianluca Stringhini教授

委员会：Ashok Cutkosky教授和Alex Olshevsky教授

摘要：社交媒体平台的自动软审核必须准确区分支持或反驳虚假言论的帖子。此功能对于减轻上下文误报（即审核错误地标记仅引用虚假声明的内容，即使内容实际上对其提出异议或进行了更正）至关重要。最近的澳门威尼斯人注册网站研究通过将姿态检测与对比文本偏差（CTD）任务相结合来解决这个问题，在最先进的系统（如Lambretta）中显著减少了上下文误报。然而，大型语言模型的大量计算需求阻碍了它们的实际部署。此外，专门为微调编码器-解码器架构（如T5）量身定制的知识蒸馏方法在很大程度上仍未被探索。

本文系统地探讨了各种知识蒸馏技术，包括软标签转移和中间层表示对齐。我们提出了原始澳门威尼斯人注册网站模型的精简版本，保留了细微的姿态检测能力，同时显着提高了计算效率。大量的实验评估表明，经过蒸馏的模型在减少上下文误报方面有效地保持了相当的准确性，在基准数据集上实现了几乎等同于原始模型的性能，但计算资源大大减少。具体来说，我们将一个110亿个参数的模型压缩到7.7亿个参数——大小减少了93%——而准确性下降不到7%。

提出的提炼模型为在社交媒体平台上部署可靠的自动化软审核工具提供了一个可扩展的、高效的解决方案，成功地平衡了准确性和实际资源约束。