作者:楼仙英 杨恺盛 周子尧
很长一段时间里,“知识蒸馏”是机器学习论文中的技术术语。它描述的是一种常见的模型压缩方法:让更小、更高效的“学生模型”学习大型“教师模型”的输出结果与行为模式,从而以更低成本获得接近的能力表现。这原本是行业内再普通不过的工程实践。
但如今,情况已经变了。蒸馏开始进入美国国会法案、州级立法、联邦政策文件、智库报告,以及美国头部AI公司的公开指控之中。它不再只是模型工程中的中性方法,而被越来越多地放入“窃取”、“规避限制”和“安全风险”的讨论框架之下。与此同时,近期披露的信息也显示,多家美国AI公司已开始围绕所谓“对抗性蒸馏”加强识别与信息共享。
