注意力蒸馏让学生关注教师关注的区域本节你将能解释注意力/激活图蒸馏的直觉与适用任务。 直觉模型教师用「目光」告诉学生看哪里——对检测、细粒度分类很有用。 核心要点 由特征图构造 attention map 再对齐 常与 logits KD 组合 可视化可辅助调试「学偏了没有」 常见误区注意力噪声大时强行对齐——先检查教师 map 是否合理。 动手可视化一对教师/学生 attention 差异。 互动测验:注意力蒸馏更直接作用于什么。 本节小结下一节:在线蒸馏与自蒸馏。