教师网络校准改善跨质量知识蒸馏（英文版）

英文标题：Teacher Network Calibration Improves Cross-Quality Knowledge Distillation中文摘要：本文研究交叉质量知识蒸馏（CQKD），该方法将使用全分辨率图像进行训练的教师网络的知识转移到以低分辨率图像作为输入的学生网络中。CQKD 在大规模图像分类问题上的表现优于监督学习，并强调了神经网络校准的重要性：我们表明，通过更高的温度平滑教师输出分布，学生分布会表现出更高的熵，从而导致更低的校准误差和更高的网络准确性。英文摘要：We investigate cross-quality knowledge distillation (CQKD), a knowledgedistillation method where knowledge from a teacher network trained withfull-resolution images is transferred to a student network that takes as inputlow-resolution images. As image