什么是蒸馏，蒸馏操作有什么作用

知识蒸馏，其目的是为了让小模型学到大模型的知识，通俗说，让student模型的输出接近(拟合)teacher模型的输出。所以知识蒸馏的重点在于拟合二字，即我们要定义一个方法去衡量student模型和teacher模型接近程度，说白了就是损失函数。
分子蒸馏是一种特殊的液体分离技术，它与传统蒸馏依靠沸点差分离原理不同，而是靠不同物质分子运动平均自由程的差别实现分离。分子蒸馏是一种在高真空下操作的蒸馏方法，蒸气分子的平均自由程大于蒸发表面与冷凝表面之间的距离，从而可利用料液中各组分蒸发速率的差异，对液体混合物进行分离。
　　在一定温度下，压力越低，气体分子的平均自由程越大。当蒸发空间的压力很低（10-2 ～10-4 mmHg），且使冷凝表面靠近蒸发表面，其间的垂直距离小于气体分子的平均自由程时，从蒸发表面汽化的蒸气分子，可以不与其他分子碰撞，直接到达冷凝表面而冷凝。当液体混合物沿加热板流动并被加热，轻、重分子会逸出液面而进入气相，由于轻、重分子的自由程不同，因此，不同物质的分子从液面逸出后移动距离不同，若能恰当地设置一块冷凝板，则轻分子达到冷凝板被冷凝排出，而重分子达不到冷凝板沿混合液排出。这样，达到物质分离的目的。