Add new file

4-模型改进/4.5-模型剪枝&量化/readme.md

+# 模型压缩简介
+# 模型压缩简介
+
+## 代码下载
+
+模型压缩相关资料及代码分享自百度网盘：
+链接: [https://pan.baidu.com/s/1RF5p1909HvJutMY9mOBCiA](https://pan.baidu.com/s/1RF5p1909HvJutMY9mOBCiA)
+提取码: 8888
+
+主要介绍深度学习中的模型压缩技术，涵盖剪枝（Pruning）、量化（Quantization）和蒸馏（Distillation）三大方法，旨在减少模型体积和计算复杂度，提高推理速度，方便在资源受限设备上的部署
+## 一、剪枝（Pruning）
+
+剪枝是通过去除神经网络中不重要或冗余的权重或结构，实现模型简化的方法。
+
+* **非结构化剪枝**：按权重大小剪掉部分连接，稀疏化模型权重。
+* **结构化剪枝**：直接剪掉整条通道、卷积核等，便于硬件加速。
+
+剪枝后通常需要\*\*微调（fine-tuning）\*\*恢复模型精度。
+
+## 二、量化（Quantization）
+
+量化是将模型权重和激活从高精度浮点数（如FP32）转换为低精度表示（如INT8），以减小模型大小并加快计算速度。
+
+* **对称量化**：正负区间对称，量化范围\[-x, x]。
+* **非对称量化**：量化范围不对称，适用于非均匀分布。
+
+
+量化常结合硬件支持实现高效推理
+
+## 三、蒸馏（Distillation）
+
+蒸馏是通过训练一个小模型（学生模型）去模仿大模型（教师模型）的输出分布，从而提升小模型性能的技术。
+
+* 利用教师模型的软标签（soft target）传递更丰富的信息。
+* 通过调整温度参数（Temperature）平滑输出概率。
+* 兼顾硬标签和软标签的损失函数。
+
+蒸馏能有效提升轻量模型的准确率
+
+
+