大模型 稀疏训练 剪枝 量化 知识蒸馏 低秩分解 优化方法 深度学习 泛化能力 计算成本 内存占用 复杂度 参数 层数 任务 自然语言处理 图像识别 语音识别 研究热点 约束 结构化稀疏训练 非结构化稀疏训练 权重矩阵 行 列 权重 元素 阈值剪枝 L1正则化剪枝 稀疏门控自编码器剪枝 直方图量化 Ternary Quantization DoReFa-Net 温度调整 软标签 蒸馏损失 奇异值分解 非负矩阵分解 随机低秩分解 输出差异 传递 小模型 大模型 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递 传递