单精度
LLM推理优化：量化剪枝与混合精度实现高效部署
知识百科 • 数栈君 发表了文章 • 0 个评论 • 407 次浏览 • 2025-09-16 14:17
LLM推理优化：量化剪枝与混合精度实现高效部署一、引言随着大模型的兴起，如何高效地部署大模型成为了业界关注的热点。大模型的推理过程需要消耗大量的计算资源，因此，如何通过优化来降低大模型的计算成本成为了亟待解决的问题。本文将介绍两种大模型优化技术：量化剪枝和混合... ...查看全部
LLM推理优化：量化剪枝与混合精度实现高效部署
知识百科 • 数栈君 发表了文章 • 0 个评论 • 407 次浏览 • 2025-09-16 14:17
LLM推理优化：量化剪枝与混合精度实现高效部署一、引言随着大模型的兴起，如何高效地部署大模型成为了业界关注的热点。大模型的推理过程需要消耗大量的计算资源，因此，如何通过优化来降低大模型的计算成本成为了亟待解决的问题。本文将介绍两种大模型优化技术：量化剪枝和混合... ...查看全部
