大模型量化格式大比拼：GGUF、AWQ、GPTQ、EXL2 深度技术解析与选型指南
面对 GGUF、AWQ、GPTQ、EXL2 纷繁复杂的量化后缀，到底应该如何选择？本文深入对比各量化方案的数学底层、软硬件适配生态、困惑度损失与实际推理吞吐，助你精准选型。
⚖️ 一、为什么必须进行模型权重量化？
一个 70B（700 亿参数）的大语言模型在未压缩的标准半精度（FP16/BF16，每个参数占 2 字节）下，仅权重本身就需要 140 GB 显存；再加上推理运行时庞大的 KV Cache 缓存，必须配备 2 张 A100 (80G) 才能勉强启动。
通过模型量化（Quantization），将 16-bit 浮点数映射压缩到 8-bit、4-bit 甚至 2-bit 整数表示，70B 模型的显存开销可以陡降至 35~40 GB，仅需一张 RTX 3090/4090 或主流消费级双卡即可流畅运行！
📊 二、主流四大量化格式横向全景对比
| 格式标准 | 代表生态 | 显存削减比 | 精度损失 (PPL) | 硬件亲和性 | 适用场景推荐 |
|---|---|---|---|---|---|
| GGUF | llama.cpp / Ollama / LM Studio | 约 70% (Q4_K_M) | 极低 (<0.1 PPL) | CPU + GPU 混合 / Apple M 系列 | 本地个人电脑、Mac、无独显笔记本 |
| AWQ | vLLM / TGI / SGLang | 约 70% (4-bit) | 极低 (保护关键1%权重) | NVIDIA Tensor Core (Ada/Ampere) | 企业高并发 API 服务、生产集群 |
| GPTQ | AutoGPTQ / ExLlama / vLLM | 约 70% (4-bit) | 低 | 通用 NVIDIA GPU | 成熟度高、兼容老款 GPU (如 Turing) |
| EXL2 | ExLlamaV2 / TabbyAPI | 自由可调 (2.2~8.0 bpw) | 极优 | 单卡极限推理 | 单用户极速生成、精确填满显存 |
🔬 三、核心数学原理与技术差异
1. AWQ (Activation-aware Weight Quantization) 为什么是服务器首选？
AWQ 发现并非所有模型权重具有同等重要性：仅有不到 1% 的显著权重（Salient Weights） 承载了绝大多数注意力注意力机制的核心输出。AWQ 不盲目对全矩阵统一降级，而是根据前向激活观察显著权重，在保护该 1% 浮点精度的前提下，将其余 99% 参数压缩为 4-bit。这使得 AWQ 在 vLLM 高并发场景下能兼顾极高吞吐与几乎无损的困惑度（Perplexity）。
2. GGUF 为什么能席卷个人桌面端？
GGUF 是由 Georgi Gerganov 设计的单文件全封装二进制规范。与 Hugging Face 传统几十个 safetensors 分卷不同，GGUF 将张量元数据、超参数、分词词表全部固化在一个 .gguf 文件内。它原生支持操作系统的 mmap 内存映射，能够在毫秒级瞬间完成模型挂载，并且能在内存（RAM）与显存（VRAM）之间进行细粒度的按层卸载（Layer Offload）。
🎯 四、工程师决策树：我到底该拉取哪种格式？
→ 拉取 GGUF 格式 (优先选择 Q4_K_M 或 Q5_K_M)，配合 Ollama 使用。
→ 拉取 AWQ 格式，配合 vLLM 开启 PagedAttention 与连续批处理。
→ 拉取 EXL2 格式 (约 4.0~5.0 bpw)，配合 ExLlamaV2 引擎。