← Alle inzichten
Soevereine AI · vLLM

Kwantisatie in vLLM: kiezen tussen AWQ, GPTQ, FP8 en INT4

Er is geen formaat dat altijd het beste is. Stem af op de hardware, evalueer op de productietaken en registreer het checkpoint.

LMXAI · Leiden, NL · Gepubliceerd · Herzien

Samenvatting

Er is geen kwantisatieformaat dat altijd het beste is voor het serveren van grote taalmodellen. Deze gids vergelijkt AWQ, formaten in GPTQ-stijl, FP8 en INT4 in vLLM, legt uit wat elk verandert en wanneer u het gebruikt, en geeft een beslisproces in zes stappen op basis van hardwareondersteuning en evaluatie op de productietaken. Hij vat het onderzoek achter elke methode samen en behandelt een gekwantiseerd checkpoint als een beheerd artefact.

Trefwoorden kwantisatie · AWQ · GPTQ · FP8 · INT4 · vLLM

Inhoud

  1. Inleiding
  2. Achtergrond en verwant werk
  3. Wat kwantisatie verandert
  4. AWQ
  5. Kwantisatie in GPTQ-stijl
  6. FP8
  7. INT4 en andere 4-bitpaden
  8. Een praktisch beslisproces
  9. Kwantisatie hoort bij governance
01

Inleiding

Kwantisatie is een van de nuttigste middelen om de kosten van soevereine LLM-infrastructuur te verlagen, maar er is geen formaat dat altijd het beste is.

De juiste keuze hangt af van de hardware, de modelarchitectuur, de beschikbare checkpoints, de latencydoelen en hoeveel kwaliteitsverlies de toepassing kan verdragen.

De huidige vLLM ondersteunt een breed scala aan kwantisatiemethoden, waaronder AWQ, formaten in GPTQ-stijl, FP8, INT8, INT4, compressed-tensors en nieuwere vormen van online kwantisatie.

02

Achtergrond en verwant werk

Kwantisatie zet numerieke waarden om naar minder bits. Een overzichtsstudie van het vakgebied merkt op dat de overstap van floating point naar gehele getallen van vier bits of minder het geheugengebruik en de latency in theorie tot 16× kan verlagen, en dat in de praktijk vaak 4× tot 8× wordt gehaald[1].

Voor grote taalmodellen zijn drie families van kwantisatie na de training van belang. GPTQ kwantiseert gewichten in één keer met benaderde tweede-orde-informatie; de auteurs melden 3 tot 4 bits per gewicht met verwaarloosbaar verlies aan nauwkeurigheid bij modellen tot 175 miljard parameters[2]. AWQ gaat ervan uit dat niet alle gewichten even belangrijk zijn en beschermt ongeveer 1% van de belangrijkste gewichten, gekozen op basis van activatiestatistieken, zonder backpropagation[3]. SmoothQuant mikt op 8-bit gewichten en activaties door de moeilijkheid van het kwantiseren van de activaties naar de gewichten te verplaatsen, en meldt tot 1,56× versnelling en 2× minder geheugen[4]. FP8 is een floating-pointalternatief: een 8-bit uitwisselingsformaat met twee coderingen, waarvan de auteurs resultaten melden die gelijk zijn aan 16-bit training bij beeld- en taaltaken[5]. Fine-tuning kan ook op gekwantiseerde gewichten draaien: QLoRA traint low-rank adapters via een bevroren 4-bitmodel[6].

Deze resultaten zijn gemeten op de modellen, taken en hardware van de auteurs. Ze rechtvaardigen het om een formaat te proberen. Ze vervangen geen evaluatie op de productietaken.

03

Wat kwantisatie verandert

Kwantisatie slaat gewichten — en bij sommige methoden activaties — op met lagere precisie.[1] De belangrijkste voordelen kunnen zijn:

  • minder GPU-geheugengebruik;
  • grotere modellen op dezelfde hardware;
  • grotere batchcapaciteit;
  • lagere kosten per verzoek;
  • bij geheugengebonden workloads een hogere doorvoer.

Het nadeel is dat lagere precisie de modelkwaliteit of de prestaties van kernels kan veranderen. Elke gekwantiseerde variant moet daarom worden geëvalueerd op dezelfde set productietaken.

04

AWQ

AWQ is een populaire methode voor 4-bit deployment die alleen de gewichten kwantiseert.[3] Ze is breed beschikbaar voor open modellen en kan aantrekkelijk zijn als het doel is een groter model in een beperkt GPU-budget te passen.

Gebruik AWQ wanneer:

  • er al een AWQ-checkpoint van goede kwaliteit bestaat;
  • de doelhardware een efficiënt, ondersteund kernelpad heeft;
  • minder geheugen belangrijker is dan volledige precisie behouden.

Ga er niet van uit dat een AWQ-checkpoint automatisch sneller is dan elk alternatief met hogere precisie. Benchmark het echte model op de echte hardware.

05

Kwantisatie in GPTQ-stijl

Formaten uit de GPTQ-familie komen ook veel voor in het ecosysteem van open modellen en kunnen flink geheugen besparen.[2]

Ze zijn nuttig als een bestaand checkpoint en een ondersteunde backend passen bij uw hardware. Vergelijk ze bij een nieuwe deployment met compressed-tensors of andere actuele paden die vLLM zelf ondersteunt, in plaats van alleen te kiezen op basis van welk checkpoint beschikbaar is.

06

FP8

FP8 is vooral relevant op nieuwere generaties accelerators met sterke native ondersteuning.[5] Het kan meer numeriek bereik behouden dan formaten met zeer weinig bits die alleen de gewichten kwantiseren, en verlaagt tegelijk de geheugen- en bandbreedte-eisen ten opzichte van BF16/FP16.

De huidige vLLM ondersteunt voor ondersteunde configuraties ook online kwantisatie in FP8-stijl, waardoor sommige modellen bij het laden kunnen worden omgezet zonder apart voorbereid checkpoint.

Gebruik FP8 wanneer:

  • de hardwareondersteuning sterk is;
  • u een gematigde verlaging van de precisie wilt met een kernelpad dat geschikt is voor productie;
  • het model en de werklast profiteren van hogere doorvoer of minder geheugendruk.
07

INT4 en andere 4-bitpaden

INT4 kan het geheugengebruik zeer sterk verlagen. Voor zakelijke serving is de kernvraag of die verlaging een beter resultaat op systeemniveau oplevert.

Een kleinere omvang kan het mogelijk maken om:

  • op minder GPU's te serveren;
  • meer gelijktijdige reeksen te verwerken;
  • meer geheugen toe te wijzen aan de KV-cache;
  • een groter model volledig binnen één node te houden.

Maar het effect op kwaliteit en prestaties verschilt per model. Valideer tool calling, gestructureerde output, onderbouwing door retrieval en het gedrag bij lange context — niet alleen generieke benchmarkscores.

08

Een praktisch beslisproces

  1. Leg een basislijn vast in BF16/FP16. Noteer kwaliteit, TTFT, doorvoer en geheugen.
  2. Kies formaten die de doelhardware goed ondersteunt. Vermijd formaten die terugvallen op een trage kernel.
  3. Test minstens twee gekwantiseerde varianten. Bijvoorbeeld FP8 tegenover een 4-bit checkpoint.
  4. Draai domeinevaluaties. Neem toolaanroepen, geldigheid van JSON, meertalige prompts en RAG mee als dat productie-eisen zijn.
  5. Meet gelijktijdigheid, niet alleen de snelheid van één verzoek. Geheugenbesparing levert vaak waarde op via batching.
  6. Houd het modelartefact reproduceerbaar. Leg de kwantisatiemethode, het bron-checkpoint, eventuele kalibratiedata en de runtimeversie vast.
09

Kwantisatie hoort bij governance

Voor gereguleerde systemen of systemen waar veel op het spel staat, is het veranderen van de numerieke representatie van een model een wezenlijke wijziging in de deployment. Behandel een nieuw gekwantiseerd checkpoint als een nieuw, geëvalueerd artefact.

Het modelregister moet vastleggen:

  • basismodel;
  • kwantisatieformaat en toolchain;
  • hash/versie van het checkpoint;
  • evaluatieresultaat;
  • doelhardware;
  • acceptatiebeslissing.

Primaire bronnen

Verder lezen

Referenties

  1. Gholami, A., Kim, S., Dong, Z., Yao, Z., Mahoney, M. W., & Keutzer, K. (2021). A survey of quantization methods for efficient neural network inference. arXiv preprint arXiv:2103.13630. arxiv.org/abs/2103.13630
  2. Frantar, E., Ashkboos, S., Hoefler, T., & Alistarh, D. (2023). GPTQ: Accurate post-training quantization for generative pre-trained transformers. International Conference on Learning Representations (ICLR 2023). arxiv.org/abs/2210.17323
  3. Lin, J., Tang, J., Tang, H., Yang, S., Chen, W.-M., et al. (2024). AWQ: Activation-aware weight quantization for LLM compression and acceleration. Proceedings of Machine Learning and Systems (MLSys 2024). arxiv.org/abs/2306.00978
  4. Xiao, G., Lin, J., Seznec, M., Wu, H., Demouth, J., & Han, S. (2023). SmoothQuant: Accurate and efficient post-training quantization for large language models. Proceedings of the 40th International Conference on Machine Learning (ICML 2023). arxiv.org/abs/2211.10438
  5. Micikevicius, P., Stosic, D., Burgess, N., Cornea, M., Dubey, P., et al. (2022). FP8 formats for deep learning. arXiv preprint arXiv:2209.05433. arxiv.org/abs/2209.05433
  6. Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient finetuning of quantized LLMs. arXiv preprint arXiv:2305.14314. arxiv.org/abs/2305.14314

Elke referentie is gecontroleerd bij de uitgever, arXiv of de officiële bron.

Citeren

LMXAI. (2026). Kwantisatie in vLLM: kiezen tussen AWQ, GPTQ, FP8 en INT4. LMXAI Inzichten. https://lmxai.com/nl/insights/vllm-quantization-awq-gptq-fp8-int4.html