← Case studies
Model · Fine-tune
mdAgent-Hermes-32B
Een multimodale tool-use LoRA-fine-tune van Qwen3-VL-32B, geoptimaliseerd voor betrouwbare function calling en documentbegrip — gekwantiseerd om op één on-prem GPU-node te draaien.
- Basismodel
- Qwen3-VL-32B
- Methode
- LoRA · multimodaal
- Kwantisatie
- AWQ · INT4
- Interne eval
- 82,3% BFCL-v3 single-turn
Overzicht
Standaardmodellen zijn zelden betrouwbaar genoeg in toolgebruik voor productie-agents: ze verzinnen argumenten, missen schema's en lopen vast op multimodale input. mdAgent-Hermes-32B is een gerichte fine-tune die een 32B vision-language-model betrouwbaar maakt in het aanroepen van de juiste tool met de juiste argumenten.
Getraind met LoRA op geselecteerde multimodale tool-use-data en daarna gekwantiseerd voor efficiënte serving, houdt het model een hoge function-calling-nauwkeurigheid binnen een realistisch on-prem hardwarebudget.
Op de interne BFCL-v3 single-turn function-calling-eval van LMXAI (evalscope) haalde mdAgent-Hermes-32B 82,3%. Dat is onze eigen run van de single-turn-suite van de Berkeley Function-Calling Leaderboard v3 — geen gepubliceerde positie op een leaderboard van derden.
Aanpak
- LoRA-fine-tuning van Qwen3-VL-32B op multimodale tool-use-traces.
- Kwantisatie (AWQ, INT4) voor inferentie met weinig geheugen en hoge doorvoer.
- Grondige evaluatie met evalscope over function-calling- en redeneersuites.
- vLLM-serving voor productie op een A100-cluster.
Evaluatie
82,3%Interne BFCL-v3 single-turn
evalscopeBFCL-v3 · HumanEval · GSM8K
HumanEvalRedeneren over code
GSM8KWiskundig redeneren
Stack
PyTorchLoRAQwen3-VL-32BAWQINT4vLLMevalscopeA100