Soevereine vLLM-deployment — en de vendorchecklist

Wat “soevereine vLLM” betekent

Een soevereine vLLM-deployment is een OpenAI-compatibele inferenceservice die u draait op GPU’s die u beheert, in een netwerk dat geen Amerikaanse API hoeft te bellen om een prompt te beantwoorden. vLLM geeft continuous batching, prefix caching en tensorparallelisme. Soevereiniteit is de rest van het ontwerp: waar de nodes staan, wie SSH mag, waar logs naartoe gaan, en of een supportengineer in een andere jurisdictie een coredump kan ophalen.

LMXAI levert dit patroon voor enterprise-werkplekken en interne agents. De servinglaag hoort bij hetzelfde gezin als het sovereign AI-platform en de mdGPT-gateway die ervoor zit.

Referentievorm

• Cluster: Kubernetes in uw DC of een EU bare-metal-/private-cloudaccount dat u bezit.
• Serving: vLLM (optioneel AWQ/INT4) achter een interne gateway — FastAPI, SSE, keys per namespace.
• Netwerk: default-deny egress. Images van een mirror die u beheert. Geen callback naar een modelvendor bij een request.
• State: gewichten op uw volume; KV-cache op de GPU-nodes; applicatielogs in uw collector (OpenTelemetry).
• Ops: autoscaling op wachtrijdiepte, niet op de quotapagina van een vendor.

Vendorchecklist (gebruik dit in inkoop)

Vraag	Geslaagd	Gezakt
Waar staan de GPU’s fysiek?	Genoemde EU-metro / uw rack	“EU-regio” met onuitgesproken replicatie
Wie is verwerker van prompts?	U, of een genoemde EU-entiteit met DPA	Onduidelijke subverwerkers, VS-moederstandaard
Kan inference met geblokkeerde egress?	Ja, gedocumenteerd	Licentiecheck of telemetry moet thuisbellen
Wie houdt de gewichten?	Uw object store / PVC	Vendor ontsleutelt gewichten per request
Supporttoegang	Break-glass, gelogd, EU-staf optioneel	Permanente admin van buiten de Unie
Exit	U houdt gewichten, traces en IaC	Model of index vast in hun control plane
Contractjurisdictie	EU-lidstaat	Alleen Californische ToS

Kostenfactoren vóór u GPU’s koopt

Tokens zijn niet de rekening. De rekening is idle GPU-tijd, contextlengte, gelijktijdige sessies, en hoe vaak u een corpus opnieuw embedt. Een 32B AWQ-model op een paar high-memory-GPU’s wint vaak van een 70B die op 15% bezetting staat. LMXAI dimensionneert dit vanuit een verkeersschets en een latency-SLO, en voegt speculative decoding of expert-offload alleen toe als de cijfers de complexiteit rechtvaardigen.

Wat LMXAI overdraagt

Een draaiende vLLM-service, een gateway met auth en traces, een runbook voor gewichtsupdates, en de ingevulde vendorchecklist voor wie de machines host. U moet later van GPU-vendor kunnen wisselen zonder de applicatie te herschrijven.