Veelgestelde vragen over soevereine AI: private LLM-deployment, datacontrole en vLLM

Antwoorden voor inkoop en architectuur over soevereine AI: wat de term in de praktijk betekent, of een systeem kan draaien zonder publieke model-API's, waarom zelf hosten niet hetzelfde is als soevereiniteit, welke infrastructuur en GPU's nodig zijn, wat kwantisatie verandert en hoe retrieval en plichten rond gegevensbescherming passen binnen een beheerste grens. De antwoorden steunen op het onderzoek naar serving en compressie dat private deployment praktisch maakte.

Trefwoorden soevereine AI · private LLM · vLLM · zelf hosten · AVG · kwantisatie

"Soevereiniteit" wordt los gebruikt. Een review van 341 publicaties vond dat de term op uiteenlopende manieren wordt toegepast, telkens in verband met betekenisvolle controle, eigendom en andere aanspraken op data, door partijen van individuen tot landen^[1]. In deze FAQ betekent het operationele controle over waar prompts, documenten, embeddings en gewichten worden verwerkt.

Zelf hosten werd praktisch dankzij onderzoek naar serving en compressie. vLLM beheert de key-value-cache per verzoek als virtueel geheugen en meldt 2–4× hogere doorvoer dan eerdere systemen bij dezelfde latency^[2]. Kwantisatie verlaagt het geheugen dat een model nodig heeft: AWQ, een 4-bitmethode die alleen de gewichten kwantiseert, beschermt een klein deel van de belangrijkste gewichten om de fout te beperken^[3]. Er is ook een beveiligingsreden om te bepalen wat de omgeving verlaat: taalmodellen kunnen trainingsdata onthouden en reproduceren, inclusief persoonsgegevens^[4]. Netwerkontwerp begint meestal bij de zero-trust-architectuur zoals NIST die definieert^[5].

Soevereine AI betekent dat de organisatie bepaalt waar data wordt verwerkt, waar modelgewichten staan, wie de infrastructuur mag beheren, hoe logs worden bewaard en van welke externe diensten het systeem afhankelijk is. Hosting in een EU-regio alleen maakt een deployment niet automatisch soeverein.

Ja. Modellen met open gewichten kunnen worden geserveerd op infrastructuur die de organisatie beheert, met runtimes als vLLM. De applicatie kan intern een OpenAI-compatibele API aanbieden terwijl de inferentie binnen de eigen netwerkgrens van de organisatie blijft.

Nee. Een zelf gehoste server kan nog steeds afhankelijk zijn van externe telemetrie, licentiecontroles, beheer op afstand, externe vectordatabases of ongecontroleerde toegang voor support. Soevereiniteit is een eigenschap van de hele architectuur en het beheermodel, van begin tot eind.

Een gebruikelijke productiedeployment omvat GPU-rekenkracht, beheerde opslag voor modellen, een inferentieruntime als vLLM, een interne gateway, authenticatie, observability, beheer van secrets, een workflow voor modelupdates en procedures voor back-up of failover. Kubernetes is nuttig als de organisatie herhaalbare operaties en meerdere workloads nodig heeft, maar het is niet voor elke deployment verplicht.

Dat hangt af van het model, het kwantisatieformaat, de contextlengte, de gelijktijdigheid en het latencydoel. Een deployment moet worden gedimensioneerd op basis van een trace van de werklast, niet met één vuistregel op basis van het aantal parameters. Accelerators van de A100- en H100-klasse en gelijkwaardige kaarten zijn gangbare zakelijke opties, maar kleinere modellen draaien vaak efficiënt op goedkopere hardware.

Vaak wel. Formaten als FP8, INT8 en INT4 kunnen het geheugengebruik van een model verlagen en bij geschikte workloads de doorvoer verbeteren. Het gekwantiseerde model moet nog steeds worden geëvalueerd op de echte taken van de organisatie, omdat de kwaliteit en de betrouwbaarheid van toolgebruik kunnen veranderen.

Ja. Retrieval-augmented generation kan volledig zelf worden gehost. Documenten, embeddings, indexen en inferentie kunnen in dezelfde beheerste omgeving blijven. De belangrijkste ontwerpvragen worden dan toegangscontrole, scheiding tussen tenants, actualiteit van documenten, evaluatie en controleerbaarheid.

Gebruik een netwerkbeleid dat standaard alles weigert, interne registries voor modellen en containers, beheerde DNS- en egressregels, interne observability en expliciete allowlists voor elke externe afhankelijkheid. De architectuur moet te testen zijn met uitgaande internettoegang uitgeschakeld.

Nee. Controle over de infrastructuur helpt bij datagovernance, maar AVG-verplichtingen hangen ook af van de rechtsgrond, doelbinding, dataminimalisatie, bewaartermijnen, rechten van betrokkenen en verwerkersrelaties. Het AI-platform moet die controles makkelijker uitvoerbaar en controleerbaar maken.

LMXAI ontwerpt de servinglaag, gateway, retrieval, observability en operationele controles als één productiesysteem. Het doel is modellen vervangbaar te houden, onnodige vendor lock-in te vermijden en een architectuur over te dragen die de organisatie zelf kan beheren en auditen.

• Soevereine vLLM-deployment + checklist voor leveranciers
• GPU-dimensionering met vLLM voor soevereine inferentie
• Kwantisatie in vLLM: AWQ, GPTQ, FP8 en INT4
• vLLM in productie op Kubernetes
• Soevereine AI-werkplek tegenover Copilot
• Soevereine LLM-deployment
• Veelgestelde vragen over RAG en AI-agents in productie