← Case studies
Infrastructure · Gateway
mdGPT Gateway
Een LLM-gateway op FastAPI met token streaming, volledige observability en namespace-isolatie per gebruiker — de productieruggengraat achter multi-tenant chat- en deep-researchproducten.
- Rol
- Backendarchitectuur & bouw
- Domein
- LLM-infrastructuur
- Kernstack
- FastAPI · Redis · SSE
- Status
- In productie
Overzicht
LLM-producten aan echte gebruikers leveren betekent de onopvallende delen oplossen: antwoorden streamen met lage latency, de data van elke tenant isoleren en precies zien wat het model deed als er iets misgaat. mdGPT Gateway is de productielaag die die garanties geeft.
De gateway zit tussen applicaties en de inferentiestack, biedt een heldere streaming-API, dwingt isolatie per gebruiker af en levert volledige traces voor elk verzoek — zodat chatassistenten en langlopende deep-research-agents zichtbaar en veilig te beheren blijven.
Wat het biedt
- Token streaming via Server-Sent Events voor snelle, realtime output.
- Namespace-isolatie per gebruiker — strikte scheiding van data tussen tenants.
- Volledige observability via OpenTelemetry-traces en -metrics bij elke aanroep.
- Asynchrone doorvoer met asyncpg en Redis voor hoge gelijktijdigheid.
Hoogtepunten
SSEStreaming met lage latency
Multi-tenantIsolatie per gebruiker
OTelEnd-to-end observability
AsyncKern voor hoge gelijktijdigheid
In productie
Een deep-researchassistent op de gateway, die een uitgebreid rapport met bronnen van begin tot eind streamt.
Stack
PythonFastAPIasyncpgRedisSSEOpenTelemetryPhoenixvLLM