← İşlere dön
Altyapı · Gateway
mdGPT Gateway
Token streaming, tam gözlemlenebilirlik ve kullanıcı başına namespace izolasyonu sunan FastAPI tabanlı bir LLM gateway’i — çok kiracılı sohbet ve derin araştırma ürünlerinin üretim omurgası.
- Rol
- Backend mimarisi ve geliştirme
- Alan
- LLM altyapısı
- Çekirdek yığın
- FastAPI · Redis · SSE
- Durum
- Üretimde
Genel bakış
LLM ürünlerini gerçek kullanıcılara göndermek, gösterişsiz kısımları çözmek demektir: düşük gecikmeli streaming yanıtlar, her kiracının verisini izole etmek ve bir şey bozulduğunda modelin tam olarak ne yaptığını görmek. mdGPT Gateway, bu garantileri sağlayan üretim katmanıdır.
Uygulamalar ile inference yığını arasında durur; temiz bir streaming API sunarken kullanıcı başına izolasyonu zorunlu kılar ve her istek için tam izler üretir — böylece sohbet asistanları ve uzun süren derin araştırma ajanları gözlemlenebilir ve işletilebilir kalır.
Ne sağlar
- Duyarlı, gerçek zamanlı çıktı için Server-Sent Events üzerinden token streaming.
- Kullanıcı başına namespace izolasyonu — katı çok kiracılı veri ayrımı.
- Her çağrıda OpenTelemetry izleri ve metrikleriyle tam gözlemlenebilirlik.
- Yüksek eşzamanlılık için asyncpg ve Redis ile asenkron throughput.
Öne çıkanlar
SSEDüşük gecikmeli streaming
Çok kiracılıKullanıcı başına izolasyon
OTelUçtan uca gözlemlenebilirlik
AsyncYüksek eşzamanlılık çekirdeği
Üretimde
Gateway tarafından güçlendirilen bir derin araştırma asistanı; uzun formda, kaynağa dayalı bir raporu uçtan uca stream eder.
Yığın
PythonFastAPIasyncpgRedisSSEOpenTelemetryPhoenixvLLM