Üretim RAG ve ajanlar — maliyet, güvenilirlik, AB tedarikçileri

Demo neden ölür

Üretim RAG, ölçülmüş hata oranı, bütçe ve sahibi olan retrieval artı üretimdir. Üretim ajanları araçlar ve çok adımlı kontrol ekler. Demolar üç şeyi atladığı için ölür: dondurulmuş bir değerlendirme seti, hangi parçanın kullanıldığını gösteren izler ve bir pilot haftasından fazlasını yaşayan bir maliyet modeli. LMXAI bunları “ikinci faz” değil, yayın kriteri olarak ele alır.

Bu, LMXAI’nin ajanik kalıplarının ve Savion gibi klinik işin arkasındaki aynı disiplindir — LangGraph orkestrasyonu, MCP araçları ve kimse güvenilir demeden önce eval (BFCL tarzı araç kullanımı kontrolleri dahil).

Maliyet: token fiyatını değil, sistemi modelleyin

• Bir kez gömün, sık sorgulayın. Dağınık bir paylaşılan sürücüyü her gece yeniden gömmek üretim maliyetini gölgede bırakır.
• Bağlam sessiz faturadır. 32B bir modele 40 parça tıkamak, genellikle 6 iyi parçadan hem daha kötü hem daha pahalıdır.
• Ajan adımları çoğalır. Beş araçlık bir döngü 5–15 model çağrısı olabilir. Adımları sınırlayın, araç sonuçlarını önbelleğe alın, kapalı başarısız olun.
• Boşta GPU’lar vs API faturaları. Kendi barındırılan vLLM istikrarlı iç yükte kazanır; API’ler dalgalı deneylerde kazanır. Karışık normaldir.

Güvenilirlik: canlıya geçmeden önce ne ölçeriz

Kapı	“İyi” nasıl görünür
Retrieval isabet oranı	Altın sorular amaçlanan belgeyi top-k içinde getirir
Sadakat	Yanıt getirilen metinle desteklenir veya model çekinir
Araç başarısı	İşlev çağrıları şemaya uyar; uydurulmuş argüman yok
Gecikme SLO	p95 ilk token süresi ve uçtan uca, işle mutabık
İz bütünlüğü	Her yanıtta sorgu, parçalar, model sürümü, araç G/Ç vardır
Geri dönüş	Boş retrieval → “bilmiyorum” veya insan kuyruğu, halüsinasyon değil

AB dostu tedarikçi duruşu

Kümenizde çalıştırabileceğiniz bileşenleri tercih edin: derlem küçükken Elasticsearch veya OpenSearch, Qdrant veya pgvector; üretim için vLLM; kontrol akışı için LangGraph; izler için OpenTelemetry artı Phoenix veya eşdeğeri. Yönetilen AB teklifleri, vLLM tedarikçi sayfasındaki kontrol listesi geçiyorsa — özellikle prompt’larınızda sessiz eğitim yok ve AB hukuku altında bir sözleşme — uygundur.

Satın alma veri yolunu kabul etmedikçe ABD barındırmalı “ajan platformlarını” prototip olarak ele alın. Ürün yüzeyi nadiren sorundur. İndeks ve izler sorundur.