LangGraph, araç kullanımı ve değerlendirmeyle üretim seviyesinde ajanik sistemler

Bu sayfa LMXAI'nin üretim için ajanik sistemleri nasıl tasarlayıp geliştirdiğini anlatır: LangGraph'ta açık kontrol akışı, tipli şemaların arkasında araç kullanımı, erişim kontrollü retrieval, yayından önce değerlendirme ve işletimde izleme (tracing). Yaklaşımı, mevcut modellerin uzun vadeli ve çok turlu görevlerde hâlâ başarısız olduğunu gösteren ajan güvenilirliği araştırmalarına yerleştirir; bir ajanın ne zaman doğru tasarım olduğunu ve bir çalışmanın ne teslim ettiğini açıklar.

Anahtar kelimeler ajanik sistemler · LangGraph · araç kullanımı · değerlendirme · gözlemlenebilirlik · MCP

LMXAI, LangGraph, kontrollü araç kullanımı, retrieval, değerlendirme ve gözlemlenebilirlikle üretim seviyesinde ajanik sistemler tasarlayan ve geliştiren, AB merkezli bir AI mühendislik stüdyosudur. Odak otonom demolarda değil; gerçek iş ortamlarında test edilebilen, izlenebilen ve güvenle işletilebilen sınırlı iş akışlarındadır.

Leiden, Hollanda merkezli LMXAI; mimari, backend mühendisliği, model entegrasyonu, RAG, çıkarım ve ürün teslimatı alanlarında çalışır. Böylece ajan katmanı, gerçekten kullanması gereken sistemlerle birlikte tasarlanır.

Modern ajan döngüsü, bir dil modelinin akıl yürütmeyi dış kaynaklara yönelik eylemlerle dönüşümlü yürüttüğünde çok adımlı görevlerde daha iyi sonuç verdiğini gösteren çalışmalardan gelir; model böylece plan yapabilir, istisnaları yönetebilir ve eksik bilgiyi toplayabilir^[1]. Sistematik bir derleme, bu fikir üzerine kurulan sistemleri ortak bir yapı çerçevesi etrafında düzenler ve nasıl değerlendirildiklerini inceler^[2].

Değerlendirme sonuçları, LMXAI'nin özerkliği neden sınırladığını açıklar. AgentBench, sekiz ortamda, zayıf uzun vadeli akıl yürütmeyi, karar vermeyi ve talimat takibini kullanılabilir ajanların önündeki temel engeller olarak belirler^[3]. τ-bench'te en gelişmiş function-calling ajanları görevlerin yarısından azını tamamlamış ve tekrarlanan denemelerde tutarsız kalmıştır^[4]. Çağrıları yapısal olarak kontrol eden Berkeley Function Calling Leaderboard, modellerin tek turlu çağrıları iyi yönettiğini, ancak bellek, dinamik kararlar ve uzun vadeli görevlerde hâlâ zorlandığını bulur^[5].

Araç erişimi saldırı yüzeyini de genişletir: getirilen içeriğe gizlenmiş talimatlar, saldırgan sisteme hiç doğrudan seslenmeden bir modeli yönlendirebilir ve araç çağrılarını tetikleyebilir^[6]. Açık grafikler, şemaya göre denetlenen araç çağrıları, onay kapıları ve yayından önce değerlendirme bu bulgular yüzündendir.

Bir üretim ajanı, araçlara bağlanmış bir LLM'den fazlasına ihtiyaç duyar. Modelin neye karar verebileceği, neye erişebileceği, hataların nasıl ele alınacağı ve kalitenin nasıl ölçüleceği üzerinde açık kontrol gerekir.

LMXAI bir ajanik sistemi genellikle birbirine bağlı altı katman olarak ele alır:

1. Orkestrasyon — durum, yönlendirme, yeniden denemeler, dallanma ve deterministik adımlar.
2. Model katmanı — görev kalitesi, gecikme, gizlilik ve maliyete göre seçilen bir veya daha fazla model.
3. Araçlar — iç API'ler, arama, veritabanları, doküman servisleri, MCP sunucuları ve iş eylemleri.
4. Retrieval — kaynak gösterimi ve erişim kontrolleriyle ilgili iç veya dış bilgi.
5. Değerlendirme — araç seçimi, görev tamamlama, dayanaklılık ve hata durumları için tekrarlanabilir testler.
6. Gözlemlenebilirlik ve yönetişim — izler, kayıtlar, izinler, onaylar ve operasyonel metrikler.

LangGraph işe yarar, çünkü tüm iş akışını uzun bir prompt'un içine saklamak yerine durumu ve kontrol akışını açık hale getirmemizi sağlar.

LMXAI, LangGraph'ı bir iş akışının model kararlarından fayda sağladığı ama yine de mühendislik kontrolü gerektirdiği yerlerde kullanır.

Örnekler:

• bir isteği doğru araca veya bilgi kaynağına yönlendirmek;
• karmaşık bir görevi sınırlı adımlara bölmek;
• ilk sonuç zayıfsa ek kanıt getirmek;
• sonuç doğuran bir eylemden önce onay istemek;
• araç çıktısını bir sonraki düğüme ulaşmadan doğrulamak;
• güven veya politika koşulları sağlanmadığında bir insana yükseltmek.

Amaç azami özerklik değildir. Amaç, görevi güvenilir biçimde çözmek için gereken asgari özerkliktir.

Araç çağırma, bir ajanın gerçek sistemlerle etkileşime başladığı yerdir; bu yüzden araç tasarımı prompt tasarımı kadar önemlidir.

LMXAI araçları şunlarla tasarlar:

• dar, açık şemalar;
• doğrulanmış girdi ve çıktılar;
• kapsamı belirlenmiş izinler;
• eylemlerin tekrarlanabileceği yerlerde idempotentlik;
• öngörülebilir hata sözleşmeleri;
• araç çağrılarının denetlenebilirliği;
• zaman aşımları ve geri dönüş davranışı;
• yüksek etkili eylemler için onay kapıları.

Araçlar doğrudan API'ler, iç servis sarmalayıcıları veya birlikte çalışabilirlik faydalıysa MCP üzerinden sunulabilir. Model hiçbir zaman görevin gerektirdiğinden geniş bir erişim almamalıdır.

Ajanik sistemler çoğu zaman tek bir sabit vektör indeksini sorgulamak yerine birden fazla veri kaynağı arasında seçim yapmak zorundadır. LMXAI şunları birleştirebilir:

• dense ve sparse retrieval;
• hibrit arama;
• Elasticsearch veya diğer kurumsal arama altyapıları;
• meta veriye ve izinlere duyarlı retrieval;
• sorgu yeniden yazma ve ayrıştırma;
• çoklu indeks yönlendirmesi;
• yanıt üretilmeden önce kaynak doğrulaması.

Bu, retrieval'ı genel bir "arama aracı" olmaktan çıkarıp kontrollü bir ilgililik katmanına dönüştürür.

Bir ajan, elle test edilen birkaç konuşma iyi gitti diye hazır olmaz. LMXAI değerlendirmeyi sistemin gerçekten vermesi gereken kararlar etrafında kurar.

Kullanım senaryosuna göre değerlendirme şunları içerebilir:

• görev tamamlama oranı;
• doğru araç seçimi;
• araç argümanlarının doğruluğu;
• retrieval recall ve dayanaklılık;
• atıf doğruluğu;
• reddetme ve yükseltme davranışı;
• döngü ve yeniden deneme oranları;
• gecikme ve token maliyeti;
• model veya prompt değişikliklerinde regresyon testleri.

Araç kullanan sistemler için LMXAI ayrıca BFCL'den türetilmiş function-calling testleri gibi benchmark tarzı değerlendirme kalıplarıyla, müşterinin gerçek iş akışlarını yansıtan alana özgü test setlerini birleştirerek çalışır.

Üretim ajanlarının bir iş akışında ne olduğunu açıklayan izlere ihtiyacı vardır. LMXAI ajan çalıştırmalarını OpenTelemetry ve Phoenix gibi teknolojilerle donatabilir; böylece ekipler model çağrılarını, araç çağrılarını, retrieval adımlarını, gecikmeyi, hataları ve token kullanımını inceleyebilir.

Bu, ajanlar düzenlemeye tabi veya riskin yüksek olduğu alanlarda çalıştığında özellikle önemlidir. Bir ekip, bir model hatasını retrieval hatasından, araç hatasından, izin sorunundan veya orkestrasyon hatasından ayırabilmelidir.

Tipik bir sistem şöyle görünebilir:

Kullanıcı veya uygulama → API → LangGraph iş akışı → model/yönlendirici → retrieval + araçlar → doğrulama/onay → yanıt veya iş eylemi

İş akışının tamamında kimlik, izinler, izler, değerlendirme ve politika kontrolleri bulunur.

Son mimari öncü API'lerle, kendi barındırılan açık modellerle veya hibrit bir kurulumla çalışabilir. LMXAI modelden bağımsızdır; veri yerleşimi veya altyapı kontrolü gerektirdiğinde vLLM ve Kubernetes ile egemen çıkarım yığınları da kurar.

LMXAI kurumsal, eğitim ve sağlık alanlarında üretim sistemleri kurmuştur:

• egemen çıkarımlı kurumsal AI çalışma alanları;
• LangGraph tabanlı ajanik iş akışları;
• MCP ve özel araç entegrasyonları;
• kurumsal retrieval'lı RAG sistemleri;
• çok modlu araç kullanımı ince ayarı;
• akış (streaming), izolasyon ve gözlemlenebilirlik sunan AI gateway'leri.

Mühendislik yığını LangGraph, LangChain, MCP, FastAPI, Elasticsearch, vLLM, Kubernetes, OpenTelemetry ve Phoenix'i içerir.

LMXAI'nin ajanik yeteneklerini inceleyin

Ajanik mimari, bir görev araçlar, kaynaklar veya iş akışı yolları arasında dinamik kararlar gerektirdiğinde işe yarar. Deterministik bir servis, sabit bir hat (pipeline) veya normal bir arama uç noktası sorunu daha güvenilir çözebiliyorsa çoğu zaman gereksizdir.

Bu yüzden LMXAI işe iş akışından başlar ve model akıl yürütmesinin gerçekte nerede değer kattığını sorar. Otonom karmaşıklık yalnızca operasyonel maliyetini hak ettiğinde eklenir.

Bir üretim çalışması şunları kapsayabilir:

• iş akışı ve mimari tasarımı;
• LangGraph uygulaması;
• araç ve MCP entegrasyonu;
• retrieval mimarisi;
• model seçimi ve yönlendirme;
• değerlendirme veri setleri ve yayın kapıları;
• gözlemlenebilirlik ve izleme;
• izinler ve insan onayı akışları;
• dağıtım, yük testi ve üretime sağlamlaştırma;
• dokümantasyon ve devir.

• Ajanik yetenekler projesi
• Üretimde RAG ve ajanlar
• Egemen vLLM kurulumu
• Fractional AI CTO

LMXAI, ajanik bir ürünü iş akışı tasarımından üretim mimarisine, uygulamaya, değerlendirmeye ve dağıtıma kadar tek bir mühendislik sahibi altında taşıyabilir.

Ajanik sisteminizi LMXAI ile konuşun