← Tüm içgörüler
SSS · RAG ve ajanlar

Üretimde RAG ve AI ajanları SSS

Üretimde RAG, araç kullanımı, değerlendirme, izinler ve ajan güvenliği üzerine alıcılar ve mühendisler için cevaplar.

LMXAI · Leiden, NL · Yayın · Güncelleme

Özet

Alıcıların ve mühendislerin üretimdeki retrieval-augmented generation ve AI ajanları hakkında sorduğu on soru: ikisi nasıl ayrılır, demolar neden başarısız olur, neyi ölçmeli, araç kullanımı nasıl güvenilir hale gelir, izinler ve kayıt tutma nasıl çalışmalı ve kendi sunucunda barındırma ne zaman işe yarar. Cevaplar kısa ve operasyoneldir; RAG hata noktaları, değerlendirme çerçeveleri ve ajan benchmark'ları üzerine araştırmalarla karşılaştırılır.

Anahtar kelimeler RAG · AI ajanları · değerlendirme · araç kullanımı · izinler · LangGraph

İçindekiler

  1. Arka plan ve ilgili çalışmalar
  2. RAG ile bir AI ajanı arasındaki fark nedir?
  3. RAG demoları üretimde neden sık sık başarısız olur?
  4. Bir RAG sisteminde ne ölçülmeli?
  5. Bir ajan model bilgisine güvenmek yerine ne zaman araç kullanmalı?
  6. Araç kullanımını nasıl güvenilir hale getiririz?
  7. Üretim ajanları için LangGraph şart mı?
  8. Kurumsal bir ajanda izinler nasıl çalışmalı?
  9. Bir ajan hangi kayıtları tutmalı?
  10. Bir ajanın güvensiz eylemler yapmasını nasıl önleriz?
  11. RAG ve ajanlar için kendi sunucunda barındırma ne zaman işe yarar?
  12. İlgili okumalar
01

Arka plan ve ilgili çalışmalar

RAG bir üreticiyi aranabilir bir indeksle birleştirir ve bilgi yoğun görevlerde tek başına bir modelden daha spesifik ve olgusal çıktı verir[1]. Pratikte, üç vaka üzerine bir deneyim raporu yedi hata noktası sayar ve doğrulamanın ancak işletim sırasında mümkün olduğu sonucuna varır[2]. Bunun için değerlendirme çerçeveleri vardır: RAGAs referans cevaplar olmadan kaynağa sadakati, cevap ilgililiğini ve bağlam ilgililiğini ölçer[3]; ARES ise güven aralıklarıyla puan vermek için hafif yargıç modelleri insanlar tarafından etiketlenmiş küçük bir sete göre kalibre eder[4]. Konum da önemlidir: modeller ilgili bilgi girdinin başında veya sonunda olduğunda en iyi performansı gösterir[5].

Ajanlar için akıl yürütmeyi eylemlerle dönüşümlü yürütmek temel kalıptır[6], ancak benchmark'lar sınırlarını gösterir. Modeller tek turlu fonksiyon çağrılarını iyi yönetir, bellek ve uzun vadeli görevlerde zorlanır[7]; en gelişmiş ajanlar τ-bench görevlerinin yarısından azını tamamlamış ve denemeler arasında tutarsız kalmıştır[8]. Getirilen içerik aynı zamanda bir saldırı kanalıdır, çünkü gizli talimatlar bir modeli yönlendirip araç çağrılarını tetikleyebilir[9].

02

RAG ile bir AI ajanı arasındaki fark nedir?

RAG ilgili bilgiyi getirir ve üretimden önce modelin bağlamına ekler. Bir ajan karar verme ve araç kullanımı ekler: eylem seçebilir, API çağırabilir, sistemlerde arama yapabilir, kayıtları güncelleyebilir veya çok adımlı bir iş akışı yürütebilir. Birçok üretim sistemi ikisini birlikte kullanır.

03

RAG demoları üretimde neden sık sık başarısız olur?

Yaygın nedenler arasında zayıf doküman ayrıştırma, eskimiş indeksler, kötü parçalama (chunking), eksik erişim kontrolü, düşük kaliteli retrieval, değerlendirme setinin olmaması ve gözlemlenebilirliğin olmaması sayılabilir. Bir demo özenle seçilmiş örneklerde iyi görünürken gerçek kullanıcı sorgularında başarısız olabilir.

04

Bir RAG sisteminde ne ölçülmeli?

Retrieval kalitesini cevap kalitesinden ayrı ölçün. Faydalı sinyaller arasında ilgili kanıt üzerinde recall veya isabet oranı, atıf doğruluğu, dayanaklılık, cevabın eksiksizliği, gecikme, maliyet ve hata oranı bulunur. Değerlendirme genel prompt'lar yerine alanı temsil eden sorular kullanmalıdır.

05

Bir ajan model bilgisine güvenmek yerine ne zaman araç kullanmalı?

Cevap güncel, yetkili veya özel veriye bağlıysa ya da sistemin bir eylem yapması gerekiyorsa araç kullanın. Örnekler arasında bir iç veritabanında arama yapmak, devam eden bir siparişi kontrol etmek, bir talep (ticket) oluşturmak veya güncel bir politika dokümanını getirmek bulunur.

06

Araç kullanımını nasıl güvenilir hale getiririz?

Kısıtlı şemalar, dar araç açıklamaları, deterministik doğrulama, uygun yerlerde yeniden denemeler ve araç seçimini ile argüman doğruluğunu ölçen bir değerlendirme seti kullanın. Araç güvenilirliği, genel dil modeli benchmark'larından çıkarılmak yerine açıkça test edilmelidir.

07

Üretim ajanları için LangGraph şart mı?

Hayır. Bir orkestrasyon seçeneğidir. Önemli tasarım özellikleri açık durum, kontrol edilebilir geçişler, yeniden deneme ve hata yönetimi, gözlemlenebilirlik ve test edilebilirliktir. LangGraph, iş akışları dallanma, döngüler, araçlar ve uzun süreli durum içerdiğinde işe yarar.

08

Kurumsal bir ajanda izinler nasıl çalışmalı?

Ajan, temsil ettiği kullanıcı veya iş yükünden hiçbir zaman daha geniş izinlere sahip olmamalıdır. Araç erişimi kimliğe, role, kiracıya ve eyleme göre sınırlandırılmalıdır. Retrieval da içerik modele ulaşmadan önce doküman düzeyinde izinleri uygulamalıdır.

09

Bir ajan hangi kayıtları tutmalı?

İstek kimliğini, modeli ve sürümünü, getirilen kanıtı, araç çağrılarını, araç sonuçlarını, önemli durum geçişlerini, gecikmeyi ve nihai sonucu kaydedin. Hassas yüklerin maskelenmesi veya kontrollü saklanması gerekebilir, ancak sistem hata ayıklama ve denetim için yeterli kanıtı korumalıdır.

10

Bir ajanın güvensiz eylemler yapmasını nasıl önleriz?

En az yetkili araçlar, izin listeleri, doğrulama, işlem (transaction) sınırları ve yüksek etkili eylemler için onay kapıları kullanın. Model, üretim altyapısına sınırsız erişim almak yerine kontrollü bir sistemin içinde eylem önermelidir.

11

RAG ve ajanlar için kendi sunucunda barındırma ne zaman işe yarar?

Veri egemenliği, gizlilik, öngörülebilir maliyet, model kontrolü veya hyperscaler'lardan bağımsızlık önemli olduğunda kendi sunucunda barındırma caziptir. Ayrıca kurumun retrieval'ı, model çıkarımını, kayıtları ve araç entegrasyonlarını tek bir kontrollü ortamda tutmasını sağlar.

12

İlgili okumalar

Kaynakça

  1. Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). arxiv.org/abs/2005.11401
  2. Barnett, S., Kurniawan, S., Thudumu, S., Brannelly, Z., & Abdelrazek, M. (2024). Seven failure points when engineering a retrieval augmented generation system. Proceedings of the IEEE/ACM 3rd International Conference on AI Engineering – Software Engineering for AI (CAIN 2024), 194–199. doi:10.1145/3644815.3644945 arxiv.org/abs/2401.05856
  3. Es, S., James, J., Espinosa-Anke, L., & Schockaert, S. (2024). RAGAs: Automated evaluation of retrieval augmented generation. Proceedings of EACL 2024: System Demonstrations. aclanthology.org/2024.eacl-demo.16/
  4. Saad-Falcon, J., Khattab, O., Potts, C., & Zaharia, M. (2024). ARES: An automated evaluation framework for retrieval-augmented generation systems. Proceedings of NAACL 2024. aclanthology.org/2024.naacl-long.20/
  5. Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2024). Lost in the middle: How language models use long contexts. Transactions of the Association for Computational Linguistics, 12. aclanthology.org/2024.tacl-1.9/
  6. Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023). ReAct: Synergizing reasoning and acting in language models. International Conference on Learning Representations (ICLR 2023). arxiv.org/abs/2210.03629
  7. Patil, S. G., Mao, H., Yan, F., Ji, C. C.-J., Suresh, V., Stoica, I., & Gonzalez, J. E. (2025). The Berkeley Function Calling Leaderboard (BFCL): From tool use to agentic evaluation of large language models. Proceedings of the 42nd International Conference on Machine Learning (ICML 2025), PMLR 267. proceedings.mlr.press/v267/patil25a.html
  8. Yao, S., Shinn, N., Razavi, P., & Narasimhan, K. (2024). τ-bench: A benchmark for tool-agent-user interaction in real-world domains. arXiv preprint arXiv:2406.12045. arxiv.org/abs/2406.12045
  9. Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T., & Fritz, M. (2023). Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security (AISec '23). doi:10.1145/3605764.3623985 arxiv.org/abs/2302.12173

Her kaynak yayıncı, arXiv veya resmî kayıt üzerinden doğrulanmıştır.

Nasıl atıf yapılır

LMXAI. (2026). Üretimde RAG ve AI ajanları SSS. LMXAI İçgörüler. https://lmxai.com/tr/insights/production-rag-ai-agents-faq.html