Egemen AI SSS: özel LLM dağıtımı, veri kontrolü ve vLLM

Egemen AI üzerine satın alma ve mimari cevapları: terimin pratikte ne anlama geldiği, bir sistemin kamuya açık model API'leri olmadan çalışıp çalışamayacağı, kendi sunucunda barındırmanın neden egemenlikle aynı olmadığı, hangi altyapı ve GPU'ların gerektiği, kuantizasyonun neyi değiştirdiği ve retrieval ile veri koruma görevlerinin kontrollü bir sınır içine nasıl oturduğu. Cevaplar, özel dağıtımı pratik hale getiren sunum (serving) ve sıkıştırma araştırmalarına dayanır.

Anahtar kelimeler egemen AI · özel LLM · vLLM · kendi sunucunda barındırma · GDPR · kuantizasyon

"Egemenlik" terimi gevşek kullanılıyor. 341 yayını inceleyen bir derleme, terimin her biri anlamlı kontrol, sahiplik ve veriye ilişkin diğer taleplerle ilgili olmak üzere, bireylerden ülkelere kadar farklı aktörler tarafından birbirinden ayrışan biçimlerde kullanıldığını bulmuştur^[1]. Bu SSS'te terim, prompt'ların, dokümanların, embedding'lerin ve ağırlıkların nerede işlendiği üzerindeki operasyonel kontrol anlamına gelir.

Kendi sunucunda barındırma, sunum ve sıkıştırma araştırmaları sayesinde pratik hale geldi. vLLM, istek başına key-value önbelleğini sanal bellek gibi yönetir ve aynı gecikmede önceki sistemlere göre 2–4 kat daha yüksek verim bildirir^[2]. Kuantizasyon bir modelin ihtiyaç duyduğu belleği azaltır: yalnızca ağırlıkları 4 bite indiren bir yöntem olan AWQ, hatayı sınırlamak için önemli ağırlıkların küçük bir bölümünü korur^[3]. Ortamdan neyin çıktığını kontrol etmenin bir güvenlik gerekçesi de vardır: dil modelleri kişisel bilgiler dahil eğitim verisini ezberleyip yeniden üretebilir^[4]. Ağ tasarımı genellikle NIST'in tanımladığı sıfır güven (zero-trust) mimarisinden başlar^[5].

Egemen AI, kurumun verinin nerede işlendiğini, model ağırlıklarının nerede durduğunu, altyapıyı kimin yönetebileceğini, kayıtların nasıl saklandığını ve sistemin hangi dış servislere bağımlı olduğunu kontrol etmesi demektir. Yalnızca bir AB bölgesinde barındırmak bir dağıtımı otomatik olarak egemen yapmaz.

Evet. Açık ağırlıklı modeller, vLLM gibi çalışma ortamlarıyla kurumun kontrol ettiği altyapıda sunulabilir. Uygulama, çıkarımı kurumun kendi ağ sınırı içinde tutarken içeride OpenAI uyumlu bir API sunabilir.

Hayır. Kendi sunucunda barındırılan bir sistem yine de dış telemetriye, lisans kontrollerine, uzaktan yönetime, dış vektör veritabanlarına veya kontrolsüz destek erişimine bağımlı olabilir. Egemenlik, mimarinin ve işletim modelinin uçtan uca bir özelliğidir.

Tipik bir üretim dağıtımı GPU hesaplama gücü, kontrollü model depolama, vLLM gibi bir çıkarım çalışma ortamı, bir iç gateway, kimlik doğrulama, gözlemlenebilirlik, gizli bilgi (secrets) yönetimi, bir model güncelleme iş akışı ve yedekleme veya yük devretme prosedürlerini içerir. Kurum tekrarlanabilir operasyonlara ve birden fazla iş yüküne ihtiyaç duyduğunda Kubernetes işe yarar, ancak her dağıtım için zorunlu değildir.

Cevap modele, kuantizasyon formatına, bağlam uzunluğuna, eşzamanlılığa ve gecikme hedefine bağlıdır. Bir dağıtım, tek bir parametre sayısı kuralıyla değil, bir iş yükü izinden yola çıkılarak boyutlandırılmalıdır. A100 sınıfı, H100 sınıfı ve eşdeğer hızlandırıcılar yaygın kurumsal seçeneklerdir; ancak daha küçük modeller çoğu zaman daha ucuz donanımda verimli çalışabilir.

Çoğu zaman evet. FP8, INT8 ve INT4 gibi formatlar modelin bellek gereksinimini azaltabilir ve uygun iş yüklerinde verimi artırabilir. Kuantize edilmiş model yine de kurumun gerçek görevlerinde değerlendirilmelidir, çünkü kalite ve araç kullanımı güvenilirliği değişebilir.

Evet. Retrieval-augmented generation tamamen kendi sunucularında barındırılabilir. Dokümanlar, embedding'ler, indeksler ve çıkarım aynı kontrollü ortamda kalabilir. Temel tasarım soruları erişim kontrolü, kiracı izolasyonu, dokümanların güncelliği, değerlendirme ve denetlenebilirlik olur.

Varsayılan olarak her şeyi reddeden bir ağ politikası, iç model ve konteyner kayıt depoları, kontrollü DNS ve çıkış (egress) kuralları, iç gözlemlenebilirlik ve her dış bağımlılık için açık izin listeleri kullanın. Mimari, dışarıya internet erişimi kapalıyken test edilebilir olmalıdır.

Hayır. Altyapı kontrolü veri yönetişimine yardımcı olur, ancak GDPR yükümlülükleri ayrıca hukuki dayanağa, amaçla sınırlılığa, veri minimizasyonuna, saklama sürelerine, erişim haklarına ve veri işleyen ilişkilerine bağlıdır. AI platformu bu kontrolleri uygulamayı ve denetlemeyi kolaylaştırmalıdır.

LMXAI model sunum katmanını, gateway'i, retrieval'ı, gözlemlenebilirliği ve operasyonel kontrolleri tek bir üretim sistemi olarak tasarlar. Amaç modelleri değiştirilebilir tutmak, gereksiz tedarikçi bağımlılığından kaçınmak ve kurumun işletip denetleyebileceği bir mimariyi teslim etmektir.

• Egemen vLLM kurulumu + tedarikçi kontrol listesi
• Egemen çıkarım için vLLM GPU boyutlandırma
• vLLM kuantizasyonu: AWQ, GPTQ, FP8 ve INT4
• Kubernetes üzerinde üretim vLLM
• Egemen AI çalışma alanı ve Copilot
• Üretimde RAG ve AI ajanları SSS