Kurumsal LLM demosu başarılıyken gerçek kullanım neden başarısız olur?

Demonun bildiği soru ile kullanıcının sorusu farklıdır

Bir demo genellikle belgede açık cevabı bulunan ve sunum öncesi denenmiş sorularla hazırlanır. Gerçek kullanıcı ise eksik terim, eski belge, yanlış varsayım veya yetkisi dışındaki bir kayıtla gelir. Akıcı yanıt üreten sistem bu farkı görünmez kılabilir. Teknik değerlendirme, modelin iyi cevap verdiği örnekleri göstermekten önce hangi görevleri, hangi kullanıcılar için ve hangi veri sınırında yapacağını tanımlamalıdır.

Başarısızlığın etkisi göreve göre değişir. Yanlış etiketlenmiş bir arşiv sonucu ek inceleme doğurabilir; yanlış teknik tolerans ise uygulama kararını değiştirebilir. Aynı doğruluk eşiği her görev için uygun değildir. İş akışının son kararı, insan incelemesi ve modelden bağımsız kontroller yazılır. Bu makalede değerlendirme mimarisi anlatılır; bir modelin herhangi bir sektörde otomatik karar yetkisine veya sertifikalı uygunluğa sahip olduğu ileri sürülmez.

Önce görev ve yanıt sözleşmesini yazın

Değerlendirme birimi yalnızca soru metni değildir. Kullanıcı rolü, sorgu tarihi, belge sürümü, beklenen kaynak ve kabul edilen yanıt biçimi birlikte tutulur. Yanıtın hangi iddiaları içermesi ve hangi iddialardan kaçınması gerektiği belirtilir. Sayı, birim, koşul ve olumsuzluk teknik görevlerde ayrı kontrol alanlarıdır. Doğru paragraftan yanlış bir sayı üretmek, kaynağın bulunduğu gerekçesiyle başarılı sayılmamalıdır; hata cevabın anlamında oluşur.

Cevapsız sorular da beklenen davranışla etiketlenir. Belge deposunda bulunmayan bir değeri uydurmak yerine hangi eksik bilginin gerektiği söylenebilir. Çelişkili kaynakta sürüm önceliği belirsizse kullanıcıya durum aktarılır. Yanıt sözleşmesi, çekimserlik ve uzman yönlendirmeyi başarısızlık olarak otomatik cezalandırmaz. Aksi halde model bütün sorulara cevap vermeye teşvik edilir; görünürde kapsam artarken desteklenmeyen cevaplar da artabilir. Bu tercih iş kararına göre yapılmalıdır.

Test kümesi aynı belgenin başka parçaları olmamalı

Aynı kılavuzun farklı parçaları eğitim ve testte kalırsa model belge üslubunu veya yakın cümleyi tanıyabilir. Gerçek hedef yeni müşteriye genellemekse müşteri sınırında; gelecekteki sürüme dayanmaksa zaman ve belge ailesi sınırında ayrım yapılır. Ayar için kullanılan sorular nihai kabul kümesinden ayrılır. Aynı testte tekrar tekrar eşik seçmek de test bilgisini araştırma sürecine sızdırır; son skor bağımsızlığını kaybeder.

Küme; normal, cevapsız, çelişkili, eski sürümlü ve yetkisiz soruları kapsar. Türkçe ekler, alan kısaltmaları ve birim ifadeleri ayrı dilimlerde incelenir. Nadir kritik soru, çok sayıdaki kolay sorunun ortalamasında kaybolmamalıdır. Her örneğin kaynağı ve hakem kararı izlenir. Gerçek kullanıcı kayıtları değerlendirilecekse paylaşım ve kullanım izni önce belirlenir; erişilebilir bir dosyanın otomatik olarak eğitim veya test için kullanılabilir olduğu varsayılmaz.

%92 doğruluk ile %65 kapsam aynı anda mümkündür

Tamamen varsayımsal 100 soruda 60 doğru, 5 yanlış ve 35 çekimser yanıt olsun. Yanıtlanan 65 soru üzerindeki doğruluk 60/65 ≈ %92,3'tür; kapsam %65'tir. Bütün sorular içindeki doğru yanıt oranıysa %60'tır. Hangi paydanın kullanıldığı belirtilmeden doğruluk yüzdesi paylaşmak yanıltır. Ayrıca yanlışların kritikliği aynı değildir; birim hatası, eksik kaynak ve yetki ihlali ayrı sınıflarda raporlanmalıdır. Güvenlik hatası ortalamayla telafi edilmez.

Yanıt hiç üretilmediğinde doğruluk sıfır veya yüzde yüz olarak atanmaz; tanımsız oran açıkça gösterilir. Kod bu durumda null kullanır ve mükerrer soru kimliklerini reddeder. Bu küçük kontroller raporlama hatasını önler, modelin güvenilirliğini tek başına kanıtlamaz. Her sonuç bir uzman kararıyla veya tanımlı otomatik kuralla etiketlenmelidir. Modelin kendi yanıtına verdiği güven puanı doğruluk etiketi değildir; değerlendirici model varsa onun uyuşmazlıkları da örneklenerek incelenir.

const assert = require('node:assert/strict');
// Explicit adjudicated outcomes, not a model-confidence estimator.
function evaluate(rows) {
  assert(rows.length > 0);
  assert.equal(new Set(rows.map(r => r.id)).size, rows.length);
  assert(rows.every(r => ['correct', 'wrong', 'abstain'].includes(r.outcome)));
  const correct = rows.filter(r => r.outcome === 'correct').length;
  const wrong = rows.filter(r => r.outcome === 'wrong').length;
  const answered = correct + wrong;
  const permissionFailures = rows.filter(r => r.permissionLeak).length;
  return {
    answered, correct, wrong, permissionFailures,
    coverage: answered / rows.length,
    answeredAccuracy: answered ? correct / answered : null,
    releaseBlocked: permissionFailures > 0,
  };
}
const rows = Array.from({ length: 100 }, (_, i) => ({
  id: 'domain-evaluation-' + i,
  outcome: i < 60 ? 'correct' : i < 65 ? 'wrong' : 'abstain',
  permissionLeak: false,
}));
const result = evaluate(rows);
assert.equal(result.coverage, 0.65);
assert.equal(result.answeredAccuracy, 60 / 65);
assert.equal(result.releaseBlocked, false);
const unsafe = structuredClone(rows);
unsafe[0].permissionLeak = true;
assert.equal(evaluate(unsafe).releaseBlocked, true);
assert.equal(evaluate([{ id: 'x', outcome: 'abstain' }]).answeredAccuracy, null);
assert.throws(() => evaluate([rows[0], rows[0]]));
assert.throws(() => evaluate([{ id: 'x', outcome: 'unknown' }]));
console.log(result);

Yetkiyi yanıt sonrasında temizlemeye bırakmayın

Kullanıcı bir belgeyi göremiyorsa o belgenin başlığı, özeti ve arama parçası da hassas olabilir. Yalnızca son cevapta kelime silmek erişim kontrolü değildir. Getirme, yeniden sıralama ve önbellek aynı yetki bağlamına uymalıdır. İki kullanıcı rolüyle aynı soru çalıştırılarak erişim farkı doğrulanır. Yetki kaldırıldığında önbelleğin ve indeksin nasıl güncellendiği ayrıca sınanır; başarılı HTTP yanıtı doğru yetki davranışını göstermez.

Getirilen metindeki talimatlar güvenilen sistem politikası sayılmaz. Belge içine yerleştirilmiş yönlendirmeler, araç çağırma isteği veya başka kaynağa veri gönderme önerisi ayrı saldırı senaryoları olarak değerlendirilir. Araştırma pilotunda modelin araç önerisi ile uygulamanın işlem yetkisi ayrılır. NIST'in üretken yapay zekâ profili bu tür riskleri sistem bağlamında ele almak için bir çerçeve sunar; ona referans vermek belirli bir sistemin sertifikalı olduğu anlamına gelmez.

Bölüm kaynakları: NIST AI 600-1 · Generative AI Profile ↗

RAG, ince ayar ve istem değişikliği aynı deneyde karışmasın

Parça boyutu, arama yöntemi, yeniden sıralama, model ve istem birlikte değiştirilirse kazanımın kaynağı bulunamaz. Karşılaştırmada veri sürümü, rol ve sorular sabit tutulur. Basit bir anahtar kelime araması veya sınıflandırıcı referans olabilir. Büyük modelin her görevde daha iyi olacağı varsayılmaz. Deney kayıtları doğruluk yanında gecikme, kaynak tüketimi ve başarısızlık türünü de taşır; araştırma yalnızca tek puan üzerinden yönlendirilmez.

Üretken yanıtlar değişken olabildiğinden tekrarlı çalıştırmalar ve ayarlar kayda alınır. Tek bir başarılı örnek seçmek yerine sonuç dağılımı incelenir. Değerlendirme değiştiğinde önceki skorlarla doğrudan karşılaştırma yapılmaz; yeni sürüm ayrı tanımlanır. Hakemler arası uyuşmazlık da sonuçtur. Bir sorunun cevabı kaynakta belirsizse modeli cezalandırmadan önce görev ve etiket gözden geçirilir; veri kalitesi ile model hatası ayrı nedenler olarak tutulur.

Maliyet ve gecikme doğru cevap başına değerlendirilir

Token başına ücret veya tek istek gecikmesi bütün maliyeti açıklamaz. Belge ayrıştırma, indeks yenileme, yeniden deneme, inceleme süresi ve eşzamanlı yük eklenir. Doğru cevap başına maliyet, çekimserlik politikasıyla değişebilir. Kuyruk ve zaman aşımı davranışı gerçek istek dağılımıyla ölçülür. Laboratuvarda kısa metinle bulunan süre, uzun doküman ve yoğun kullanıcı trafiği için aynı sonucu garanti etmez; altyapı ve veri koşulları rapora eklenir.

Gölge pilot önerileri mevcut kararı değiştirmeden kaydedebilir. İnsan geri bildirimi sonradan incelenir ve uygun örnekler yeni regresyon testine dönüşür. Ham kullanıcı konuşmalarını otomatik eğitim verisi yapmak kalite ve kullanım sınırlarını ihlal edebilir. Saklama süresi, hassas alanların ayıklanması ve model sağlayıcısına hangi verinin gittiği proje kapsamında belirlenir. İzleme, sadece hizmet ayakta mı sorusuna değil yanıt davranışı değişti mi sorusuna da cevap vermelidir.

Pilot kabulü için kısa ama somut bir kanıt paketi

Kabul paketi görev sözleşmesi, veri kümesi sürümü, hakem yöntemi, hata dilimleri ve olumsuz senaryoları içerir. Bir başka ekip aynı ayarlarla sonucu yeniden inceleyebilmelidir. Her örneğin yanıtı, kaynak kaydı ve rol bağlamı korunur; paylaşımda hassas alanlar uygun biçimde sınırlandırılır. Ortalama iyi olsa da kritik hata eşiği aşılmışsa pilot kapsamı daraltılabilir. Değerlendirme, yalnızca canlıya geçmek için değil geçmemek gerektiğini anlamak için de yapılır.

Aşağıdaki maddeler tek başına güvenlik veya doğruluk garantisi değildir; ölçülebilir bir görüşmenin başlangıcıdır. Eşikler yanlış kararın etkisine, insan kapasitesine ve veri yapısına göre belirlenir. Araştırma çıktısı ile üretim teslimatı arasındaki fark açık tutulur. Bir modelin kaynak verdiği birkaç soruya bakıp bütün kurumsal bilginin güvenle otomatikleştirilebileceği sonucu çıkarılmaz. Kabul, hangi işin hangi koşulda desteklendiğini sınırlar; genelleştirilmiş bir başarı iddiası üretmez.

• Nihai test ayar sorularından ve benzer belge ailelerinden ayrıldı mı?
• Doğruluk paydası, kapsam ve kritik hata sayısı birlikte veriliyor mu?
• Yetki kaldırma, eski kaynak ve cevapsız sorular sınandı mı?
• Aynı veri ve sistem sürümüyle sonuç yeniden incelenebiliyor mu?

Gokbilge Tech ile değerlendirmeyi sistem tasarımına bağlamak

Gokbilge Tech uzmanlaşmış LLM, Türkçe dil analizi ve uygulamalı yapay zekâ çalışmalarını veri hazırlama ve sistem entegrasyonuyla birlikte ele alır. Hizmet kapsamı; görev ayrıştırma, erişim kontrollü veri hattı, karşılaştırmalı deney ve kontrollü pilot ölçümü üzerinden kurulabilir. Medya Zekâsı gibi ürün bağlamları kaynak izlenebilirliği sorusunu somutlaştırır; burada gösterilen puanlar bu ürünlerin ölçülmüş başarısı veya aynı değerlendirme kodunu kullandıklarının iddiası değildir.

İlk teknik görüşmede birkaç temsili soru, paylaşılabilir belge örneği ve yanlış yanıtın iş akışına etkisi ele alınabilir. Bu bilgiler hangi araştırmanın gerekli olduğunu, hangi basit yöntemin referans olabileceğini ve kabul kanıtının nasıl toplanacağını belirler. Hedef yalnızca çalışan bir sohbet ekranı değildir; kurumun yanıtı ne zaman kullanabileceğini, ne zaman uzmana dönmesi gerektiğini ve değişiklikte neyin yeniden sınanacağını açıklayan sürdürülebilir bir sistem yaklaşımıdır.