Kurumsal chatbot mu, RAG bilgi asistanı mı? Üç nesil ve karar tablosu

Kurumsal bir bilgi kanalı kurma kararı verildiğinde masaya iki teklif gelir ve ikisi de "yapay zekâ destekli asistan" başlığını taşır. Aralarındaki fark arayüzde görünmez — mimaride ve bakım modelinde durur.

Bu yazıda üç nesli ayırıyor, klasik chatbot'un nerede tıkandığını gösteriyor ve hangi senaryoda hangisinin doğru olduğunu tabloya döküyoruz.

Üç nesil

Üç nesil arasındaki asıl fark, kapasite değil büyüme davranışıdır. İlk iki nesilde kapsam büyüdükçe bakım maliyeti büyür; üçüncüde kapsam büyümesi belge eklemekten ibarettir.

Klasik chatbot nerede tıkanır?

Sahada gördüğümüz tıkanma her zaman aynı beş adımda ilerler:

1. Kapsam dar başlar. Yirmi otuz soruyla açılır, iyi çalışır, herkes memnun.
2. Kullanıcı listede olmayanı sorar. Bot "anlamadım" der. Bu, kullanıcının hatası değil listenin sınırlılığıdır.
3. Liste büyütülür. Her yeni soru yeni bir niyet ve yeni örnek cümleler demektir. Bakım işi birikmeye başlar.
4. Niyetler çakışır. Yüz niyeti geçtikten sonra benzer niyetler birbirine karışır; bir düzeltme başka bir yeri bozar.
5. Bakım durur. İçerik eskir, cevaplar yanlışlanır, kullanım düşer. Bot teknik olarak ayaktadır ama kimse kullanmaz.

RAG asistanı neyi farklı yapar?

RAG mimarisinde bilgi, botun tanımında değil kurumun belge havuzunda durur. Bir soru geldiğinde sırasıyla:

1. Soruyla ilgili belge parçaları aranır — kullanıcının görme yetkisi olan belgeler arasında.
2. Bulunan parçalar modele bağlam olarak verilir.
3. Model cevabı yalnız bu parçalara dayandırarak yazar ve kaynağı gösterir.
4. İlgili kaynak yoksa cevap üretilmez; kullanıcı bilgilendirilir ya da insana devredilir.

Dört adımın üçü mimari kısıttır, biri model işidir. Bu yüzden RAG'de kalite tartışması "hangi model?" sorusundan çok, arama katmanının ve içerik düzeninin kalitesi üzerinden yürür.

Ayrıntılı anlatım için RAG nedir yazımıza, fine-tuning ile karşılaştırma için RAG mi fine-tuning mi yazımıza bakabilirsiniz.

Hangi senaryoda hangisi?

Tablodan çıkan kural basittir: işlem yapmak akış motorunun, bilgi vermek RAG'in işidir. Karıştırıldığında iki taraf da kötü çalışır.

Hibrit desen: pratikte en sık kurduğumuz yapı

Kurumların çoğunda doğru cevap "ikisi" olur. Yerleşim şöyle kurulur:

1. Yönlendirme katmanı gelen mesajı sınıflandırır: işlem talebi mi, bilgi sorusu mu?
2. İşlem talepleri mevcut akış motoruna gider — burada öngörülebilirlik değerlidir ve zaten çalışan bir yatırım vardır.
3. Bilgi soruları RAG katmanına gider, kaynak atıflı cevaplanır.
4. Emin olunamayan durumlar insana devredilir; devir, başarısızlık değil tasarımın parçasıdır.

Bu yapı, mevcut chatbot yatırımını çöpe atmadan bilgi tarafını çözer — ki kurumsal ortamda kararı kolaylaştıran şey genellikle budur.

Müşteriye açık kanalda ne değişir?

İç kullanımla dışa açık kanal arasındaki fark teknik değil, sonuç riskidir: çalışana verilen yanlış cevap düzeltilir, müşteriye verilen yanlış cevap kurumu bağlayabilir.

Dışa açık kanalda uyguladığımız beş kısıt:

1. Daraltılmış içerik kümesi. Yalnız yayınlanmaya uygun, onaylı içerikten cevap üretilir; iç dokümanlar kapsam dışıdır.
2. Yasaklı konu listesi. Fiyat taahhüdü, hukuki yorum, sağlık tavsiyesi gibi konular sistem düzeyinde kapsam dışı bırakılır.
3. Zorunlu devir eşiği. Belirsizlikte cevap üretmek yerine insana devir.
4. Kaynak gösterimi. Cevabın hangi sayfaya dayandığı görünür.
5. Kayıt ve örneklem denetimi. Konuşmalar düzenli örnekleme ile insan tarafından incelenir.

Halüsinasyon riski bu kanalda mimariyle yönetilir; ekrana konan "yapay zekâ hata yapabilir" uyarısı tek başına bir önlem değildir.

Sesli kanalda durum

Çağrı merkezi tarafında bilgi katmanı aynı kalır, değişen giriş ve çıkıştır: konuşmanın metne çevrilmesi, gürültü ve kesintiyle başa çıkma, cevabın sesli okunmaya uygun biçimde kısaltılması. Metin için yazılmış bir cevap sesli kanalda genellikle çok uzundur; aynı içerik farklı biçimlendirilir.

Bu katmanın ayrı bir mühendislik alanı olduğunu belirtmek gerekir — bilgi tarafı RAG'de kalırken kanal katmanı baştan tasarlanır.

Kurulum ve ölçüm

Ölçüm için anlamlı göstergeler şunlardır:

• Çözüm oranı — insana devir olmadan tamamlanan konuşma yüzdesi
• Kaynaklı cevap oranı — kaynak göstererek verilen cevapların payı
• Yanlış cevap oranı — örneklem denetimiyle ölçülür
• Tekrar temas — aynı kullanıcının aynı konuyla kısa sürede dönmesi
• Devir kalitesi — devredilen konuşmaların temsilciye bağlamla ulaşma oranı

Konuşma sayısı ve "karşılama oranı" başarı göstergesi değildir; her ikisi de kötü çalışan bir sistemde de yüksek çıkabilir.

Toparlarken

Soru "chatbot mu, RAG mi?" değil, "işlem mi, bilgi mi?" sorusudur. İşlem tarafında akış motorları hâlâ doğru araçtır; bilgi tarafında bakım maliyetini kontrol altında tutan tek mimari RAG'dir. Kurumların çoğu için doğru cevap ikisinin doğru yerde durduğu hibrit bir yapıdır.

Yanlış cevap riskinin nasıl yönetildiğini insan onaylı yapay zekâ yazımızda, çok adımlı işlem gerektiren senaryoları ise yapay zekâ ajanı yazımızda ele aldık.

RAG sistemleri hizmetimizi inceleyin