RAG mi, fine-tuning mi, istem mühendisliği mi? Karar tablosu
Kısa cevap
RAG modele bilgi verir, fine-tuning davranış öğretir, istem mühendisliği ise ikisini de ucuza dener. Sorun "modelim kurumun bilgisini bilmiyor" ise cevap RAG'dir. Sorun "biliyor ama yanlış biçimde, yanlış üslupla ya da yanlış adımlarla cevaplıyor" ise cevap fine-tuning'dir. Kurumsal kurulumların çoğunda ikisi birlikte kullanılır; yarışan değil tamamlayan yöntemlerdir.
Kurumsal yapay zekâ projelerinde en sık karşılaştığımız yanlış kurgulanmış soru şudur: "Modeli kendi verimizle eğitelim mi, yoksa RAG mi kuralım?" Soru kendi içinde bir varsayım taşır — iki yöntemin birbirinin alternatifi olduğu varsayımı. Oysa farklı sorunları çözerler.
Bu yazıda üç katmanı ayrı ayrı tanımlıyor, hangisinin neyi çözüp neyi çözmediğini tabloya döküyor ve senaryodan yönteme giden bir karar akışı öneriyoruz.
Üç katman aslında ne yapıyor?
İstem mühendisliği (prompt engineering). Modele ne yapacağını, hangi formatta, hangi kısıtlarla yapacağını anlatan talimat katmanı. Modelin ağırlıkları değişmez, kalıcı bir bilgi eklenmez. Değişen tek şey, isteğin nasıl sorulduğudur. En hızlı ve en ucuz katmandır.
RAG (bilgi erişimli üretim). Model cevap üretmeden önce kurumun kendi belge havuzunda arama yapılır; bulunan parçalar isteğe bağlam olarak eklenir. Model, cevabını yalnızca bu parçalara dayandırır ve kaynağı gösterir. Bilgi modelin içinde değil, yanında durur. Ayrıntılı anlatımı RAG nedir yazımızda.
Fine-tuning (ince ayar). Modelin ağırlıkları, hazırlanan örnek çiftleriyle yeniden eğitilerek değiştirilir. Amaç bilgi eklemek değil, davranışı kalıcılaştırmak: çıktı biçimi, üslup, sektörel terminoloji, belirli bir akıl yürütme sırası.
Ayrımı tek cümleyle kurmak gerekirse: RAG modelin ne bildiğini değiştirir, fine-tuning nasıl davrandığını.
Hangisi neyi çözer, neyi çözmez?
| İstem mühendisliği | RAG | Fine-tuning | |
|---|---|---|---|
| Kuruma özel bilgi verir | Sınırlı (isteğe sığdığı kadar) | Evet | Güvenilmez biçimde |
| Kaynak gösterebilir | Hayır | Evet | Hayır |
| Bilgi güncellendiğinde | İstem elle değişir | Otomatik (içerik hattı) | Yeniden eğitim gerekir |
| Çıktı biçimini sabitler | Kısmen | Hayır | Evet |
| Kurumsal üslubu öğretir | Zayıf | Hayır | Evet |
| Yetki modeline bağlanır | Hayır | Evet (arama katmanında) | Hayır |
| Kurulum süresi | Gün | Hafta | Hafta–ay |
| Değişikliği geri alma | Anında | Kolay | Zor (model sürümü) |
Tablodaki en kritik satır yetki satırıdır ve çoğu karşılaştırmada atlanır. RAG'de arama, kullanıcının görme yetkisi olan belgeler üzerinde çalışır; yetkisiz belge sonuç kümesine hiç girmez. Fine-tuning'de ise bilgi model ağırlıklarına karışmıştır — "bu kullanıcı bu bilgiyi görmesin" demenin bir yolu yoktur. Bu, teknik bir ayrıntı değil, düzenlemeye tabi kurumlar için doğrudan bir eleme kriteridir.
"Fine-tuning modele bilgi öğretir" yanılgısı
Fine-tuning ile modele kurumsal bilgi yüklenebileceği doğrudur; sorun bunun nasıl saklandığındadır. Bilgi, kaynağa bağlı bir kayıt olarak değil, ağırlıklara dağılmış istatistiksel bir örüntü olarak durur. Sonuçları:
- Kaynak gösteremez. "Bunu nereden biliyorsun?" sorusunun cevabı yoktur. Denetlenebilirlik gerektiren hiçbir senaryoda kabul edilemez.
- Güncellenemez. Bir yönetmelik değiştiğinde modelin eski bilgiyi "unutması" garanti değildir. Doğru yol yeniden eğitimdir; bu da her mevzuat değişikliğini bir model sürümüne dönüştürür.
- Halüsinasyonu ortadan kaldırmaz. Model emin olmadığı yerde yine akıcı bir cevap üretir; fark, artık yanlış cevabın kurumsal terminolojiyle verilmesidir — ki bu daha tehlikelidir.
Kurumsal bilgi doğrulanabilir olmak zorundaysa — ki genellikle zorundadır — bilgi katmanı RAG'dir. Fine-tuning bu ihtiyacın cevabı değildir.
Fine-tuning ne zaman gerçekten kazandırır?
Yöntemi tümüyle dışlamak da yanlış olur. Şu dört durumda fine-tuning ölçülebilir fayda üretir:
- Çıktı biçimi katı ve tekrarlıysa. Her cevabın belirli alanları olan bir yapıya oturması gerekiyorsa, bunu istemle her seferinde anlatmak yerine modele öğretmek hem daha tutarlı hem daha ucuzdur.
- İstem çok uzadıysa. Otuz maddelik bir talimat seti her istekte gönderiliyorsa, o talimatın büyük kısmı fine-tuning'e taşındığında istem kısalır — gecikme ve maliyet birlikte düşer.
- Sektörel dil genel modele uzaksa. Dar bir alanın terminolojisi ve kısaltmaları modelin genel dağılımında zayıf temsil ediliyorsa, ince ayar anlama kalitesini yükseltir.
- Küçük modeli yeterli hâle getirmek istiyorsanız. Dar bir görevde ince ayarlanmış küçük bir model, genel amaçlı büyük bir modelin yerini tutabilir. Kurum içi kurulumlarda bu, donanım gereksinimini doğrudan düşürdüğü için belirleyici olur.
Dördüncü madde özellikle önemlidir: veri kurumdan çıkamıyorsa, "işi gören en verimli model" arayışında fine-tuning bir maliyet aracıdır.
Karar tablosu: senaryodan yönteme
| Senaryo | Doğru katman |
|---|---|
| "Yönetmeliğimizin 12. maddesi ne diyor?" | RAG |
| "Cevaplar hep aynı rapor formatında olsun" | Fine-tuning |
| "Modelin üslubu kurumsal olsun" | Fine-tuning (veya güçlü istem) |
| "Yeni sözleşme yüklendiğinde asistan bilsin" | RAG |
| "Kullanıcı yetkisi olmayan belgeden cevap almasın" | RAG (tek seçenek) |
| "Cevabın hangi belgeye dayandığı görünsün" | RAG (tek seçenek) |
| "Sektör kısaltmalarını doğru anlasın" | Fine-tuning |
| "Bir hafta içinde bir şey deneyelim" | İstem mühendisliği |
| "Kurum içi küçük model yeterli hâle gelsin" | Fine-tuning + RAG |
| "Uzun talimat setini kısaltalım" | Fine-tuning |
Maliyet ve işletme yükü
Karşılaştırmayı kurulum bedeli üzerinden yapmak yanıltıcıdır; belirleyici olan toplam sahip olma maliyetidir. Kalemler farklı yerlerde birikir:
| Kalem | İstem mühendisliği | RAG | Fine-tuning |
|---|---|---|---|
| İlk kurulum | Düşük | Orta | Orta–yüksek |
| Tekrarlayan içerik işi | Yok | Ana kalem (güncelleme hattı) | Yok |
| Model değiştiğinde | Küçük revizyon | Etkilenmez | Yeniden eğitim |
| İstek başına maliyet | İstem uzunluğuna bağlı | Bağlam eklendiği için daha yüksek | Genellikle daha düşük |
| Değerlendirme seti bakımı | Hafif | Gerekli | Zorunlu |
İki kalem sürekli hafife alınır: RAG'de içerik hattının güncel tutulması, fine-tuning'de model sürümü değiştiğinde eğitimin tekrarlanması. Her iki yöntem de "kur ve unut" değildir; işletme planı olmadan yapılan seçim, altı ay sonra bakımsız kalır.
Gerçek kurulumlar çoğu zaman karma
Kurumsal projelerde en sık kurduğumuz yapı üç katmanı birlikte kullanır:
- RAG bilgiyi taşır, kaynağı gösterir, yetkiyi uygular.
- Fine-tuning çıktının biçimini ve kurumsal dili sabitler; istemi kısaltır.
- İstem mühendisliği senaryo bazlı ince ayarları yapar ve hızlı değişikliklerin yeri olur.
Bu katmanlar birbirini engellemez. Aksine, fine-tuning ile kısalan istem RAG için daha çok bağlam alanı bırakır — yani ikisi birlikte kullanıldığında performans toplamdan fazlasını verir.
Kararı ölçmeden vermeyin
Hangi yöntemi seçerseniz seçin, seçim ölçümle doğrulanmalıdır. Kurulum sırasında kurumun gerçek sorularından bir değerlendirme seti oluşturulur: soru, beklenen cevap ve kabul kriteri. Yöntem değiştiğinde bu setle karşılaştırma yapılır.
Ölçüm olmadan bu tartışma bir kanaat tartışmasına döner ve genellikle en yüksek sesli tercih kazanır. Ölçümle birlikte tartışma yarım günde biter.
Sekiz soruluk karar akışı
- Sorun bilgi mi (model bilmiyor), davranış mı (biliyor ama yanlış veriyor)?
- Cevabın kaynağı gösterilmek zorunda mı?
- Kullanıcı yetkisi cevabı sınırlamalı mı?
- Bilgi ne sıklıkla değişiyor?
- Çıktı biçimi katı ve tekrarlı mı?
- İstem gereğinden uzun mu?
- Veri kurumdan çıkabiliyor mu — çıkamıyorsa hangi model boyutu gerçekçi?
- Bu seçimi altı ay sonra kim bakacak?
İlk üç sorunun cevabı "bilgi / evet / evet" ise yön RAG'dir ve tartışma oradan devam eder.
Toparlarken
RAG ile fine-tuning arasında seçim yapmak, çekiçle tornavida arasında seçim yapmaya benzer: hangisinin daha iyi olduğu değil, elinizdeki işin ne olduğu sorusudur. Bilgi doğrulanabilir olmalıysa RAG, davranış tutarlı olmalıysa fine-tuning, ikisi de değilse önce istem.
Kurumsal bilgi asistanı senaryosunun mimarisini RAG yazımızda, verinin kurumdan çıkamadığı durumdaki kurulum mantığını ise KVKK'ya uygun yapay zekâ yazımızda ele aldık.
Sık sorulan sorular
- Fine-tuning modele yeni bilgi öğretmez mi?
- Öğretir ama güvenilmez biçimde. Fine-tuning modelin ağırlıklarını değiştirir; bilgi kaynağa bağlı değil dağınık biçimde saklanır. Model bunu kaynak gösteremez, güncelleyemez ve emin olmadığında uydurmaya devam eder. Doğrulanabilir bilgi ihtiyacı için RAG doğru araçtır.
- RAG kullanırsak fine-tuning'e hiç gerek kalmaz mı?
- Bilgi ihtiyacı için kalmaz. Ancak modelin çıktı biçimini, kurumsal üslubu, sektörel terminolojiyi ya da uzun ve tekrarlayan bir talimat setini kalıcılaştırmak istiyorsanız fine-tuning kazandırır. Bu durumda istem kısalır, maliyet düşer ve tutarlılık artar.
- Önce hangisini denemeliyiz?
- İstem mühendisliğini. En ucuz, en hızlı geri bildirim veren ve çoğu zaman yeterli olan katman budur. Bir hafta içinde alınan sonuç, RAG mi fine-tuning mi gerektiğini de netleştirir. Sıralamayı tersine çevirmek pahalı bir alışkanlıktır.
- Fine-tuning için ne kadar veri gerekir?
- Miktar değil kalite belirleyicidir. Birkaç yüz gerçekten temiz, tutarlı ve hedef davranışı doğru temsil eden örnek, on binlerce dağınık örnekten iyi sonuç verir. Tutarsız etiketlenmiş veri, modele tutarsızlığı öğretir.
- Halüsinasyonu hangisi önler?
- Kaynak atfıyla birlikte RAG. Cevap belgeye bağlandığı ve ilgili belge yoksa sistem cevap üretmediği için kullanıcı doğrulamayı kendi yapabilir. Fine-tuning halüsinasyonu azaltabilir ama doğrulanabilir kılmaz — fark budur.
- Toplam maliyeti neye göre karşılaştırmalıyız?
- Kurulum bedeline değil, üç yıllık toplam sahip olma maliyetine. RAG'de ana kalem içerik hattının güncel tutulmasıdır; fine-tuning'de model her değiştiğinde eğitim tekrarı ve değerlendirme setinin bakımıdır. İkisi de sıfır bakım maliyetli değildir.
Bu yazıda geçen terimler
Devamında okuyun
RAG nedir, kurumsal bilgi asistanı ne zaman işe yarar?
Retrieval-Augmented Generation'ın sade tanımı, mimarinin adım adım işleyişi, kaliteyi belirleyen katmanlar, yetki modeli ve bir kurumun RAG'e gerçekten ihtiyacı olduğunu gösteren dört belirti.
7 dk okuma
Yapay zekâ ajanı (AI agent) nedir? Kurumsal kullanım rehberi
Ajanı sohbet asistanından ayıran şey konuşması değil iş yapabilmesi. Dört bileşeni, RPA'dan farkı, hangi senaryoda doğru olduğu ve yetki–sınır–onay üçlüsüyle nasıl güvenli kurulduğu.
5 dk okuma