İçeriğe atla
alfiTechnology

RAG mi, fine-tuning mi, istem mühendisliği mi? Karar tablosu

Şükrü Yusuf Kaya· 6 dk okuma

Kısa cevap

RAG modele bilgi verir, fine-tuning davranış öğretir, istem mühendisliği ise ikisini de ucuza dener. Sorun "modelim kurumun bilgisini bilmiyor" ise cevap RAG'dir. Sorun "biliyor ama yanlış biçimde, yanlış üslupla ya da yanlış adımlarla cevaplıyor" ise cevap fine-tuning'dir. Kurumsal kurulumların çoğunda ikisi birlikte kullanılır; yarışan değil tamamlayan yöntemlerdir.

Kurumsal yapay zekâ projelerinde en sık karşılaştığımız yanlış kurgulanmış soru şudur: "Modeli kendi verimizle eğitelim mi, yoksa RAG mi kuralım?" Soru kendi içinde bir varsayım taşır — iki yöntemin birbirinin alternatifi olduğu varsayımı. Oysa farklı sorunları çözerler.

Bu yazıda üç katmanı ayrı ayrı tanımlıyor, hangisinin neyi çözüp neyi çözmediğini tabloya döküyor ve senaryodan yönteme giden bir karar akışı öneriyoruz.

Üç katman aslında ne yapıyor?

İstem mühendisliği (prompt engineering). Modele ne yapacağını, hangi formatta, hangi kısıtlarla yapacağını anlatan talimat katmanı. Modelin ağırlıkları değişmez, kalıcı bir bilgi eklenmez. Değişen tek şey, isteğin nasıl sorulduğudur. En hızlı ve en ucuz katmandır.

RAG (bilgi erişimli üretim). Model cevap üretmeden önce kurumun kendi belge havuzunda arama yapılır; bulunan parçalar isteğe bağlam olarak eklenir. Model, cevabını yalnızca bu parçalara dayandırır ve kaynağı gösterir. Bilgi modelin içinde değil, yanında durur. Ayrıntılı anlatımı RAG nedir yazımızda.

Fine-tuning (ince ayar). Modelin ağırlıkları, hazırlanan örnek çiftleriyle yeniden eğitilerek değiştirilir. Amaç bilgi eklemek değil, davranışı kalıcılaştırmak: çıktı biçimi, üslup, sektörel terminoloji, belirli bir akıl yürütme sırası.

Ayrımı tek cümleyle kurmak gerekirse: RAG modelin ne bildiğini değiştirir, fine-tuning nasıl davrandığını.

Hangisi neyi çözer, neyi çözmez?

İstem mühendisliğiRAGFine-tuning
Kuruma özel bilgi verirSınırlı (isteğe sığdığı kadar)EvetGüvenilmez biçimde
Kaynak gösterebilirHayırEvetHayır
Bilgi güncellendiğindeİstem elle değişirOtomatik (içerik hattı)Yeniden eğitim gerekir
Çıktı biçimini sabitlerKısmenHayırEvet
Kurumsal üslubu öğretirZayıfHayırEvet
Yetki modeline bağlanırHayırEvet (arama katmanında)Hayır
Kurulum süresiGünHaftaHafta–ay
Değişikliği geri almaAnındaKolayZor (model sürümü)

Tablodaki en kritik satır yetki satırıdır ve çoğu karşılaştırmada atlanır. RAG'de arama, kullanıcının görme yetkisi olan belgeler üzerinde çalışır; yetkisiz belge sonuç kümesine hiç girmez. Fine-tuning'de ise bilgi model ağırlıklarına karışmıştır — "bu kullanıcı bu bilgiyi görmesin" demenin bir yolu yoktur. Bu, teknik bir ayrıntı değil, düzenlemeye tabi kurumlar için doğrudan bir eleme kriteridir.

"Fine-tuning modele bilgi öğretir" yanılgısı

Fine-tuning ile modele kurumsal bilgi yüklenebileceği doğrudur; sorun bunun nasıl saklandığındadır. Bilgi, kaynağa bağlı bir kayıt olarak değil, ağırlıklara dağılmış istatistiksel bir örüntü olarak durur. Sonuçları:

  • Kaynak gösteremez. "Bunu nereden biliyorsun?" sorusunun cevabı yoktur. Denetlenebilirlik gerektiren hiçbir senaryoda kabul edilemez.
  • Güncellenemez. Bir yönetmelik değiştiğinde modelin eski bilgiyi "unutması" garanti değildir. Doğru yol yeniden eğitimdir; bu da her mevzuat değişikliğini bir model sürümüne dönüştürür.
  • Halüsinasyonu ortadan kaldırmaz. Model emin olmadığı yerde yine akıcı bir cevap üretir; fark, artık yanlış cevabın kurumsal terminolojiyle verilmesidir — ki bu daha tehlikelidir.

Kurumsal bilgi doğrulanabilir olmak zorundaysa — ki genellikle zorundadır — bilgi katmanı RAG'dir. Fine-tuning bu ihtiyacın cevabı değildir.

Fine-tuning ne zaman gerçekten kazandırır?

Yöntemi tümüyle dışlamak da yanlış olur. Şu dört durumda fine-tuning ölçülebilir fayda üretir:

  1. Çıktı biçimi katı ve tekrarlıysa. Her cevabın belirli alanları olan bir yapıya oturması gerekiyorsa, bunu istemle her seferinde anlatmak yerine modele öğretmek hem daha tutarlı hem daha ucuzdur.
  2. İstem çok uzadıysa. Otuz maddelik bir talimat seti her istekte gönderiliyorsa, o talimatın büyük kısmı fine-tuning'e taşındığında istem kısalır — gecikme ve maliyet birlikte düşer.
  3. Sektörel dil genel modele uzaksa. Dar bir alanın terminolojisi ve kısaltmaları modelin genel dağılımında zayıf temsil ediliyorsa, ince ayar anlama kalitesini yükseltir.
  4. Küçük modeli yeterli hâle getirmek istiyorsanız. Dar bir görevde ince ayarlanmış küçük bir model, genel amaçlı büyük bir modelin yerini tutabilir. Kurum içi kurulumlarda bu, donanım gereksinimini doğrudan düşürdüğü için belirleyici olur.

Dördüncü madde özellikle önemlidir: veri kurumdan çıkamıyorsa, "işi gören en verimli model" arayışında fine-tuning bir maliyet aracıdır.

Karar tablosu: senaryodan yönteme

SenaryoDoğru katman
"Yönetmeliğimizin 12. maddesi ne diyor?"RAG
"Cevaplar hep aynı rapor formatında olsun"Fine-tuning
"Modelin üslubu kurumsal olsun"Fine-tuning (veya güçlü istem)
"Yeni sözleşme yüklendiğinde asistan bilsin"RAG
"Kullanıcı yetkisi olmayan belgeden cevap almasın"RAG (tek seçenek)
"Cevabın hangi belgeye dayandığı görünsün"RAG (tek seçenek)
"Sektör kısaltmalarını doğru anlasın"Fine-tuning
"Bir hafta içinde bir şey deneyelim"İstem mühendisliği
"Kurum içi küçük model yeterli hâle gelsin"Fine-tuning + RAG
"Uzun talimat setini kısaltalım"Fine-tuning

Maliyet ve işletme yükü

Karşılaştırmayı kurulum bedeli üzerinden yapmak yanıltıcıdır; belirleyici olan toplam sahip olma maliyetidir. Kalemler farklı yerlerde birikir:

Kalemİstem mühendisliğiRAGFine-tuning
İlk kurulumDüşükOrtaOrta–yüksek
Tekrarlayan içerik işiYokAna kalem (güncelleme hattı)Yok
Model değiştiğindeKüçük revizyonEtkilenmezYeniden eğitim
İstek başına maliyetİstem uzunluğuna bağlıBağlam eklendiği için daha yüksekGenellikle daha düşük
Değerlendirme seti bakımıHafifGerekliZorunlu

İki kalem sürekli hafife alınır: RAG'de içerik hattının güncel tutulması, fine-tuning'de model sürümü değiştiğinde eğitimin tekrarlanması. Her iki yöntem de "kur ve unut" değildir; işletme planı olmadan yapılan seçim, altı ay sonra bakımsız kalır.

Gerçek kurulumlar çoğu zaman karma

Kurumsal projelerde en sık kurduğumuz yapı üç katmanı birlikte kullanır:

  1. RAG bilgiyi taşır, kaynağı gösterir, yetkiyi uygular.
  2. Fine-tuning çıktının biçimini ve kurumsal dili sabitler; istemi kısaltır.
  3. İstem mühendisliği senaryo bazlı ince ayarları yapar ve hızlı değişikliklerin yeri olur.

Bu katmanlar birbirini engellemez. Aksine, fine-tuning ile kısalan istem RAG için daha çok bağlam alanı bırakır — yani ikisi birlikte kullanıldığında performans toplamdan fazlasını verir.

Kararı ölçmeden vermeyin

Hangi yöntemi seçerseniz seçin, seçim ölçümle doğrulanmalıdır. Kurulum sırasında kurumun gerçek sorularından bir değerlendirme seti oluşturulur: soru, beklenen cevap ve kabul kriteri. Yöntem değiştiğinde bu setle karşılaştırma yapılır.

Ölçüm olmadan bu tartışma bir kanaat tartışmasına döner ve genellikle en yüksek sesli tercih kazanır. Ölçümle birlikte tartışma yarım günde biter.

Sekiz soruluk karar akışı

  1. Sorun bilgi mi (model bilmiyor), davranış mı (biliyor ama yanlış veriyor)?
  2. Cevabın kaynağı gösterilmek zorunda mı?
  3. Kullanıcı yetkisi cevabı sınırlamalı mı?
  4. Bilgi ne sıklıkla değişiyor?
  5. Çıktı biçimi katı ve tekrarlı mı?
  6. İstem gereğinden uzun mu?
  7. Veri kurumdan çıkabiliyor mu — çıkamıyorsa hangi model boyutu gerçekçi?
  8. Bu seçimi altı ay sonra kim bakacak?

İlk üç sorunun cevabı "bilgi / evet / evet" ise yön RAG'dir ve tartışma oradan devam eder.

Toparlarken

RAG ile fine-tuning arasında seçim yapmak, çekiçle tornavida arasında seçim yapmaya benzer: hangisinin daha iyi olduğu değil, elinizdeki işin ne olduğu sorusudur. Bilgi doğrulanabilir olmalıysa RAG, davranış tutarlı olmalıysa fine-tuning, ikisi de değilse önce istem.

Kurumsal bilgi asistanı senaryosunun mimarisini RAG yazımızda, verinin kurumdan çıkamadığı durumdaki kurulum mantığını ise KVKK'ya uygun yapay zekâ yazımızda ele aldık.

RAG sistemleri hizmetimizi inceleyin

Sık sorulan sorular

Fine-tuning modele yeni bilgi öğretmez mi?
Öğretir ama güvenilmez biçimde. Fine-tuning modelin ağırlıklarını değiştirir; bilgi kaynağa bağlı değil dağınık biçimde saklanır. Model bunu kaynak gösteremez, güncelleyemez ve emin olmadığında uydurmaya devam eder. Doğrulanabilir bilgi ihtiyacı için RAG doğru araçtır.
RAG kullanırsak fine-tuning'e hiç gerek kalmaz mı?
Bilgi ihtiyacı için kalmaz. Ancak modelin çıktı biçimini, kurumsal üslubu, sektörel terminolojiyi ya da uzun ve tekrarlayan bir talimat setini kalıcılaştırmak istiyorsanız fine-tuning kazandırır. Bu durumda istem kısalır, maliyet düşer ve tutarlılık artar.
Önce hangisini denemeliyiz?
İstem mühendisliğini. En ucuz, en hızlı geri bildirim veren ve çoğu zaman yeterli olan katman budur. Bir hafta içinde alınan sonuç, RAG mi fine-tuning mi gerektiğini de netleştirir. Sıralamayı tersine çevirmek pahalı bir alışkanlıktır.
Fine-tuning için ne kadar veri gerekir?
Miktar değil kalite belirleyicidir. Birkaç yüz gerçekten temiz, tutarlı ve hedef davranışı doğru temsil eden örnek, on binlerce dağınık örnekten iyi sonuç verir. Tutarsız etiketlenmiş veri, modele tutarsızlığı öğretir.
Halüsinasyonu hangisi önler?
Kaynak atfıyla birlikte RAG. Cevap belgeye bağlandığı ve ilgili belge yoksa sistem cevap üretmediği için kullanıcı doğrulamayı kendi yapabilir. Fine-tuning halüsinasyonu azaltabilir ama doğrulanabilir kılmaz — fark budur.
Toplam maliyeti neye göre karşılaştırmalıyız?
Kurulum bedeline değil, üç yıllık toplam sahip olma maliyetine. RAG'de ana kalem içerik hattının güncel tutulmasıdır; fine-tuning'de model her değiştiğinde eğitim tekrarı ve değerlendirme setinin bakımıdır. İkisi de sıfır bakım maliyetli değildir.

Bu yazıda geçen terimler

Devamında okuyun