Değerlendirme; test hedefinin yetkilendirilmesi, ölçütlerin sabitlenmesi, güvenli örnek üretimi, kontrollü yürütme, kanıt yakalama ve yayın kararının birbirinden ayrılmasına dayanır.
| Aşama | Teslimat / ölçüt |
|---|
| Threat modeling | Varlık, giriş noktası, güven sınırı, atak ve savunma hedefleri. |
| Baseline evaluation | Korumasız sistem ASR ve hatalı blokaj referansı. |
| Guardrail evaluation | Precision/recall/FPR/FNR, ASR iyileşmesi ve p95 latency. |
| E2E tool abuse tests | Model yanlış yorumlasa bile bağımsız izin kontrolünün deny üretmesi. |
| Data protection tests | Özel veri, secrets ve tenant ACL negatif senaryoları. |
| Shadow/canary | Yeni politika üretime girmeden blokaj etkisinin ölçülmesi. |
| Release decision | Açık bulgu, istisna, risk sahibi ve geri alma planının kayıtlı olması. |
| Post-release surveillance | Drift, olay tekrarları ve p95/p99 artışının takibi. |
Örnek ilk güvenlik hedefleri: bağlayıcı olmayan öneriler
| Test | Önerilen hedef / açıklama |
|---|
| Tool authorization bypass | Yetkisiz yüksek etkili tool çağrılarında 0 başarılı yürütme (tanımlı test kümesinde). |
| Cross-tenant data leak | Negatif izolasyon testlerinde 0 veri/metadata sızıntısı. |
| Protected secrets | Sentetik secrets testlerinde tüm kritik sızıntı senaryolarında engelleme; kapsam raporu. |
| Prompt injection | Tek başına “0 saldırı” vaadi yok; ASR, FPR ve test kapsamı ayrı raporlanır. |
| Gateway latency | Müşteriye özel bütçe içinde p95 ek gecikme hedefi ve yük testi. |
| Policy outage | Kritik akışlarda test edilmiş fail-closed, noncritical akışta belgeli fallback. |
| Evidence integrity | İmzalı kanıt paketlerinde 100% hash doğrulama testi. |
