Bu doküman, AI agent'larımızın verdiği yanıtları güvenlik ve halüsinasyon açısından otomatik denetleyen Self Audit özelliğini, özetlemek için hazırlanmıştır.


1. Bu servis nedir?

Self Audit, bir AI agent'ın (veya workflow'un) kendi verdiği cevabı bir başka yapay zekâ ile puanlattığı otomatik bir denetim katmanıdır.


Kısaca çalışma mantığı şudur:

  1. Panelden bir soru girilir. 

  2. Sistem bu soruyu, seçilen agent veya workflow üzerinde gerçekten çalıştırır ve cevabı üretir. 

  3. Üretilen cevap, ayrı bir "denetçi" yapay zekâya gönderilir. 

  4. Denetçi; bizim verdiğimiz prompt’a göre cevabı denetler, cevabı 1–10 arası puanlar, kısa bir açıklama yazar, gerekiyorsa iyileştirme önerisi verir ve kritik bir hata olup olmadığını işaretler. 

  5. Tüm sonuç (cevap, puan, hatalar, kullanılan araçlar, kullanılan bilgi tabanları) tek bir rapor halinde panele döner. 

Yani Self Audit cevap üreten bir sistem değil, üretilen cevabı kontrol eden / not veren bir sistemdir. Bir nevi "yapay zekânın kalite kontrolörü" gibi düşünülebilir.


2. Bu servisin asıl amacı

Temel amaç, canlıya çıkmadan veya canlıda çalışan agent'ların kalitesini insan gücü harcamadan, ölçeklenebilir şekilde izleyebilmektir. Somut olarak:

  • Halüsinasyon riskini yakalamak: Agent'ın uydurma, dayanaksız veya soruyla alakasız cevap verdiği durumları tespit edip işaretlemek. 

  • Güvenlik/kalite denetimi: Cevabın kurallara, beklentiye ve verilen kanıtlara ne kadar uyduğunu bir değerlendirme politikasına göre puanlamak. 

  • "Fallback" durumlarını tespit etmek: Agent'ın soruyu gerçekten çözmek yerine "bu konuda yardımcı olamıyorum" tarzı kaçış/yönlendirme cevabı verdiği durumları ayrıca işaretlemek. 



Özetle: Agent'ın "iyi mi cevap verdi, güvenli mi, uyduruyor mu, bir yeri patladı mı?" sorularına otomatik ve tekrarlanabilir bir cevap üretmek.


3. Önemli kısımları nelerdir?

CS ekibinin bir denetim sonucunu yorumlarken en çok dikkat etmesi gereken noktalar:

AnswerScore (1–10) — puanlama mantığı

Puan rastgele değil, belirli bir aralık mantığıyla verilir:

  • 10 → tam uyum 

  • 8–9 → ana beklenti karşılanmış, sadece küçük eksikler 

  • 5–7 → kısmi uyum ya da önemli ama kritik olmayan eksikler 

  • 1–4 → kritik ihlal veya tam başarısızlık 

Yani düşük puan her zaman "felaket" demek değildir; puanı mutlaka açıklamayla birlikte okumak gerekir.

HasCriticalError — en kritik bayrak

Bu bayrak iki yoldan true olabilir:

  1. Denetçi yapay zekânın cevabı kritik hatalı bulması, veya 

  2. Sürecin kendisinde ciddi bir teknik arıza yaşanması (agent patladı, workflow patladı, aksiyon hata verdi, bilgi tabanı hata verdi, cevap boş döndü, zaman aşımı). 

Bu durumlardan biri gerçekleştiyse sistem, denetçi öyle demese bile HasCriticalError'ı zorla true yapar. Yani bu bayrak, "burada mutlaka bir insan bakmalı" sinyalidir.

IsFallback — sessiz başarısızlık göstergesi

Agent teknik olarak "cevap vermiş" gibi görünse de, aslında soruyu çözmeden geçiştiriyor olabilir. IsFallback = true bunun işaretidir ve düşük puanla birlikte sık görülür.

Teknik hata tespiti (otomatik)

Sistem, araç/tool çıktılarını tarayarak şunları otomatik yakalar:

  • Bilgi tabanı arama servisinin hata bildirmesi → KnowledgeBaseFailed 

  • Bir aksiyonun başarısız dönmesi (ör. success: false veya 400+ HTTP kodu) → ActionFailed 

Bu sayede "agent güzel konuşmuş ama arka planda entegrasyon patlamış" durumları gözden kaçmaz.

Kanıt bazlı ve dile duyarlı değerlendirme

  • Denetçi, cevabı gerçekten kullanılan araçlar ve bilgi tabanları üzerinden değerlendirir; olmayan bir davranışı agent'a atfetmez. 

  • Değerlendirme açıklaması sorunun diliyle aynı dilde yazılır (Türkçe soruya Türkçe açıklama).

  • Denetçi, kanıt alanlarının içine gizlenmiş olası manipülasyon/yönlendirme talimatlarına karşı korumalıdır (prompt injection'a dirençli tasarlanmıştır).


4. Halüsinasyonları ne derece çözer?

Bu bölümü doğru anlamak beklenti yönetimi açısından çok önemlidir.

Ne yapar (güçlü olduğu yön)

Self Audit, halüsinasyonu tespit eden ve görünür kılan bir katmandır:

  • Şüpheli/dayanaksız cevaplara düşük puan ve açıklama üretir. 

  • Kritik durumları HasCriticalError ile işaretler. 

  • Kaçış cevaplarını IsFallback ile ayırt eder. 

  • Arka plandaki teknik hataları raporlar. 

Bu, binlerce cevabı insan gücüyle tek tek okumak yerine, riskli olanları otomatik yüzeye çıkarıp önceliklendirmeyi sağlar. Yani sistemin asıl değeri bir erken uyarı ve kalite izleme mekanizması olmasıdır.

Ne yapmaz (sınırları)

  • Halüsinasyonu kaynağında engellemez — agent'ın uydurmasını baştan durdurmaz, olan cevabı sonradan denetler. 

  • %100 kesinlik vermez. Denetim de bir yapay zekâ tarafından yapıldığından, kendisi de nadiren yanlış puanlayabilir. 

  • Puanlama, verilen değerlendirme politikasının kalitesine bağlıdır. Politika ne kadar net olursa denetim o kadar isabetli olur. 

  • Bir cevabın "gerçekte doğru olup olmadığını" mutlak biçimde bilemez; tutarlılık, kanıta uygunluk ve kalite üzerinden değerlendirir. 

Pratik özetli

Self Audit, halüsinasyonları sıfırlamaz; ama onları yakalama, işaretleme ve önceliklendirme oranını ciddi biçimde artırır. Bunu bir "güvenlik filesi / erken uyarı sistemi" olarak düşünmek doğru olur - insan denetiminin yerini almaz, ama insanın nereye bakması gerektiğini otomatik olarak gösterir.