Önyargı denetimi nedir?
Yapay zekâ çıktılarının gruplar arası sistematik sapma açısından test edilmesi.
Önyargı denetimi, yapay zekâ çıktılarının gruplar arasında sistematik sapma üretip üretmediğinin test edilmesidir. İK bağlamında soru şudur: model, aday değerlendirmesinde cinsiyet, yaş, etnik köken ya da benzeri korunan özelliklere göre farklı sonuçlar üretiyor mu?
Sorunun kaynağı genellikle kötü niyet değil, geçmiş veridir. Model geçmişteki işe alım kararlarından öğrenir; o kararlar taşıyorsa model de aynı eğilimi öğrenir ve ölçekleyerek uygular. Ayrıca korunan özellik veriden çıkarılsa bile vekil değişkenler (mezun olunan okul, ikamet bölgesi, kariyer boşlukları) aynı bilgiyi dolaylı olarak taşıyabilir.
Bu yüzden denetim tek seferlik değil sürekli olmalıdır: modelin çıktılarının gruplar arası kabul oranları düzenli ölçülmeli, anlamlı sapmalar araştırılmalı ve sonuçlar kayıt altına alınmalıdır. İK kararlarında yapay zekâ kullanımının insan onayıyla desteklenmesi ve kararın gerekçesinin açıklanabilir olması, hem etik hem hukuki açıdan gerekli tasarım ilkeleridir.