Formula apare în aproape orice document de conformitate: sistemul funcționează „cu supraveghere umană”. În practică, supravegherea este de multe ori o casetă bifată.
Când supravegherea devine fictivă
Trei tipare o golesc de conținut.
Volumul. Un operator care trebuie să valideze sute de propuneri pe zi nu poate analiza fiecare caz. Va aproba implicit, pentru că ritmul cerut nu permite altceva.
Lipsa informației. Dacă operatorul vede doar rezultatul, fără contextul pe care s-a bazat sistemul, nu are pe ce să își formeze o opinie independentă. Poate doar să fie de acord.
Asimetria consecințelor. Dacă aprobarea unei propuneri nu are cost, iar respingerea cere justificare scrisă, comportamentul rațional este aprobarea. Procesul selectează conformarea.
Ce face supravegherea reală
Timp suficient pentru volum. Dacă un caz cere cinci minute de analiză serioasă, volumul nu poate depăși ce încape în programul operatorului. Altfel, sistemul trebuie să filtreze ce ajunge la om.
Context, nu doar rezultat. Operatorul trebuie să vadă informația pe care s-a bazat sistemul și motivele propunerii, ca să poată ajunge la altă concluzie.
Autoritate reală de a respinge. Respingerea trebuie să fie la fel de ieftină ca aprobarea, iar operatorul să nu fie evaluat după rata de conformare cu sistemul.
Pregătire pentru limitele sistemului. Operatorul trebuie să știe unde greșește sistemul sistematic — altfel nu are cum să fie atent tocmai acolo.
Măsurarea intervențiilor. Dacă rata de respingere este aproape zero, este un semnal: fie sistemul este foarte bun, fie supravegherea nu funcționează. Amândouă merită investigate.
Trei modele, nu unul
Om în buclă: sistemul propune, omul decide, nimic nu se execută fără decizia lui. Cel mai sigur, cel mai lent.
Om deasupra buclei: sistemul decide și execută, omul monitorizează agregat și poate interveni. Potrivit pentru volum mare și miză individuală mică.
Om în comandă: sistemul funcționează autonom, dar omul poate opri oricând întregul sistem. Ultima linie de apărare, nu un control al cazurilor individuale.
Alegerea depinde de miza unei erori individuale și de volum. Problema apare când o organizație declară primul model și implementează, în practică, al treilea.
Întrebarea de verificare
Pentru orice sistem despre care se spune că are supraveghere umană: când a respins ultima dată un operator o propunere a sistemului, și ce s-a întâmplat după?
Dacă răspunsul este „nu știm” sau „nu se întâmplă”, supravegherea nu este reală.