Cerința apare în tot mai multe caiete de sarcini: sistemul trebuie să fie „explicabil”. Formulată așa, cerința nu se poate verifica — pentru că nu spune nimic despre cine trebuie să înțeleagă ce.
Cinci nevoi diferite
Persoana afectată de decizie vrea să știe de ce a primit acest rezultat și ce ar putea schimba ca să obțină altul. Are nevoie de o explicație în limbaj obișnuit, concretă și acționabilă.
Operatorul care folosește sistemul vrea să știe cât de sigur este acest rezultat și când să nu se bazeze pe el. Are nevoie de un semnal de încredere și de o listă de situații în care sistemul este slab.
Echipa care dezvoltă vrea să înțeleagă de ce sistemul greșește pe un caz, ca să îl corecteze. Are nevoie de instrumente tehnice de inspecție.
Juristul sau responsabilul cu conformitatea vrea să poată demonstra că decizia respectă cadrul legal. Are nevoie de documentație a procesului și de trasabilitate.
Auditorul extern vrea să verifice independent afirmațiile organizației. Are nevoie de metodologie, date de test și posibilitatea de a reproduce rezultatele.
Un singur mecanism nu satisface toate cinci. Un grafic de importanță a variabilelor, de exemplu, nu îi spune nimic util persoanei afectate.
Explicație globală și explicație locală
Explicația globală descrie cum funcționează sistemul în ansamblu: ce variabile contează în general, ce reguli a învățat. Este utilă pentru validare și pentru documentație.
Explicația locală descrie de ce a fost luată această decizie, pentru acest caz. Este ce îi trebuie persoanei afectate și operatorului.
Multe organizații livrează explicație globală acolo unde era nevoie de una locală și consideră cerința îndeplinită.
Explicația contrafactuală
Pentru persoana afectată, cea mai utilă formă este de obicei contrafactuală: „decizia ar fi fost alta dacă X ar fi fost Y”. Este concretă, se verifică și indică o acțiune.
Are și o limită care trebuie respectată: o explicație contrafactuală trebuie să indice ceva ce persoana poate efectiv schimba. „Dacă ai fi avut alt an de naștere” nu este o explicație, este o constatare.
Compromisul cu performanța
Se spune adesea că modelele mai simple sunt mai explicabile, dar mai slabe. E adevărat uneori, dar nu întotdeauna — pe multe probleme tabulare, un model simplu este comparabil cu unul complex.
Întrebarea corectă nu este „cât de mult pierdem dacă alegem un model explicabil”, ci „am verificat dacă pierdem ceva”. De multe ori răspunsul e că nu, iar complexitatea a fost aleasă din obișnuință.
În practică
Înainte de a scrie „sistemul trebuie să fie explicabil” într-un document, completează: cine trebuie să înțeleagă ce, când și ce va face cu explicația. Restul decurge de acolo, iar cerința devine una care se poate verifica.