Discuția despre bias se blochează des într-o falsă dilemă: ori modelul este „obiectiv pentru că e matematică”, ori este „discriminatoriu pentru că a fost făcut greșit”. Niciuna nu ajută.
Ce înseamnă concret
Un model de învățare automată extrage regularități din datele de antrenare. Dacă în date există o corelație — chiar una care reflectă o inegalitate istorică, nu o relație cauzală — modelul o va folosi, pentru că îi îmbunătățește predicția.
Exemplul clasic: un sistem antrenat pe decizii trecute de angajare va învăța tiparele acelor decizii, inclusiv pe cele pe care organizația ar vrea acum să le corecteze. Sistemul nu „discriminează” în sensul intenției. Reproduce.
Trei surse distincte
Datele de antrenare reflectă o realitate inegală. Dacă un grup a fost istoric dezavantajat, datele arată asta, iar modelul învață.
Colectarea datelor este inegală. Un grup subreprezentat în date produce predicții mai slabe pentru acel grup — nu pentru că e „mai greu”, ci pentru că modelul a avut mai puține exemple.
Eticheta însăși este problematică. Multe sisteme nu prezic ce ne interesează, ci un indicator indirect. Dacă indicatorul este el însuși afectat de o inegalitate, modelul învață inegalitatea, nu fenomenul.
Ce se poate face
Măsoară înainte de orice. Performanța pe subgrupuri relevante este primul pas. Nu poți corecta ce nu ai măsurat, iar „nu avem datele ca să măsurăm” este el însuși un rezultat de raportat.
Stabilește ce înseamnă „echitabil” pentru cazul tău. Există mai multe definiții matematice ale echității, iar unele sunt reciproc incompatibile: nu le poți satisface simultan. Alegerea este o decizie de politică, nu una tehnică, și trebuie făcută explicit și documentat.
Verifică indicatorii indirecți. Codul poștal, tipul de școală, istoricul de angajare pot funcționa ca substitute pentru caracteristici protejate. Eliminarea variabilei directe nu elimină efectul.
Testează pe cazuri construite. Perechi de intrări identice cu excepția unei singure caracteristici arată rapid dacă sistemul tratează diferit situații echivalente.
Ce nu rezolvă problema
Ștergerea caracteristicilor protejate din date nu o rezolvă — modelul le reconstruiește din corelații.
Nici o „corecție” aplicată la final nu o rezolvă, dacă problema este în etichete: ajustezi simptomul, nu cauza.
Și mai ales nu o rezolvă mai multe date, dacă datele suplimentare provin din același proces care a produs inegalitatea inițială.
Concluzia practică
Bias-ul nu este un defect care se elimină o dată. Este o proprietate care se măsoară, se documentează și se monitorizează, cu decizii explicite despre ce compromis este acceptabil și cine îl asumă. O organizație care poate arăta această documentație este într-o poziție cu totul diferită față de una care poate arăta doar un procent de acuratețe.