AIDCIA
EN
Evaluare6 min. de citit

Date sintetice: când ajută și când te înșeală

Datele generate rezolvă probleme reale de confidențialitate și de volum. Rezolvă însă și, uneori, problema de a obține rezultate bune la evaluare fără a avea un sistem bun.

Datele sintetice sunt date generate artificial, care păstrează proprietăți statistice ale unui set real fără a conține înregistrări reale.

Unde ajută

Dezvoltare fără date personale. O echipă poate construi și testa un sistem pe date sintetice, fără ca dezvoltatorii să aibă acces la date reale ale unor persoane. Este o reducere reală de risc.

Cazuri rare. Dacă un eveniment apare de zece ori în tot istoricul, modelul nu are ce învăța. Generarea de variații plauzibile poate ajuta — cu prudență.

Testarea la limite. Poți construi deliberat cazuri extreme sau combinații care nu apar în date, ca să vezi cum se comportă sistemul.

Împărțirea datelor cu terți. Un partener sau un furnizor poate lucra pe un set sintetic fără transfer de date personale.

Unde înșeală

Evaluarea pe date sintetice. Dacă generatorul a fost construit pe aceleași ipoteze ca modelul, evaluarea măsoară coerența acestor ipoteze, nu performanța reală. Rezultatele sunt bune și nu înseamnă nimic.

Cazurile rare, din nou. Datele sintetice pot reproduce ce s-a mai văzut. Nu pot inventa un tip de eveniment pe care nimeni nu l-a observat — exact cel pe care ți-ai dori să îl acopere.

Iluzia anonimizării. Un set sintetic generat dintr-un set foarte mic, sau care reproduce prea fidel structura, poate permite deducerea informațiilor despre persoane reale. „Sintetic” nu înseamnă automat „fără risc”.

Amplificarea bias-ului. Generatorul învață din date reale, inclusiv dezechilibrele lor. Un set sintetic mai mare poate face un dezechilibru să pară o regularitate solidă.

Regulile practice

  1. Evaluează întotdeauna și pe date reale, chiar dacă pe un eșantion mic. Datele sintetice pot fi majoritatea antrenării, dar nu pot fi singurul test.
  2. Documentează cum au fost generate. Un set sintetic fără metodologie este imposibil de interpretat.
  3. Verifică riscul de reidentificare înainte de a-l trata ca pe date nepersonale, mai ales când setul-sursă este mic.
  4. Nu raporta rezultate de pe date sintetice ca rezultate de sistem, fără să spui explicit asta.

Datele sintetice sunt un instrument util. Devin o problemă în momentul în care sunt folosite ca să evite exact verificarea pe care ar trebui să o facă mai ușoară.

Articole înrudite