Domeniul produce zilnic afirmații spectaculoase. Câteva întrebări aplicate rapid elimină majoritatea zgomotului.
1. Pe ce a fost măsurat?
„Depășește performanța umană” nu înseamnă nimic fără sarcina, setul de test și modul de măsurare. Aceeași afirmație poate fi adevărată pe un test îngust și complet falsă în utilizare reală.
2. Comparat cu ce?
Un rezultat fără referință nu se poate interpreta. Comparat cu o metodă anterioară? Cu un om? Cu ce fel de om, în ce condiții, cu cât timp la dispoziție?
3. Cine a făcut măsurarea?
Un rezultat publicat de cel care vinde produsul nu este invalid, dar are nevoie de verificare independentă. Întrebarea nu este dacă mint, ci dacă cineva a reprodus rezultatul.
4. Testul era vizibil în antrenare?
Dacă setul de test a apărut public înainte de antrenarea modelului, este posibil ca modelul să îl fi văzut. Rezultatul măsoară atunci memorarea, nu capacitatea. Este una dintre cele mai frecvente probleme din rezultatele raportate.
5. Ce nu se spune?
Rata de eroare pe cazurile grele, comportamentul pe subgrupuri, costul de rulare, latența, ce s-a întâmplat la încercările nereușite. Absența acestor informații este ea însăși informație.
6. Este un demonstrator sau un sistem?
Un demonstrator funcționează pe cazurile alese pentru demonstrație. Un sistem funcționează pe ce apare. Distanța dintre ele se măsoară de obicei în ani.
7. Cine ar fi trebuit să contrazică afirmația?
Dacă un rezultat ar schimba fundamental un domeniu, specialiștii din acel domeniu ar reacționa. Tăcerea lor, sau reacțiile rezervate, spun mai mult decât titlul articolului.
Un test rapid
Reformulează afirmația ca o predicție verificabilă. „Va înlocui programatorii” devine: ce sarcină concretă, făcută azi de un programator, va fi făcută complet de sistem, fără verificare, în cât timp?
Dacă afirmația nu se poate reformula astfel, nu era o afirmație despre realitate. Era o poziție.