Întrebarea „să facem fine-tuning?” apare des și are, de obicei, răspunsul „nu încă”.
Ce rezolvă fiecare
Instrucțiunea (prompt). Îi spui modelului ce să facă și cum. Rezolvă: formatul răspunsului, tonul, structura, pașii de urmat. Cost: minute. Modificare: instantanee.
Regăsirea (RAG). Îi dai modelului informația de care are nevoie. Rezolvă: răspunsuri bazate pe documentele tale, informație care se schimbă, nevoia de citări. Cost: zile până la săptămâni. Modificare: actualizezi documentele.
Antrenarea suplimentară (fine-tuning). Ajustezi parametrii modelului pe exemplele tale. Rezolvă: un stil foarte specific greu de descris în cuvinte, o sarcină îngustă repetată la volum mare, reducerea costului prin folosirea unui model mai mic. Cost: săptămâni, plus date etichetate. Modificare: reantrenare.
Confuzia cea mai costisitoare
Fine-tuning-ul nu adaugă cunoștințe noi în mod fiabil. Învață modelul cum să răspundă, nu ce să răspundă.
Dacă vrei ca modelul să știe procedurile interne ale organizației, fine-tuning-ul nu este soluția — este RAG. Un model antrenat suplimentar pe documentele tale va prelua stilul lor și va continua să inventeze detalii, doar că într-un ton mai familiar.
Ordinea recomandată
- Încearcă mai întâi cu instrucțiuni. Multe probleme considerate „prea complexe” se rezolvă cu o instrucțiune bine scrisă și câteva exemple în context.
- Adaugă regăsire dacă lipsește informația. Dacă modelul greșește pentru că nu are datele, dă-i datele.
- Ia în calcul antrenarea suplimentară doar dacă: ai câteva sute–mii de exemple de calitate, comportamentul dorit este greu de descris în cuvinte, volumul justifică efortul, iar sarcina este stabilă în timp.
Ce se pierde ușor din vedere
Un model antrenat suplimentar devine responsabilitatea ta: trebuie găzduit sau administrat, versionat, reevaluat și reantrenat când se schimbă cerințele. Un model la care ajungi prin instrucțiuni și regăsire se actualizează schimbând un text sau un document.
Pentru o echipă mică, diferența de efort operațional este adesea mai importantă decât diferența de performanță.
Regula scurtă
Dacă problema este cum răspunde → instrucțiune. Dacă problema este ce știe → regăsire. Dacă problema este costul sau latența la volum mare, pe o sarcină îngustă și stabilă → antrenare suplimentară.