Checklist de testare a agenților AI
Un checklist practic pentru testarea unui agent AI înainte să ajungă la utilizatori, date sau bani reali. Scris de o echipă care construiește agenți și îi testează — așa că acoperă ce se strică de fapt în producție, nu teorie.
TL;DR: Acest checklist trece un agent AI prin cele șapte verificări care decid dacă supraviețuiește în producție: definirea a ceea ce înseamnă „bine”, prinderea halucinațiilor, siguranța apelurilor de tool-uri, ancorarea răspunsurilor RAG, blocarea prompt injection, rezistența în conversații multi-turn și punerea fiecărei schimbări în spatele evaluărilor din CI. Parcurge-l de sus în jos înainte ca agentul tău să ajungă la utilizatori, date sau bani reali.
Înainte să testezi
- Notează ce trebuie să facă agentul — și acțiunile pe care nu trebuie să le facă niciodată.
- Adună inputuri reale și cazuri-limită din utilizarea efectivă, nu doar demo-uri pe calea fericită.
- Stabilește ce înseamnă „bine” per sarcină: corectitudine, fidelitate, siguranță, latență, cost.
- Construiește un set golden etichetat din acele inputuri — adevărul de referință pentru fiecare schimbare viitoare.
Comportament & halucinații
- Evaluează răspunsurile pentru corectitudine factuală față de setul golden.
- Verifică dacă agentul folosește contextul furnizat în loc să inventeze informații.
- Testează că refuză întrebările din afara scopului său în loc să ghicească.
- Fii atent la deriva promptului — mici schimbări de formulare care mută în tăcere comportamentul.
Folosire de tool-uri & acțiuni
- Verifică dacă agentul apelează tool-ul potrivit cu argumentele potrivite.
- Testează că refuză sau confirmă înainte de acțiuni care ating banii, datele sau producția.
- Acoperă eșecurile și timeout-urile tool-urilor — își revine sau corupe starea?
- Confirmă că nu poate intra în buclă sau rula o acțiune distructivă de două ori.
RAG & recuperare (dacă e cazul)
- Măsoară fidelitatea: sunt răspunsurile ancorate în contextul recuperat?
- Măsoară calitatea recuperării: precizie și recall peste corpusul tău.
- Testează cu întrebări la care documentele tale nu pot răspunde — ar trebui să spună asta.
- Rerulează evaluările la fiecare schimbare de index, chunking sau embedding.
Securitate: prompt injection & jailbreak-uri
- Încearcă injecție directă prin inputul utilizatorului pentru a suprascrie instrucțiunile.
- Încearcă injecție indirectă prin documente, tool-uri și conținut recuperat.
- Sondează jailbreak-uri împotriva limitelor de siguranță și politică (OWASP LLM Top 10).
- Confirmă că o instrucțiune injectată nu poate exfiltra date sau abuza un tool.
Multi-turn & memorie
- Testează comportamentul de-a lungul conversațiilor lungi, nu doar pe ture unice.
- Verifică dacă agentul nu scurge sau confundă starea între sesiuni sau utilizatori.
- Confirmă că își revine elegant din propriile greșeli anterioare.
- Confirmă că schimbările de memorie sau istoric nu regresează în tăcere răspunsurile.
Evaluări & porți de CI
- Integrează suita de evaluare în CI, ca să ruleze la fiecare schimbare de prompt, model sau pipeline.
- Blochează merge-ul când o schimbare înrăutățește o metrică-cheie.
- Urmărește scorurile în timp, ca să vezi deriva lentă, nu doar pass/fail.
- Păstrează setul golden versionat și în creștere, pe măsură ce apar eșecuri noi.
Livrează următorul release fără să-ți ții respirația.
Spune-ne ce construiești — sau ce se strică. Răspundem într-o zi lucrătoare cu un plan concret, nu cu o prezentare de vânzări.