Prinderea unui chatbot AI care regresa la fiecare schimbare de prompt

Provocarea

Un chatbot AI de suport activ regresa la fiecare schimbare de prompt — o mică modificare de formulare strica în tăcere răspunsuri care funcționau, și nimeni nu observa până când utilizatorii se plângeau.

Contextul

Echipa itera rapid pe prompturi și schimba modele, fără vreo modalitate de a spune dacă o schimbare ajută sau strică. Calitatea era o chestiune de opinie, iar fiecare release era un pariu.

Ce am făcut

• Am construit un set golden de întrebări reprezentative și comportamente așteptate din conversații reale.
• Am evaluat răspunsurile pentru fidelitate, corectitudine și ton, semnalând halucinațiile și contextul pierdut.
• Am integrat evaluările în CI, ca fiecare schimbare de prompt sau model să fie punctată înainte să poată ajunge live.
• Am predat suita și poarta de CI, ca echipa să le extindă în continuare.

Rezultatul

Schimbările de prompt și de model sunt acum punctate automat, iar o regresie blochează release-ul în loc să ajungă la utilizatori. Calitatea a trecut de la opinie la un număr în care echipa are încredere.