LLM Vestlusroboti Testimisjuhend

Eesmärk

Eesmärk on hinnata ja saada ülevaade mida vestlusrobot teab, millele oskab pakkuda ülevaadet ning kuidas ta käitub kui vastata ei oska. Testimise käigus keskenduge:

• Küsige küsimusi nende materjalide kohta, mida te meiega jagasite
• Hinnake vastuste kvaliteeti ja sisu
• Andke meile tagasisidet

Kuidas testida?

1. Valmistage ette sisendmaterjal


2. Avage siin lehel vestlusroboti testimisaken


3. Esitage erinevaid küsimusi – vestlusaknast pange end kliendi rolli. Üldiselt jagunevad küsimused järgmiselt:
   
   
   • Lihtsad küsimused – KKK lehelt leitavad
     • „Mida teha kui mu dokument kadus ära?“
     • „Kuidas saan ma teada kas mu ettevõttel on tegevusluba vaja?“
   • Protsessipõhised küsimused – keskendub põhimõttel „mis nüüd edasi?“
     • „Kuidas toimub taotluse menetlus?“
     • „Mis juhtub pärast avalduse esitamist?“
   • Erand- ja probleemiküsimused – oluline mõista, millal suunata ja millal LLM lasta vastata
     • „Mis saab siis, kui mul puudub vajalik dokument?“
     • „Mida teha tehnilise vea korral?“
   • Ebamäärased või poolikud küsimused – fookus põhimõttel, mis saab siis kui vastust ei saa või ei tea
     • „Tahan midagi taotleda, kust alustan?“
     • „Mul on probleem, mis edasi?“


4. Hinnake vastuseid - Palun hinnake vastuste puhul kolme kvaliteedi mõõdikut:


1. Vastuse täpsus
   Kas vastus kasutab asutuse tegelikku infot? Kas protsessid on õigesti kirjeldatud? Kas andmebaasis olev materjal vajab täiendamist?
2. Vastuse selgus
   Kas vastus on arusaadav, loogiline ja lühike? Kas kodanikul oleks lihtne vastuses öeldud juhiseid järgida?
3. Vastustele viitamine
   Kas viited on korrektsed? Kas vastus ja viide klapivad?


5. Andke tagasisidet - Pärast testimist palume:


• Märkida vastused, mis ei olnud täpsed või vajaksid täiendamist
• Tuua näiteid olukordadest, kus mudel eksis või jäi liiga üldiseks
• Jagada lisamaterjale, mida võiks andmebaasi lisada

Tagasiside abil saame mudelit täiustada, et see toimiks teie ärilistes protsessides usaldusväärselt.

Testimise eesmärk ei ole robot „kinni püüda“

Mudel ei ole veel lõppversioon. Meie eesmärk on koos teiega kaardistada vajadused, täita infoaugud ja luua toimiv teenus, mis toetab nii organisatsiooni kui ka kliendi digiteekonda.