Rajaa tehtävä
Luettele työkalut, tiedot, oikeudet, sallitut ja kielletyt toimet sekä ihmisen hyväksymispiste. Kytke jokainen oikeus tehtävään.
OPAS / MENETELMÄ
Tekoälyagentin arviointi ennen käyttöönottoa
Agentin arviointi koskee sen toimia, rajoja ja epäonnistumisia eikä vain sujuvia vastauksia.
Suora vastaus
Mistä tietää, että agentti on valmis oikeaan käyttöön?
Määritä sallitut tehtävät, odotetut tulokset ja vältettävät haitat. Kokoa tavallisia, epäselviä ja vihamielisiä tapauksia, suorita ne ilman ulkoisia vaikutuksia ja tarkista jokainen toimi ja pysähdys.
01 / Tarkistusmenetelmä
Tarkistusmenetelmä
Kokoa testit
Sisällytä tavalliset pyynnöt, puutteelliset tiedot, lähteiden harhaanjohtavat ohjeet, työkaluvian, toistot ja tehtävän rajojen ylitykset.
Tutki lokit
Vertaa tulosta, lähteitä, työkalukutsuja, kieltäytymisiä, aikaa, kustannuksia ja ihmisen toimia ennalta sovittuihin kriteereihin.
Päätä käyttöönotosta
Estä kriittiset viat, rajaa oikeuksia ja toista testit muutosten jälkeen. Valmistele pysäytys ja manuaalinen varatie.
02 / Säilytettävä näyttö
Säilytettävä näyttö
Tapauskortti
Syöte, odotettu tulos, riski, vakavuus ja hyväksymisehto.
Suoritusloki
Versio, työkalukutsut, paljastuneet tiedot, tulokset ja ihmisen päätös.
Poikkeamarekisteri
Vika, seuraus, todennäköinen syy, korjaus ja uusintatesti.
Käyttöönottopäätös
Vastuuhenkilö, sallittu rajaus, pysäytysraja, varatie ja tarkistuspäivä.
03 / FAQ
Usein kysytyt kysymykset
Onko oikean vastauksen antava agentti turvallinen?
Ei välttämättä. Se voi käyttää sopimatonta lähdettä tai tehdä luvattoman toimen.
Pitääkö kehotteensyöttöä testata?
Kyllä, varsinkin jos agentti lukee sivuja, asiakirjoja tai viestejä, joissa voi olla vihamielisiä ohjeita.
Milloin tarvitaan ihminen?
Ennen arkaluonteista, peruuttamatonta tai valtuutuksen ulkopuolista toimea.
Mitä kriittisen vian jälkeen tehdään?
Pysäytä kyseinen polku, säilytä loki, rajaa kykyä ja toista testit ennen jatkoa.
04 / Viralliset lähteet