Kā Sasniegt 100% Uzticamu AI Klientu Apkalpošanu Ar LLM Instrukciju Sekošanas Tehnoloģijām

Uzticamas instrukciju ievērošanas nodrošināšana lielo valodu modeļos

Uzticamas instrukciju ievērošanas nodrošināšana lielo valodu modeļos (LLM) joprojām ir būtisks izaicinājums. Tas ir īpaši svarīgi klientu apkalpošanas lietojumos, kur kļūdas var izmaksāt dārgi. Tradicionālās uzvednes inženierijas metodes nespēj nodrošināt konsekventus rezultātus. Nepieciešama strukturētāka un pārvaldītāka pieeja, lai uzlabotu biznesa noteikumu ievērošanu, vienlaikus saglabājot elastību.

Izaicinājums: nekonsekventa AI veiktspēja klientu apkalpošanā

LLM jau nodrošina reālu biznesa vērtību, kalpojot kā palīgi cilvēku pārstāvjiem klientu apkalpošanas scenārijos. Tomēr to uzticamība kā autonomiem klientu apkalpošanas aģentiem joprojām ir izaicinājums.

Tradicionālās pieejas sarunu LLM lietojumprogrammu izstrādei bieži vien cieš neveiksmes reālās pasaules lietojumos. Divas visizplatītākās pieejas ir:

1. Iteratīva uzvednes inženierija, kas rada nekonsekventu, neprognozējamu uzvedību.
2. Procesa kartēšana, kas upurē patieso LLM mijiedarbību burvību – dinamisku, brīvu, cilvēkam līdzīgu komunikāciju.

Augsta riska klientu apkalpošanas lietojumos, piemēram, banku nozarē, pat nelielas kļūdas var izraisīt nopietnas sekas. Piemēram, nepareizi izpildīts API pieprasījums (piemēram, naudas pārskaitīšana) var novest pie tiesas prāvām un reputācijas zaudēšanas. Savukārt mehāniskas, nedabiskas mijiedarbības grauj klientu uzticēšanos un iesaisti, samazinot problēmu novēršanas rādītājus.

Lai LLM sasniegtu savu pilno potenciālu kā dinamiskiem, autonomiem aģentiem reālajā pasaulē, mums ir jānodrošina, ka tie konsekventi un lielos apjomos ievēro biznesa specifiskās instrukcijas, vienlaikus saglabājot dabiskas, brīvas mijiedarbības elastību.

Kā izveidot uzticamu, autonomu klientu apkalpošanas aģentu ar LLM

Lai risinātu šīs nepilnības LLM un pašreizējās pieejās un sasniegtu uzticamības un kontroles līmeni, kas labi darbojas reālos gadījumos, mums ir jāapšauba neveiksmīgās pieejas.

Viens no pirmajiem jautājumiem, kas man radās, strādājot pie Parlant (atvērtā koda sistēma klientu apkalpošanas AI aģentiem), bija: “Ja tiek konstatēts, ka AI aģents nepareizi apstrādā konkrētu klienta scenāriju, kāda būtu optimālā kļūdas novēršanas process?” Papildu prasību pievienošana jau tā garajai uzvednei, piemēram, “Lūk, kā jums vajadzētu rīkoties scenārijā X…”, ātri kļūtu pārāk sarežģīta pārvaldībā, un rezultāti tik un tā nebija konsekventi. Turklāt šo instrukciju bez nosacījumiem pievienošana radīja saskaņošanas risku, jo LLM pēc savas būtības ir tieši uz to iepriekšējo ievadi. Tāpēc bija svarīgi, ka instrukcijas scenārijam X neiekļūtu citos scenārijos, kuriem varētu būt nepieciešama atšķirīga pieeja.

Tādējādi mēs sapratām, ka instrukcijām jāattiecas tikai uz to paredzēto kontekstu. Tas bija loģiski, jo reālajā dzīvē, kad mēs pamanām neapmierinošu uzvedību klientu apkalpošanas mijiedarbībā reālajā laikā, mēs parasti zinām, kā to labot: Mēs varam norādīt gan to, kas jāuzlabo, gan kontekstu, kurā mūsu atsauksmei vajadzētu attiekties. Piemēram, “Esi kodolīgs un precīzs, apspriežot premium plāna priekšrocības,” bet “Esi gatavs detalizēti izskaidrot mūsu piedāvājumu, salīdzinot to ar citiem risinājumiem.”

Papildus šai instrukciju kontekstualizācijai, apmācot augsti spējīgu aģentu, kas var apstrādāt daudz lietojumu gadījumu, mums acīmredzami būtu jāpielāgo daudzas instrukcijas laika gaitā, veidojot aģenta uzvedību atbilstoši biznesa vajadzībām un vēlmēm. Mums bija nepieciešama sistemātiska pieeja.

Pārdomājot no pirmajiem principiem mūsu ideālās cerības par mūsdienu AI mijiedarbībām un to izstrādi, mēs sapratām sekojošo par to, kā šādām mijiedarbībām vajadzētu justies klientiem:

1. Empātiskas un sakarīgas: Klientiem vajadzētu justies drošībā, izmantojot AI.
2. Brīvas, kā tūlītēja ziņojumapmaiņa (IM): Ļaujot klientiem brīvi pārslēgties starp tēmām, izteikties vairākos ziņojumos un vienlaikus jautāt par vairākām tēmām.
3. Personalizētas: Jums vajadzētu just, ka AI aģents zina, ka tas runā ar jums un saprot jūsu kontekstu.

No izstrādātāja perspektīvas mēs arī sapratām, ka:

1. Pareizas sarunas UX veidošana ir evolucionārs process. Mums vajadzētu spēt pārliecinoši modificēt aģenta uzvedību dažādos kontekstos, ātri un vienkārši, nebaidoties sabojāt esošo uzvedību.
2. Instrukcijām jābut konsekventi ievērotām. Tas ir grūti izdarāms ar LLM, kas pēc savas būtības ir neprognozējami radījumi. Nepieciešams bija inovatīvs risinājums.
3. Aģentu lēmumiem jābut caurspīdīgiem. Iespējamo problēmu spektrs, kas saistīts ar dabisko valodu un uzvedību, ir pārāk plašs. Problēmu novēršana instrukciju ievērošanā bez skaidriem norādījumiem par to, kā aģents interpretēja mūsu instrukcijas konkrētā scenārijā, būtu ļoti nepraktiski ražošanas vidēs ar termiņiem.

Parlant dizaina mērķu īstenošana

Mūsu galvenais izaicinājums bija tas, kā kontrolēt un pielāgot AI aģenta uzvedību, vienlaikus nodrošinot, ka instrukcijas netiek izteiktas veltīgi – ka AI aģents tās precīzi un konsekventi īsteno. Tas noveda pie stratēģiska dizaina lēmuma: granulāras, atomiskas vadlīnijas.

1. Granulāras atomiskas vadlīnijas

Sarežģītas uzvednes bieži vien pārslogo LLM, izraisot nepilnīgus vai nekonsekventus rezultātus attiecībā uz tām norādītajām instrukcijām. Mēs to atrisinājām Parlant, aizstājot plašas uzvednes ar pašpietiekamām, atomiskām vadlīnijām. Katra vadlīnija sastāv no:

• Nosacījuma: Dabiskvalodas vaicājums, kas nosaka, kad instrukcijai vajadzētu attiekties (piemēram, “Klients uzdod jautājumu par atmaksu…”)
• Darbības: Konkrēta instrukcija, kurai LLM vajadzētu sekot (piemēram, “Apstiprini pasūtījuma detaļas un piedāvājiet atmaksas procesa pārskatu.”)

Segmentējot instrukcijas pārvaldāmās vienībās un sistemātiski koncentrējot to uzmanību uz katru vienu pēc kārtas, mēs varējām panākt, ka LLM tās novērtē un ievēro ar augstāku precizitāti.

2. Filtrēšanas un uzraudzības mehānisms

LLM ir ļoti ietekmēti ar to uzvedņu saturu, pat ja daļas uzvednes nav tieši saistītas ar pašreizējo sarunu.

Tā vietā, lai uzrādītu visas vadlīnijas uzreiz, mums izdevās panākt, ka Parlant dinamiski saskaņo un piemēro tikai atbilstošo instrukciju kopumu katrā sarunas posmā. Šo reālā laika saskaņošanu var izmantot:

• Samazinātai kognitīvai pārslodzei LLM: Mēs izvairītos no uzvednes noplūdēm un palielinātu modeļa uzmanību uz pareizajām instrukcijām, nodrošinot augstāku konsekvenci.
• Uzraudzībai: Mēs pievienojām mehānismu, lai izceltu katras vadlīnijas ietekmi un nodrošinātu tās piemērošanu, palielinot atbilstību visā sistēmā.
• Skaidrojamībai: Katrs sistēmas ģenerētais novērtējums un lēmums ietver pamatojumu, kas detalizē, kā tika interpretētas vadlīnijas un kāds bija pamatojums tās izlaist vai aktivizēt katrā sarunas punktā.
• Nepārtrauktam uzlabošanai: Uzraudzot vadlīniju efektivitāti un aģenta interpretāciju, izstrādātāji varētu viegli uzlabot sava AI uzvedību laika gaitā. Tā kā vadlīnijas ir atomiskas un uzraudzītas, jūs varētu veikt strukturētas izmaiņas, nesabojājot trauslas uzvednes.

3. Uzmanīgas spriešanas vaicājumi (ARQ)

Kamēr “Domu ķēde” (CoT) uzvedne uzlabo spriešanu, tā joprojām ir ierobežota savā spējā saglabāt konsekventas, kontekstam jutīgas atbildes laika gaitā. Parlant ievieš Uzmanīgas spriešanas vaicājumus (ARQ) – paņēmienu, ko esam izstrādājuši, lai nodrošinātu, ka daudzpakāpju spriešana paliek efektīva, precīza un prognozējama, pat tūkstošiem izpildījumu. Mūsu pētījuma rakstu par ARQ pret CoT varat atrast vietnē parlant.io un arxiv.org.

ARQ darbojas, virzot LLM uzmanību atpakaļ uz augstas prioritātes instrukcijām galvenajos atbildes ģenerēšanas procesa punktos, liekot LLM pievērst uzmanību šīm instrukcijām un par tām spriest tieši pirms tās ir jāpiemēro. Mēs atklājām, ka “lokalizēta” spriešana ap to atbildes daļu, kur konkrēta instrukcija ir jāpiemēro, nodrošina ievērojami lielāku precizitāti un konsekvenci nekā provizoriska, nespecifiska spriešanas process, piemēram, CoT.

Ierobežojumu atzīšana

Kaut arī šie novitājumi uzlabo instrukciju ievērošanu, ir jāņem vērā izaicinājumi:

• Aprēķinu pārslodze: Filtrēšanas un spriešanas mehānismu ieviešana palielina apstrādes laiku. Tomēr, ņemot vērā, ka aparatūra un LLM uzlabojas dienu no dienas, mēs to uzskatījām par iespējami strīdīgu, bet stratēģisku dizaina izvēli.
• Alternatīvas pieejas: Dažos zemāka riska lietojumos, piemēram, palīdzības AI kopilotos, bieži vien pietiek ar vienkāršākām metodēm, piemēram, uzvednes regulēšanu vai darbplūsmu balstītām pieejām.

Kāpēc konsekvence ir izšķiroša uzņēmumu līmeņa sarunu AI

Regulētās nozarēs, piemēram, finansēs, veselības aprūpē un juridiskajos pakalpojumos, pat 99% precizitāte rada ievērojamu risku. Bankai, kas apstrādā miljonus sarunu mēnesī, nevar atļauties tūkstošiem potenciāli kritisku kļūdu. Turklāt precizitātei AI sistēmām jābūt ierobežotām tā, lai kļūdas, pat ja tās rodas, paliktu stingri pieļaujamās robežās.

Reaģējot uz pieprasījumu pēc lielākas precizitātes šādos lietojumos, AI risinājumu piegādātāji bieži vien apgalvo, ka arī cilvēki pieļauj kļūdas. Kaut arī tas ir patiess, atšķirība ir tāda, ka ar cilvēku darbiniekiem kļūdu labošana parasti ir vienkārša. Jūs varat pajautāt viņiem, kāpēc viņi situācija tika rīkota tieši tā. Jūs varat sniegt tiešu atsauksmi un uzraudzīt viņu rezultātus. Bet paļauties uz “labāko centienu” uzvednes inženieriju, vienlaikus nezinot, kāpēc AI aģents vispār pieņēma kādu lēmumu, ir pieeja, kas vienkārši nav mērogājama ārpus pamata demonstrācijām.

Tāpēc strukturēts atsauksmju mehānisms ir tik svarīgs. Tas ļauj precīzi noteikt, kādas izmaiņas ir nepieciešamas, un kā tās veikt, saglabājot esošo funkcionalitāti. Tieši šī izpratne mūs noveda pareizajā ceļā ar Parlant jau no paša sākuma.

Miljonu klientu mijiedarbību apstrāde ar autonomiem AI aģentiem

Lai uzņēmumi varētu izvietot AI lielos mērogos, konsekvence un caurspīdīgums nav apspriežami. Finanšu tērzētājprogramma, kas sniedz neautorizētus padomus, veselības aprūpes asistents, kas maldina pacientus, vai e-komercijas aģents, kas nepareizi pārstāv produktus, visiem var būt nopietnas sekas.

Parlant pārdefinē AI saskaņošanu, ļaujot:

• Uzlabotu operatīvo efektivitāti: Samazinot cilvēku iejaukšanos, vienlaikus nodrošinot augstas kvalitātes AI mijiedarbības.
• Konsekventu zīmola saskaņošanu: Saglabājot saskaņību ar biznesa vērtībām.
• Atbilstību normatīvajām prasībām: Ievērojot nozares standartus un juridiskās prasības.

Šī metodoloģija atspoguļo pārmaiņas pašā AI saskaņošanas pieejā. Modulāru vadlīniju izmantošana ar inteliģentu filtrēšanu garu, sarežģītu uzvedņu vietā; skaidru uzraudzības un validācijas mehānismu pievienošana, lai nodrošinātu, ka viss notiek kā plānots – šie novitājumi iezīmē jaunu standartu uzticamības sasniegšanai ar LLM. Tā kā AI dzinātā automatizācija turpina pieaugt, konsekventas instrukciju ievērošanas nodrošināšana kļūs par pieņemtu nepieciešamību, nevis inovatīvu luksusu.

Ja jūsu uzņēmums meklē izvietot robustu AI dzinātu klientu apkalpošanu vai jebkuru citu klientu apkalpošanas lietojumprogrammu, jums vajadzētu apskatīt Parlant, aģentu sistēmu kontrolētām, skaidrojamām un uzņēmumu vajadzībām gatavām AI mijiedarbībām.

https://www.marktechpost.com/