Kirjutasin Claude’ile briifi. Claude käivitas 3 iseseisvat agenti ja lasi neljandal agendil pimesi otsustada, kelle töö oli parim. Võistluse võitja sai kohtunikult 89/100 punkti. AI agendid mitmekesi ühe ülesande kallal on hea lahendus, vigade vältimiseks ja kvaliteedid tõstmiseks Nii ma nüüd veebiarendust, turundustekste ja -plaane Claude’iga teengi.
Järgnevalt toon näite Claude Code desktop äpi kasutamisega, aga seda kõike saad teha ka OpenAI ChatGPT äpis.
AI agendid võistlemas
Anthropicu tootejuht Angela Jiang rääkis ühes firma enda ümarlauas, et osa kasutajaid on hakanud Claude’i panema iseendaga konkureerima. Ühes variandis käivitatakse mitu agenti, kes lahendavad sama ülesannet paralleelselt. Teises variandis loob üks agent lahenduse ja teine on talle kriitik, kes otsib nõrku kohti. Mõlemal juhul on eesmärk sama: mitte rahulduda esimese vastusega, mille Claude annab, vaid koguda mitu iseseisvat katset ja valida nende hulgast parim.
Panin idee proovile ühe teksti loomisel.
Katse: AI agendid teksti loomas
Kasutasin seda ülesehitust ühe pikema teksti loomiseks. AI agendid said sama lähtematerjali ja sama briifi. Iga AI agent lähenes ülesandele eri rõhuasetusega: üks kirjutas praktilise ärategemise vaates, teine pani rõhku raamistusele ja lugeja vaatenurgale, kolmas kontrollis pidevalt, et iga väide oleks lähtematerjalis olemas ja et ükski nõue ei jääks täitmata. Iga agent kulutas 80 000 kuni 94 000 tokenit ja tegi oma versiooni 4-7 minutiga.
AI tulemuste hindamine
Kohtunik-agent, kes polnud protsessis varem osalenud, sai sama briifi, sama lähtematerjali ja kuue kategooriaga hindamisjuhendi. Ta hindas iga teksti kõigepealt eraldi ja siis omavahel võrreldes. Tulemused olid päris erinevad: 89, 82 ja 77 punkti. Kohtunik leidis ka ühe keelatud sõna kordused, mille mina olin oma kontrollis maha maganud. AI hindaja kontrollis põhjalikumalt kui mina.
Võitnud tekst läks vee täiendamisele. AI tegi 3 kohtuniku soovitatud parandust: asendas ühe arvulise väite ettevaatlikuma sõnastusega, muutis saavutuseks vormistatud tulemuse tagasi võimaluseks, nii nagu lähtematerjal tulemust kirjeldas, ja lisas ühe olulise kontseptsiooni, mille võitja oli välja jätnud. Kaotanud versioonidelt polnud vaja midagi üle võtta: ükski kohtuniku leitud nõrkus polnud teistel paremini lahendatud. Terve protsess, kolm kirjutajat ja üks kohtunik, maksis kokku umbes 350 000 tokenit ühe teksti eest. Enamus sellest Claude Sonnet, ülevaataja ja kohtunik oli Claude Fable.
Kuidas oma AI agendid võistlema panna?
- Vali ülesanne, mille kvaliteet on sulle tähtsam kui kiirus. Kodulehe esimene mulje, turundustekst, mille peale kliendid oma otsuse teevad, tootearendus, teenuse ülesehitus. Meilivastus kolleegile ei sobi.
- Kirjuta korra kontrollprompt (AI abiga): ülesande kirjeldus ilma agentide, variantide ja kriitikuteta. Kontrollprompti läheb sul hiljem võrdluseks vaja.
- Kirjuta teine prompt, kus annad Claude’ile agentide võistluse juhi rolli. Ütle: ära lahenda ülesannet ise, käivita isoleeritud võistlejad ja pime kohtunik, ära küsi minult vahepeal lisainfot.
- Määra kolm selgelt erinevat rolli. Kontrast on tähtis, sest kaks sarnase mõtteviisiga agenti annavad kaks sarnast tulemust. Operaator-strateeg-skeptik jaotus töötab enamiku ülesannete puhul, aga sisu järgi võib rollid vahetada näiteks otsese teostuse, kasutaja vaatenurga ja riskikontrolli vastu.
- Anna kohtunikule konkreetne hindamisjuhend, mitte “vali parim”. Nimeta kategooriad, mille alusel hinnatakse, ja pane paika punktiskaala.
- Oota, kuni kõik agendid on valmis. Võid lugeda iga agendi transkripti eraldi, kui tahad aru saada, miks kohtunik ühe või teise otsuse tegi. Aga ei pea.
- Kui kohtunik on otsuse teinud, lase võitjal kohtuniku märkuste põhjal oma tööd veel korra parandada ja kontrolli, kas kaotanud versioonides on midagi, mis väärib ülevõtmist.
Siit võid võtta prompt tooriku, mida oma vajaduste järgi tuunida.
AI agendid ja raha
Katses töötas ühe agendi asemel neli: kolm võistlejat ja kohtunik. Tokenite kulu kasvab kordades, mitte protsentides. Aeg samuti, sest tulemuse saad kätte alles siis, kui kõik võistlejad ja kohtunik on lõpetanud. Katses töötasid kolm võistlejat 4-7 minutit, igaüks omas tempos. Maksad rohkem aja ja tokenite eest, et saata märkimisväärselt parem tulemus.
Kuna 3 agenti teevad paralleelselt, siis aeg kulub kõige kauem tegeva agenti töö pikkus, pluss kohtuniku töö.
Samas agentide töö saad anda odavamatele mudelitele, meil tegi tööd Claude Sonnet (mis on Opusest ja Fablest kordades odavam) ja hindas Claude Fable.
Amperly Agentuuris rakendame sama loogikat klientide projektides: kampaanialehed, peamine sõnum, pakkumise ülesehitus. Lühiformaadis tekstide ja väiksemate paranduste jaoks me võistlust ei kasuta, sest mudel jõuab hea tulemuseni ka ühe käiguga.
Kellele agentide võistlus ei sobi
Kui sul on kiire ja “piisavalt hea” tase katab vajaduse ära, jäta agentide võistlus vahele. Kui ülesanne on nii spetsiifiline, et selget kontrasti pakkuvaid rolle on raske leida, jäävad kolm agenti sarnaste vastustega ja kohtunik valib sisuliselt mündiviskega. Ja mida paremaks mudelid lähevad, seda väiksemaks jääb vahe ühe agendi ja kolme agendi tulemuse vahel. Praegu on vahe piisavalt suur, et katse tasub end ära.
AI agendid koos on parem kui üksi
Agentide võistlus ei tee Claude’i targemaks. Meetod annab rohkem katseid ja ühe eraldiseisva hindaja, kes ei ole kiindunud ühessegi versiooni. Järgmine kord, kui pead kliendile või juhatusele saatma ainult ühe kavandi, ühe pakkumise või ühe kampaania idee, mõtle enne saatmist läbi, kas ülesanne väärib kolme katset ühe asemel.
Siit leiad hunniku Eesti vahendedid tehisintellekti agentidele Eesti MCP-d ja skill-id.
Kui tahad teada, kuidas agentide võistlust või teisi samalaadseid AI töövõtteid oma ettevõtte kodulehe, kampaania või sisutootmise juures rakendada, võta meiega ühendust ja küsi tasuta AI konsultatsiooni. Vaatame koos üle, milline teie järgmine projekt AI abil produktiivsemaks muuta.
