Tämä viesti on kirjoitettu yhdessä Sherwin Chun kanssa Alidasta.
Alida auttaa maailman suurimpia brändejä luomaan erittäin sitoutuneita tutkimusyhteisöjä keräämään palautetta, joka ruokkii parempia asiakaskokemuksia ja tuoteinnovaatioita.
Alidan asiakkaat saavat kymmeniä tuhansia sitoutuneita vastauksia yhteen kyselyyn, joten Alida-tiimi päätti hyödyntää koneoppimista (ML) palvellakseen asiakkaitaan laajasti. Käytettäessä perinteisiä luonnollisen kielen prosessointimalleja (NLP) he kuitenkin havaitsivat, että näiden ratkaisujen oli vaikea ymmärtää täysin avoimissa kyselyvastauksissa löydettyä vivahteikkaallista palautetta. Mallit taltioivat usein vain pintatason aiheita ja tunteita, ja niistä jäi huomaamatta ratkaiseva konteksti, joka mahdollistaisi tarkemman ja merkityksellisemmän oivalluksen.
Tässä viestissä opimme kuinka Anthropicin Claude Instant malli toimii Amazonin kallioperä auttoi Alida-tiimiä rakentamaan nopeasti skaalautuvan palvelun, joka määrittää tarkemmin aiheen ja mielipiteen monimutkaisissa kyselyvastauksissa. Uusi palvelu saavutti 4-6-kertaisen parannuksen aiheen vahvistamisessa klusteroimalla tiukasti useita kymmeniä avainaiheita satoihin meluisiin NLP-avainsanoihin.
Amazon Bedrock on täysin hallittu palvelu, joka tarjoaa valikoiman tehokkaita perusmalleja (FM) johtavilta tekoälyyrityksiltä, kuten AI21 Labs, Anthropic, Cohere, Meta, Stability AI ja Amazon yhden API:n kautta, sekä laajan joukon ominaisuuksia, joita tarvitset luodaksesi luovia tekoälysovelluksia, joissa on tietoturva, yksityisyys ja vastuullinen tekoäly.
Amazon Bedrockin avulla Alida pystyi tuomaan palvelunsa markkinoille nopeammin kuin jos he olisivat käyttäneet muita koneoppimisen (ML) tarjoajia tai toimittajia.
Haaste
Kyselyt, joissa on yhdistelmä monivalintakysymyksiä ja avoimia kysymyksiä, antavat markkinatutkijoille mahdollisuuden saada kokonaisvaltaisemman näkemyksen keräämällä sekä kvantitatiivisia että laadullisia tietopisteitä.
Monivalintakysymyksiä on helppo analysoida mittakaavassa, mutta niistä puuttuu vivahteita ja syvyys. Vastausvaihtoehtojen asettaminen voi myös johtaa osallistujien vastausten painottamiseen tai alkuunpanoon.
Avoimet kyselykysymykset antavat vastaajille mahdollisuuden antaa kontekstia ja odottamatonta palautetta. Nämä laadulliset tietopisteet syventävät tutkijoiden ymmärrystä sen lisäksi, mitä monivalintakysymyksillä voi kaapata yksin. Vapaamuotoisen tekstin haasteena on, että se voi johtaa monimutkaisiin ja vivahteisiin vastauksiin, joita perinteisen NLP:n on vaikea ymmärtää täysin. Esimerkiksi:
”Koin äskettäin joitain elämän vaikeuksia ja olin todella masentunut ja pettynyt. Kun menin sisään, henkilökunta oli aina erittäin ystävällistä minua kohtaan. Se on auttanut minua selviytymään vaikeista ajoista!”
Perinteiset NLP-menetelmät tunnistavat aiheiksi "vaikeudet", "pettynyt", "ystävällinen henkilökunta" ja "selvittävä vaikeista ajoista". Se ei pysty erottamaan vastaajan yleisiä tämänhetkisiä negatiivisia elämänkokemuksia ja erityisiä positiivisia kauppakokemuksia.
Alidan olemassa oleva ratkaisu käsittelee automaattisesti suuria määriä avoimia vastauksia, mutta he halusivat asiakkaidensa saavan paremman kontekstin ymmärtämisen ja korkeatasoisen aihepäätelmän.
Amazonin kallioperä
Ennen LLM-yritysten käyttöönottoa Alidan tapa parantaa olemassa olevaa yksimalliratkaisuaan oli tehdä tiivistä yhteistyötä alan asiantuntijoiden kanssa ja kehittää, kouluttaa ja jalostaa uusia malleja erityisesti kullekin alan toimialalle, jolla Alidan asiakkaat toimivat. Tämä oli sekä aikaa että kustannuksia vaativa yritys.
Yksi läpimurroista, jotka tekevät LLM:istä niin voimakkaita, on huomiomekanismien käyttö. LLM:t käyttävät itsetarkkailumekanismeja, jotka analysoivat sanojen välisiä suhteita tietyssä kehotteessa. Tämä antaa LLM:ille mahdollisuuden käsitellä paremmin aikaisemman esimerkin aihetta ja tunteita, ja se tarjoaa jännittävän uuden teknologian, jota voidaan käyttää haasteeseen vastaamiseen.
Amazon Bedrockin avulla tiimit ja yksilöt voivat heti aloittaa perusmallien käytön ilman, että heidän tarvitsee huolehtia infrastruktuurin luomisesta tai ML-kehysten määrittämisestä ja määrittämisestä. Voit aloittaa seuraavilla vaiheilla:
- Varmista, että käyttäjälläsi tai roolillasi on oikeus luoda tai muokata Amazon Bedrock -resursseja. Katso lisätietoja Identiteettiin perustuvia käytäntöjä Amazon Bedrockille
- Kirjaudu sisään Amazonin kallioperä konsoli.
- On Mallin käyttöoikeus sivulla, tarkista EULA ja ota haluamasi FM:t käyttöön tilissäsi.
- Aloita vuorovaikutus FM:ien kanssa seuraavilla tavoilla:
Alidan johtoryhmä oli innokas ryhtymään Amazon Bedrockin varhaiseen käyttöön, koska he tunnustivat sen kyvyn auttaa tiimejä tuomaan uusia generatiivisia tekoälypohjaisia ratkaisuja markkinoille nopeammin.
Vincy William, Alidan suunnittelujohtaja, joka johtaa aiheen ja tunteiden analysointipalvelun rakentamisesta vastaavaa tiimiä, sanoo:
”LLM:t tarjoavat suuren harppauksen laadullisessa analyysissä ja tekevät asioita (sellaisen mittakaavan kanssa), jota ei ole inhimillisesti mahdollista tehdä. Amazon Bedrock on pelin muuttaja, jonka avulla voimme hyödyntää LLM-yrityksiä ilman monimutkaisuutta."
Suunnittelutiimi koki Amazon Bedrockin käytön aloittamisen helpon välittömästi. He voisivat valita useista perusmalleista ja alkaa keskittyä nopeaan suunnitteluun sen sijaan, että he viettäisivät aikaa oikean koon mitoitukseen, provisiointiin, käyttöönottoon ja resurssien määrittämiseen mallien suorittamista varten.
Ratkaisun yleiskatsaus
Sherwin Chu, Alidan pääarkkitehti, jakoi Alidan mikropalveluarkkitehtuuria koskevan lähestymistavan. Alida rakensi aihe- ja mielialaluokituksen palveluksi, jonka ensimmäinen sovellus oli kyselyvastausanalyysi. Tämän lähestymistavan avulla yleiset LLM-toteutushaasteet, kuten kehotteiden hallinnan monimutkaisuus, tunnusrajoitukset, pyyntörajoitukset ja uudelleenyritykset, poistetaan, ja ratkaisu mahdollistaa kuluttaville sovelluksille yksinkertaisen ja vakaan API:n työskentelyyn. Tämän abstraktiokerroksen lähestymistavan avulla palvelun omistajat voivat myös jatkuvasti parantaa sisäisiä toteutustietoja ja minimoida API-rikkovia muutoksia. Lopuksi palvelulähestymistapa mahdollistaa yhden pisteen toteuttaa kaikki tiedonhallinta- ja turvallisuuskäytännöt, jotka kehittyvät, kun tekoälyn hallinto kehittyy organisaatiossa.
Seuraava kaavio havainnollistaa ratkaisun arkkitehtuuria ja kulkua.
Alida arvioi eri palveluntarjoajien LLM:itä ja havaitsi Anthropicin Claude Instantin olevan oikea tasapaino kustannusten ja suorituskyvyn välillä. Toimiessaan tiiviissä yhteistyössä nopean suunnittelutiimin kanssa Chu kannatti nopean ketjutusstrategian toteuttamista yhden monoliitin nopean lähestymistavan sijaan.
Nopea ketjuttaminen mahdollistaa seuraavan:
- Jaa tavoitteesi pienempiin, loogisiin vaiheisiin
- Luo kehote jokaiselle vaiheelle
- Anna kehotteet peräkkäin LLM:lle
Tämä luo lisätarkastuspisteitä, joilla on seuraavat edut:
- On yksinkertaista arvioida järjestelmällisesti syöttökehotteeseen tekemiäsi muutoksia
- Voit toteuttaa tarkemman seurannan ja seurannan tarkkuuden ja suorituskyvyn jokaisessa vaiheessa
Tämän strategian keskeisiä näkökohtia ovat LLM:lle tehtyjen pyyntöjen määrän kasvu ja sen seurauksena tavoitteen saavuttamiseen kuluvan kokonaisajan lisääntyminen. Alidan käyttötapauksessa he päättivät jakaa kokoelman avoimia vastauksia yhteen kehotteeseen LLM:lle. He valitsivat näiden vaikutusten kompensoimiseksi.
NLP vs. LLM
Alidan nykyinen NLP-ratkaisu perustuu klusterointialgoritmeihin ja tilastolliseen luokitukseen avoimen kyselyn vastausten analysoinnissa. Kun sitä käytettiin näytepalautteena kahvilan mobiilisovellukseen, se poimi aiheita sanamallien perusteella, mutta siitä puuttui oikea ymmärrys. Seuraavassa taulukossa on esimerkkejä NLP-vastausten ja LLM-vastausten vertailusta.
| Kyselyn vastaus | Nykyinen perinteinen NLP | Amazon Bedrock Claude Instantin kanssa | |
| Aihe | Aihe | Näkemys | |
| Tilaan juomani lähes yksinomaan mukavuussovelluksen kautta, eikä ole niin noloa tilata superräätälöityjä juomia, lol. Ja rakastan palkintojen ansaitsemista! | ['app bc convenience', 'drink', 'reward'] | Mobiilitilauksen mukavuus | positiivinen |
| Sovellus toimii melko hyvin, ainoa valitukseni on se, että en voi lisätä lahjakorttiini haluamaani määrää rahaa. Miksi sen täytyy olla 10 dollaria täytettäväksi?! | ["valitus", "sovellus", "lahjakortti", "numeroraha"] | Mobiilitilauksen toteutusnopeus | negatiivinen |
Esimerkkitulokset osoittavat, kuinka olemassa oleva ratkaisu pystyi poimimaan osuvia avainsanoja, mutta ei pysty saavuttamaan yleisempää aiheryhmämääritystä.
Sitä vastoin käyttämällä Amazon Bedrockia ja Anthropic Claude Instantia, LLM, jolla on kontekstikoulutus, pystyy määrittämään vastaukset ennalta määritettyihin aiheisiin ja määrittämään tunteen.
Sen lisäksi, että Alidan asiakkaille tarjottiin parempia vastauksia tähän käyttötapaukseen, LLM-ratkaisun etsiminen perinteisten NLP-menetelmien sijaan säästi valtavasti aikaa ja vaivaa sopivan mallin koulutuksessa ja ylläpidossa. Seuraavassa taulukossa verrataan perinteisen NLP-mallin koulutusta LLM:n kontekstikoulutukseen.
| . | Tietovaatimus | Koulutusprosessi | Mallin mukautuvuus |
| Perinteisen NLP-mallin koulutus | Tuhansia ihmisen leimaamia esimerkkejä |
Automatisoidun ja manuaalisen ominaisuussuunnittelun yhdistelmä. Iteratiivinen harjoittele ja arvioi sykliä. |
Hitaampi läpimeno mallin uudelleenkoulutustarpeen vuoksi |
| LLM:n kontekstikoulutus | Useita esimerkkejä |
Koulutettu lennossa kehotteen sisällä. Konteksti-ikkunan koon rajoittama. |
Nopeammat iteraatiot muokkaamalla kehotetta. Rajoitettu säilytys kontekstiikkunan koosta johtuen. |
Yhteenveto
Alidan Anthropicin Claude Instant -mallin käyttö Amazon Bedrockissa osoittaa LLM:ien tehokkaan kyvyn analysoida avoimen kyselyn vastauksia. Alida pystyi rakentamaan ylivertaisen palvelun, joka oli 4-6 kertaa tarkempi aiheanalyysissä verrattuna heidän NLP-pohjaiseen palveluinsa. Lisäksi LLM:ien kontekstin mukaisen nopean suunnittelun käyttö lyhensi merkittävästi kehitysaikaa, koska niiden ei tarvinnut kuratoida tuhansia ihmisen merkitsemiä tietopisteitä perinteisen NLP-mallin kouluttamiseksi. Tämä antaa Alidalle mahdollisuuden tarjota asiakkailleen monipuolisempia näkemyksiä nopeammin!
Jos olet valmis aloittamaan oman perustusmalli-innovaatiosi rakentamisen Amazon Bedrockin avulla, tutustu tästä linkistä Määritä Amazon Bedrock. Jos olet kiinnostunut lukemaan muista kiehtovista Amazon Bedrock -sovelluksista, katso Amazon Bedrockin osio AWS Machine Learning -blogista.
Tietoja kirjoittajista
Kinman Lam on ISV/DNB-ratkaisuarkkitehti AWS:lle. Hänellä on 17 vuoden kokemus teknologiayritysten rakentamisesta ja kasvattamisesta älypuhelimissa, geolokaatiossa, IoT:ssä ja avoimen lähdekoodin ohjelmistoissa. AWS:ssä hän käyttää kokemustaan auttaakseen yrityksiä rakentamaan vankan infrastruktuurin, joka vastaa kasvavien yritysten kasvaviin vaatimuksiin, lanseeraa uusia tuotteita ja palveluita, astuu uusille markkinoille ja ilahduttaa asiakkaitaan.
Sherwin Chu on Alidan pääarkkitehti, joka auttaa tuoteryhmiä arkkitehtonisessa suunnassa, teknologian valinnassa ja monimutkaisissa ongelmanratkaisuissa. Hän on kokenut ohjelmistosuunnittelija, arkkitehti ja johtaja, jolla on yli 20 vuotta SaaS-tilaa eri toimialoilla. Hän on rakentanut ja hallinnut lukuisia B2B- ja B2C-järjestelmiä AWS:ssä ja GCP:ssä.
Mark Roy on AWS:n koneoppimisarkkitehti, joka auttaa asiakkaita suunnittelemaan ja rakentamaan AI/ML- ja generatiivisia tekoälyratkaisuja. Hänen painopisteensä vuoden 2023 alusta lähtien on ollut johtanut ratkaisuarkkitehtuurityötä Amazon Bedrockin, AWS:n lippulaivan luovan AI-tarjouksen rakentajille, lanseeraamiseksi. Markin työ kattaa laajan valikoiman käyttötapauksia, ja hänen ensisijaisena kiinnostuksena ovat luova tekoäly, agentit ja skaalaus ML koko yrityksessä. Hän on auttanut yrityksiä vakuutus-, rahoitus-, media- ja viihde-, terveydenhuollon, yleishyödyllisten palvelujen ja valmistuksen aloilla. Ennen AWS:lle tuloaan Mark oli arkkitehti, kehittäjä ja teknologiajohtaja yli 25 vuoden ajan, joista 19 vuotta rahoituspalveluissa. Markilla on kuusi AWS-sertifikaattia, mukaan lukien ML Specialty Certification.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/alida-gains-deeper-understanding-of-customer-feedback-with-amazon-bedrock/
