Generatív AI Az alapmodellek (FM) által vezérelt alkalmazások jelentős üzleti értékkel rendelkező szervezeteket tesznek lehetővé az ügyfélélmény, a termelékenység, a folyamatoptimalizálás és az innováció terén. Azonban ezeknek az FM-eknek az elfogadása magában foglal néhány kulcsfontosságú kihívás kezelését, beleértve a minőségi kimenetet, az adatvédelmet, a biztonságot, a szervezeti adatokkal való integrációt, a költségeket és a szállításhoz szükséges készségeket.

Ebben a bejegyzésben különböző megközelítéseket vizsgálunk, amelyeket generatív AI-t használó alkalmazások készítésekor alkalmazhat. Az FM-ek gyors fejlődésével izgalmas időszak jön az erejük kiaknázására, de elengedhetetlen annak megértéséhez is, hogyan kell megfelelően használni őket az üzleti eredmények elérése érdekében. Áttekintést adunk a kulcsfontosságú generatív AI-megközelítésekről, beleértve az azonnali tervezést, a Retrieval Augmented Generation (RAG) és a modell testreszabását. E megközelítések alkalmazásakor megvitatjuk a lehetséges hallucinációkkal, a vállalati adatokkal való integrációval, a kimeneti minőséggel és a költségekkel kapcsolatos kulcsfontosságú szempontokat. A végére szilárd iránymutatásokkal és hasznos folyamatábrával fog rendelkezni a saját FM-alapú alkalmazásai fejlesztésének legjobb módszerének meghatározásához, valós példákon alapulva. Akár chatbotot, akár összefoglaló eszközt hoz létre, hatékony FM-eket alakíthat igényeinek megfelelően.

Generatív AI AWS-sel

Az FM-ek megjelenése lehetőségeket és kihívásokat is jelent az ezeket a technológiákat használni kívánó szervezetek számára. A legfontosabb kihívás a hallucinációk vagy hamis információk helyett a kiváló minőségű, koherens eredmények biztosítása, amelyek összhangban vannak az üzleti igényekkel. A szervezeteknek gondosan kell kezelniük az adatvédelmi és biztonsági kockázatokat is, amelyek a védett adatok FM-ekkel történő feldolgozásából erednek. A meglévő rendszereken és adatokon belüli FM-ek megfelelő integrálásához, testreszabásához és érvényesítéséhez szükséges készségek hiányosak. A nagy nyelvi modellek (LLM) a semmiből való felépítése vagy az előre képzett modellek testreszabása jelentős számítási erőforrásokat, szakértő adattudósokat és több hónapos mérnöki munkát igényel. A számítási költségek önmagukban könnyen elérhetik a több millió dollárt, ha több százmilliárd paraméterrel rendelkező modelleket taníthatnak hatalmas adatkészleteken, több ezer GPU-t vagy TPU-t használva. A hardveren túl az adattisztítás és -feldolgozás, a modellarchitektúra tervezése, a hiperparaméter-hangolás és a képzési folyamatok fejlesztése speciális gépi tanulási (ML) készségeket igényel. A teljes folyamat bonyolult, időigényes és a legtöbb szervezet számára megfizethetetlenül költséges a szükséges infrastruktúra és tehetségbefektetés nélkül. Azok a szervezetek, amelyek nem kezelik megfelelően ezeket a kockázatokat, negatív hatással lehetnek márkájuk hírnevére, vásárlói bizalmára, működésére és bevételeire.

Amazon alapkőzet egy teljes körűen felügyelt szolgáltatás, amely egyetlen API-n keresztül nagy teljesítményű alapozó modellek (FM-ek) választékát kínálja olyan vezető AI-cégektől, mint az AI21 Labs, az Anthropic, a Cohere, a Meta, a Mistral AI, a Stability AI és az Amazon. Az Amazon Bedrock szerver nélküli élményével gyorsan elkezdheti az FM-eket, saját adataival személyesen testreszabhatja az FM-eket, és az AWS-eszközök segítségével integrálhatja és telepítheti őket alkalmazásaiba anélkül, hogy bármilyen infrastruktúrát kellene kezelnie. Az Amazon Bedrock HIPAA jogosult, és az Amazon Bedrock a GDPR-nak megfelelően használható. Az Amazon Bedrock használatával a tartalmat nem használják fel az alapmodellek fejlesztésére, és nem osztják meg harmadik fél modellszolgáltatókkal. Az Amazon Bedrockban tárolt adatai átvitel közben és nyugalmi állapotban mindig titkosítva vannak, és opcionálisan titkosíthatja az erőforrásokat saját kulcsaival. Te tudod használni AWS PrivateLink Az Amazon Bedrock segítségével privát kapcsolatot létesíthet FM-jei és VPC-je között anélkül, hogy a forgalmat kitenné az internetnek. Val vel Tudásbázisok az Amazon Bedrock számára, kontextuális információkat adhat az FM-eknek és ügynököknek vállalata privát adatforrásaiból a RAG számára, hogy relevánsabb, pontosabb és testreszabottabb válaszokat adhasson. Az FM-eket privát módon testreszabhatja saját adataival egy vizuális felületen keresztül kód írása nélkül. Teljesen felügyelt szolgáltatásként az Amazon Bedrock egyszerű fejlesztői élményt kínál a nagy teljesítményű FM-ek széles skálájával való együttműködéshez.

Indított 2017, Amazon SageMaker egy teljesen felügyelt szolgáltatás, amely egyszerűvé teszi az ML modellek felépítését, betanítását és telepítését. Egyre több ügyfél építi saját FM-jét a SageMaker segítségével, köztük a Stabilitási AI, az AI21 Labs, a Hugging Face, a Perplexity AI, a Hippocratic AI, az LG AI Research és a Technology Innovation Institute. A gyors kezdéshez Amazon SageMaker JumpStart egy ML hubot kínál, ahol felfedezheti, betaníthatja és telepítheti a nyilvános FM-ek széles választékát, például Mistral modelleket, LightOn modelleket, RedPajama, Mosiac MPT-7B, FLAN-T5/UL2, GPT-J-6B/Neox-20B , és a Bloom/BloomZ, erre a célra kialakított SageMaker eszközökkel, például kísérletekkel és folyamatokkal.

Általános generatív AI-megközelítések

Ebben a részben a hatékony generatív AI-megoldások megvalósításának általános megközelítéseit tárgyaljuk. Feltérképezzük azokat a népszerű azonnali mérnöki technikákat, amelyek lehetővé teszik, hogy összetettebb és érdekesebb feladatokat hajtson végre az FM-ekkel. Azt is megvitatjuk, hogy az olyan technikák, mint a RAG és a modellek testreszabása, hogyan javíthatják tovább az FM-ek képességeit, és hogyan tudják leküzdeni az olyan kihívásokat, mint a korlátozott adatmennyiség és a számítási korlátok. A megfelelő technikával erőteljes és hatásos generatív AI-megoldásokat hozhat létre.

Gyors tervezés

Az azonnali tervezés az FM-ek képességeinek hatékony kihasználása érdekében gondosan megtervezett promptok gyakorlata. Ez magában foglalja a promptok használatát, amelyek rövid szövegrészek, amelyek irányítják a modellt, hogy pontosabb és relevánsabb válaszokat generáljon. Az azonnali tervezéssel javíthatja az FM-ek teljesítményét, és hatékonyabbá teheti azokat számos alkalmazáshoz. Ebben a részben olyan technikákat fedezünk fel, mint a nulla felvétel és a néhány felvételes felszólítás, amely néhány példával gyorsan hozzáigazítja az FM-eket az új feladatokhoz, és a gondolatlánc-felhívást, amely az összetett érvelést köztes lépésekre bontja. Ezek a módszerek bemutatják, hogy a gyors tervezés hogyan teheti hatékonyabbá az FM-eket az összetett feladatokban anélkül, hogy a modell átképzését igényelné.

Zero-shot felszólítás

A zero-shot prompt technika megköveteli, hogy az FM-ek választ generáljanak anélkül, hogy konkrét példákat adnának a kívánt viselkedésre, kizárólag annak előzetes betanítására támaszkodva. A következő képernyőképen egy példa látható egy nulla-shot promptra az Anthropic Claude 2.1 modellel az Amazon Bedrock konzolon.

Ebben az utasításban nem adtunk meg példákat. A modell azonban képes megérteni a feladatot, és megfelelő kimenetet generál. A zero-shot promptok a legegyszerűbb figyelmeztetési technikák, amelyekkel az FM-et az Ön használati esetének megfelelően értékeli. Bár az FM-ek figyelemreméltóak a zero-shot promptokkal, előfordulhat, hogy bonyolultabb feladatoknál nem mindig adnak pontos vagy kívánt eredményeket. Ha a zero-shot promptok nem felelnek meg, ajánlatos néhány példát megadni a promptban (kevés-shot prompts).

Kevés lövésű felszólítás

A néhány felvételes prompt technika lehetővé teszi az FM-ek számára, hogy kontextusban tanuljanak a promptokban szereplő példákból, és pontosabban hajtsák végre a feladatot. Néhány példa segítségével gyorsan hozzáigazíthatja az FM-eket az új feladatokhoz, nagy képzési készletek nélkül, és elvezetheti őket a kívánt viselkedés felé. Az alábbiakban egy példát mutatunk be néhány lépéses promptra a Cohere Command modellel az Amazon Bedrock konzolon.

Az előző példában az FM képes volt azonosítani az entitásokat a bemeneti szövegből (recenziók), és kivonni a kapcsolódó érzéseket. Néhány példa a bemeneti-kimeneti párokra nyújtva, a néhány lépéses felszólítás hatékony módja az összetett feladatok megoldásának. Az egyszerű feladatokhoz egy példát (1 lövés), míg a nehezebb feladatokhoz három (3 lövés) öt (5 lövés) példát kell megadni. Min et al. (2022) publikált eredményeket a kontextuson belüli tanulásról, amelyek javíthatják a néhány lövésű felszólító technika teljesítményét. A néhány lépéses felszólítást számos feladathoz használhatja, például hangulatelemzéshez, entitásfelismeréshez, kérdések megválaszolásához, fordításához és kódgeneráláshoz.

Gondolatláncra késztetés

Lehetőségei ellenére a néhány lépéses felszólításnak vannak korlátai, különösen összetett érvelési feladatok (például aritmetikai vagy logikai feladatok) kezelésekor. Ezekhez a feladatokhoz a problémát lépésekre kell bontani, majd meg kell oldani. Wei et al. (2022) bevezette a gondolatlánc (CoT) felszólító technikát az összetett érvelési problémák közbülső érvelési lépéseken keresztül történő megoldására. Kombinálhatja a CoT-ot néhány felvételes felszólítással, hogy javítsa az összetett feladatok eredményeit. Az alábbiakban egy példát mutatunk be egy olyan érvelési feladatra, amely néhány felvételes CoT felszólítást használ az Anthropic Claude 2 modellel az Amazon Bedrock konzolon.

Kojima et al. (2022) bevezette a zero-shot CoT ötletét az FM-ek kihasználatlan zero-shot képességeinek felhasználásával. Kutatásaik azt mutatják, hogy a zero-shot CoT ugyanazt az egyprompt sablont használva jelentősen felülmúlja a nulla felvételű FM teljesítményt a különböző benchmark érvelési feladatokban. Használhatja a nullapontos CoT felszólítást egyszerű érvelési feladatokhoz, ha hozzáadja a „Gondolkozzunk lépésről lépésre” szót az eredeti prompthoz.

Reagál

A CoT felszólítás javíthatja az FM-ek érvelési képességeit, de továbbra is a modell belső tudásától függ, és nem vesz figyelembe semmilyen külső tudásbázist vagy környezetet a további információk gyűjtéséhez, ami olyan problémákhoz vezethet, mint a hallucináció. A ReAct (reasoning and acting) megközelítés ezt a hiányosságot orvosolja azáltal, hogy kiterjeszti a CoT-t, és lehetővé teszi a dinamikus érvelést külső környezet (például Wikipédia) segítségével.

Integráció

Az FM-ek képesek felfogni a kérdéseket, és az előre betanított tudásuk segítségével válaszokat adni. Nem tudnak azonban válaszolni olyan lekérdezésekre, amelyek hozzáférést igényelnek a szervezet privát adataihoz, vagy nem képesek önállóan végrehajtani a feladatokat. A RAG és az ügynökök olyan módszerek, amelyekkel ezeket a generatív mesterségesintelligencia-alapú alkalmazásokat vállalati adatkészletekhez kapcsolják, felhatalmazva őket arra, hogy válaszokat adjanak, amelyek figyelembe veszik a szervezeti információkat, és lehetővé teszik a kéréseken alapuló műveletek futtatását.

Visszakeresés kiterjesztett generáció

A Retrieval Augmented Generation (RAG) lehetővé teszi a modell válaszainak testreszabását, amikor azt szeretné, hogy a modell új ismereteket vagy naprakész információkat vegyen figyelembe. Amikor az adatok gyakran változnak, például a készletben vagy az árakban, nem praktikus a modell finomhangolása és frissítése, miközben az a felhasználói lekérdezéseket szolgálja ki. Ahhoz, hogy az FM-et naprakész, védett információkkal láthassák el, a szervezetek a RAG-hoz fordulnak, egy olyan technikához, amely magában foglalja az adatok lekérését a vállalati adatforrásokból, és a prompt ezen adatokkal való gazdagítását, hogy relevánsabb és pontosabb válaszokat adjanak.

Számos olyan felhasználási eset létezik, ahol a RAG segíthet az FM teljesítmény javításában:

• Kérdés válasz – A RAG modellek segítenek a kérdésekre válaszoló alkalmazásoknak megtalálni és integrálni a dokumentumokból vagy tudásforrásokból származó információkat, hogy kiváló minőségű válaszokat hozzanak létre. Például egy kérdésre válaszoló alkalmazás beolvashat egy témával kapcsolatos részeket, mielőtt összefoglaló választ generálna.
• Chatbotok és beszélgetőpartnerek – A RAG lehetővé teszi a chatbotok számára, hogy nagy külső tudásforrásokból hozzáférjenek a releváns információkhoz. Így a chatbot válaszai tájékozottabbak és természetesebbek.
• Segítség írásban – A RAG releváns tartalmakat, tényeket és beszédpontokat javasolhat, hogy hatékonyabban írhasson dokumentumokat, például cikkeket, jelentéseket és e-maileket. A visszakeresett információ hasznos kontextust és ötleteket ad.
• összefoglalás – A RAG releváns forrásdokumentumokat, szövegrészeket vagy tényeket találhat, hogy az összefoglaló modell jobban megértse a témát, és ezáltal jobb összefoglalók készíthetők.
• Kreatív írás és történetmesélés – A RAG cselekményötleteket, karaktereket, beállításokat és kreatív elemeket meríthet a meglévő történetekből, hogy inspirálja az AI történetgeneráló modelleket. Ez érdekesebbé és megalapozottabbá teszi a kimenetet.
• Fordítás – A RAG példákat találhat arra, hogyan fordítanak le bizonyos kifejezéseket a nyelvek között. Ez kontextust biztosít a fordítási modellhez, javítva a kétértelmű kifejezések fordítását.
• Testreszabás – A chatbotokban és az ajánlóalkalmazásokban a RAG személyes kontextust, például korábbi beszélgetéseket, profilinformációkat és preferenciákat tud előhívni, hogy a válaszokat személyre szabottabbá és relevánsabbá tegye.

A RAG keretrendszer használatának számos előnye van:

• Csökkentett hallucinációk – A releváns információk lekérése segít a generált szöveg tényekre és valós tudásra alapozni, nem pedig hallucináló szövegre. Ez pontosabb, tényszerűbb és megbízhatóbb válaszokat tesz lehetővé.
• Lefedettség – A visszakeresés lehetővé teszi az FM számára, hogy a képzési adatain túl a témák és forgatókönyvek szélesebb körét fedje le, külső információk bevonásával. Ez segít megoldani a korlátozott lefedettséggel kapcsolatos problémákat.
• Hatékonyság – A visszakeresés lehetővé teszi a modell számára, hogy generációját a legrelevánsabb információkra összpontosítsa, ahelyett, hogy mindent a nulláról generálna. Ez javítja a hatékonyságot, és lehetővé teszi nagyobb kontextusok használatát.
• Biztonság – Az információknak a kötelező és engedélyezett adatforrásokból való lekérése javíthatja a káros és pontatlan tartalomgenerálás irányítását és ellenőrzését. Ez támogatja a biztonságosabb örökbefogadást.
• skálázhatóság – Az indexelés és a nagy korpuszokból való visszakeresés lehetővé teszi a megközelítés jobb méretezését, mint a teljes korpusz generálás során történő felhasználása. Ez lehetővé teszi az FM-ek alkalmazását az erőforrások szűkösebb környezetében.

A RAG minőségi eredményeket produkál a felhasználási esetspecifikus kontextus bővítésének köszönhetően közvetlenül a vektorizált adattárolókból. Az azonnali tervezéshez képest jelentősen jobb eredményeket produkál, és rendkívül alacsony a hallucinációk valószínűsége. RAG-alapú alkalmazásokat építhet vállalati adataira a használatával Amazon Kendra. A RAG bonyolultabb, mint az azonnali tervezés, mivel ennek a megoldásnak a megvalósításához kódolási és architektúra ismeretekkel kell rendelkeznie. Az Amazon Bedrock tudásbázisai azonban teljes körűen felügyelt RAG-élményt biztosítanak, és a legegyszerűbb módot a RAG használatának megkezdésére az Amazon Bedrockban. Az Amazon Bedrock tudásbázisai automatizálják a teljes RAG-munkafolyamatot, beleértve a feldolgozást, a visszakeresést és az azonnali kiegészítést, így nincs szükség egyéni kód írására az adatforrások integrálásához és a lekérdezések kezeléséhez. A munkamenet-környezet-kezelés be van építve, így az alkalmazás támogatja a többfordulós beszélgetéseket. A tudásbázis válaszai forráshivatkozással érkeznek az átláthatóság javítása és a hallucinációk minimalizálása érdekében. A generatív mesterséges intelligencia alapú asszisztens létrehozásának legegyszerűbb módja a használata Amazon Q, amely beépített RAG rendszerrel rendelkezik.

A RAG rendelkezik a legnagyobb fokú rugalmassággal az architektúra változásai során. A beágyazási modellt, a vektortárat és az FM-et egymástól függetlenül módosíthatja, minimálistól mérsékeltig befolyásolva a többi összetevőt. Ha többet szeretne megtudni a RAG-megközelítésről Amazon OpenSearch szolgáltatás és Amazon Bedrock, lásd Építsen skálázható és szerver nélküli RAG munkafolyamatokat vektormotorral az Amazon OpenSearch szerver nélküli és Amazon Bedrock Claude modellekhez. Ha többet szeretne megtudni arról, hogyan valósítsa meg a RAG-t az Amazon Kendra segítségével, tekintse meg a A vállalati adatok erejének kihasználása generatív mesterséges intelligencia segítségével: Az Amazon Kendra, a LangChain és a nagy nyelvi modellek betekintése.

Ügynökök

Az FM-ek előre betanított tudásuk alapján megértik és válaszolhatnak a kérdésekre. Azonban nem képesek önállóan végrehajtani egyetlen valós feladatot sem, például repülőjegy lefoglalását vagy vásárlási rendelés feldolgozását. Ennek az az oka, hogy az ilyen feladatokhoz szervezet-specifikus adatok és munkafolyamatok szükségesek, amelyek általában egyedi programozást igényelnek. Keretrendszerek, mint LangChain és bizonyos FM-ek, például a Claude-modellek, funkcióhívási képességet biztosítanak az API-kkal és eszközökkel való interakcióhoz. Azonban, Az Amazon Bedrock ügynökei, az AWS új és teljes körűen felügyelt mesterségesintelligencia-képessége, amelynek célja, hogy a fejlesztők számára egyszerűbbé tegye a következő generációs FM-eket használó alkalmazások létrehozását. Néhány kattintással automatikusan lebontja a feladatokat és létrehozza a szükséges hangszerelési logikát, anélkül, hogy kézi kódolásra lenne szüksége. Az ügynökök API-kon keresztül biztonságosan csatlakozhatnak a vállalati adatbázisokhoz, feldolgozhatják és strukturálhatják az adatokat a gépi felhasználáshoz, és kiegészíthetik azokat kontextuális részletekkel, hogy pontosabb válaszokat adjanak és teljesítsék a kéréseket. Mivel kezeli az integrációt és az infrastruktúrát, az Agents for Amazon Bedrock lehetővé teszi a generatív mesterséges intelligencia teljes körű kihasználását az üzleti felhasználásra. A fejlesztők most már az alapvető alkalmazásaikra összpontosíthatnak a rutinszerű vízvezeték-szerelés helyett. Az automatizált adatfeldolgozás és API-hívás emellett lehetővé teszi az FM számára, hogy frissített, személyre szabott válaszokat adjon és tényleges feladatokat hajtson végre saját tudás felhasználásával.

Modell testreszabása

Az alapmodellek rendkívül hatékonyak, és nagyszerű alkalmazásokat tesznek lehetővé, de vállalkozása lendületét a generatív mesterséges intelligencia segíti, amely tudja, mi a fontos ügyfelei, termékei és vállalata számára. És ez csak akkor lehetséges, ha a modelleket feltölti adataival. Az adatok jelentik a kulcsot az általános alkalmazásokról a testreszabott generatív AI-alkalmazásokra való áttéréshez, amelyek valódi értéket teremtenek ügyfelei és vállalkozása számára.

Ebben a részben az FM-ek testreszabásának különböző technikáit és előnyeit tárgyaljuk. Bemutatjuk, hogy a modell testreszabása hogyan jár továbbképzéssel és a modell súlyának megváltoztatásával a teljesítmény fokozása érdekében.

Finomhangolás

A finomhangolás egy előre betanított FM, például a Llama 2 felvételének folyamata, és egy, az adott feladatra jellemző adatkészlettel továbbtanítható egy downstream feladatra. Az előre betanított modell általános nyelvi ismereteket biztosít, a finomhangolás pedig lehetővé teszi, hogy specializálódjon és javítsa a teljesítményt egy adott feladatra, például a szövegosztályozásra, a kérdések megválaszolására vagy a szöveggenerálásra. A finomhangolással címkézett adatkészleteket biztosít – amelyek további kontextussal vannak ellátva –, hogy megtanítsák a modellt meghatározott feladatokra. Ezután a modellparamétereket hozzáigazíthatja az adott feladathoz az üzleti környezet alapján.

A finomhangolást FM-eken hajthatja végre Amazon SageMaker JumpStart és az Amazon Bedrock. További részletekért lásd: Telepítse és finomítsa az alapmodelleket az Amazon SageMaker JumpStartban kétsoros kóddal és a Testreszabhatja az Amazon Bedrock modelljeit saját adataival a finomhangolás és a folyamatos előképzés segítségével.

Az előképzés folytatása

Az Amazon Bedrock folyamatos előképzése lehetővé teszi, hogy egy korábban betanított modellt az eredeti adatokhoz hasonló további adatokra tanítson. Lehetővé teszi a modell számára, hogy általánosabb nyelvi ismereteket szerezzen ahelyett, hogy egyetlen alkalmazásra összpontosítson. Folyamatos előképzéssel a címkézetlen adatkészletek vagy nyers adatok segítségével javíthatja domainje alapmodelljének pontosságát a modellparaméterek módosításával. Például egy egészségügyi vállalat folytathatja modelljének előzetes képzését orvosi folyóiratok, cikkek és kutatási cikkek segítségével, hogy jobban megismerje az iparági terminológiát. További részletekért lásd: Amazon Bedrock fejlesztői tapasztalat.

A modell testreszabásának előnyei

A modell testreszabásának számos előnye van, és a következőkben segíthet a szervezeteknek:

• Domain-specifikus adaptáció – Használhat általános célú FM-et, majd továbbtaníthatja egy adott tartományból származó adatokra (például orvosbiológiai, jogi vagy pénzügyi). Ez a modellt az adott tartomány szókincséhez, stílusához stb. igazítja.
• Feladat-specifikus finomhangolás – Foghat egy előre betanított FM-et, és egy adott feladathoz (például hangulatelemzés vagy kérdésmegválaszolás) az adatokra finomhangolhatja. Ez az adott feladatra specializálja a modellt.
• Testreszabás – Testreszabhatja az FM-et az egyén adataira (e-mailek, szövegek, általuk írt dokumentumok), hogy a modellt az egyedi stílusához igazítsa. Ez személyre szabottabb alkalmazásokat tesz lehetővé.
• Alacsony erőforrás-igényű nyelvhangolás – A többnyelvű FM-nek csak a legfelső rétegeit taníthatja át egy alacsony erőforrás-igényű nyelven, hogy jobban hozzáigazítsa az adott nyelvhez.
• Hibák javítása – Ha bizonyos nem szándékos viselkedéseket fedeznek fel egy modellben, a megfelelő adatok testreszabása segíthet a modell frissítésében, hogy csökkentse ezeket a hibákat.

A modell testreszabása segít leküzdeni a következő FM-használati kihívásokat:

• Alkalmazkodás új tartományokhoz és feladatokhoz – Az általános szövegkorpusokra előképzett FM-eket gyakran a feladatspecifikus adatokra kell finomítani, hogy jól működjenek a későbbi alkalmazásokban. A finomhangolás a modellt olyan új tartományokhoz vagy feladatokhoz igazítja, amelyekre eredetileg nem képezték ki.
• Az elfogultság leküzdése – Az FM-ek torzítást mutathatnak az eredeti edzési adatokhoz képest. A modell testreszabása új adatokon csökkentheti a nem kívánt torzításokat a modell kimeneteiben.
• A számítási hatékonyság javítása – Az előre betanított FM-ek gyakran nagyon nagyok és számításigényesek. A modell testreszabása lehetővé teszi a modell méretének csökkentését a nem fontos paraméterek levágásával, ami megvalósíthatóbbá teszi a telepítést.
• Korlátozott céladatok kezelése – Egyes esetekben korlátozott valós adatok állnak rendelkezésre a célfeladathoz. A modell testreszabása a nagyobb adatkészleteken megtanult előre betanított súlyokat használja az adathiány leküzdésére.
• Feladatteljesítmény javítása – A finomhangolás szinte mindig javítja a célfeladatok teljesítését az eredeti, előre betanított súlyok használatához képest. A modellnek a tervezett felhasználásra való optimalizálása lehetővé teszi az FM-ek sikeres telepítését valós alkalmazásokban.

A modell testreszabása bonyolultabb, mint az azonnali tervezés és a RAG, mivel a modell súlyát és paramétereit hangolási szkriptek módosítják, ami adattudományi és ML szakértelmet igényel. Az Amazon Bedrock azonban leegyszerűsíti ezt azáltal, hogy felügyelt élményt biztosít a modellek testreszabásához finomhangolás or folytatta az előképzést. A modell testreszabása rendkívül pontos eredményeket biztosít, összehasonlítható minőségű kimenettel, mint a RAG. Mivel a modell súlyozását frissíti a tartományspecifikus adatokon, a modell több kontextusfüggő választ ad. A RAG-hoz képest a minőség kissé jobb lehet a felhasználási esettől függően. Ezért fontos kompromisszumos elemzést végezni a két technika között. A RAG-t testreszabott modellel is megvalósíthatja.

Újraképzés vagy képzés a semmiből

Az előre kiképzett nyilvános modellek használata helyett saját AI-modell felépítése nagyobb vezérlést, jobb teljesítményt és a szervezet konkrét használati eseteihez és adataihoz való testreszabást tesz lehetővé. A személyre szabott FM létrehozásába való befektetés jobb alkalmazkodóképességet, frissítéseket és a képességek ellenőrzését biztosíthatja. Az elosztott képzés lehetővé teszi a méretezhetőséget, amely a nagyon nagy FM-ek betanításához szükséges hatalmas adatkészleteken számos gépen. Ez a párhuzamosítás több százmilliárd paraméterrel, több billió tokenre betanított modelleket tesz lehetővé. A nagyobb modelleknél nagyobb a tanulási és általánosítási képesség.

A nulláról való edzés kiváló minőségű eredményeket hozhat, mivel a modell az esetspecifikus adatok használatára oktat a semmiből, a hallucinációk valószínűsége ritka, és a kimenet pontossága a legmagasabbak közé tartozik. Ha azonban az adatkészlete folyamatosan fejlődik, akkor is hallucinációs problémákba ütközhet. A nulláról való képzés a legmagasabb végrehajtási összetettséggel és költséggel jár. Ez igényli a legtöbb erőfeszítést, mert hatalmas mennyiségű adat összegyűjtését, gondozását és feldolgozását, valamint egy meglehetősen nagy FM betanítását igényli, amihez mély adattudományi és ML-szakértelem szükséges. Ez a megközelítés időigényes (általában hetekig vagy hónapokig tarthat).

Érdemes megfontolni egy FM-tanítást a semmiből, ha a többi megközelítés egyike sem működik az Ön számára, és megvan a képessége, hogy FM-et készítsen nagy mennyiségű, jól gondozott tokenizált adattal, kifinomult költségvetéssel és magasan képzett ML-szakértőkből álló csapattal. . Az AWS biztosítja a legfejlettebb felhő infrastruktúrát az LLM-ek és más FM-ek betanításához és futtatásához, amelyeket GPU-k és a célra épített ML-oktatóchip hajt. AWS Trainium, és ML következtetési gyorsító, AWS Inferentia. Az LLM-ek SageMakeren való képzésével kapcsolatos további részletekért lásd: Nagy nyelvi modellek betanítása az Amazon SageMakeren: legjobb gyakorlatok és a SageMaker HyperPod.

A megfelelő megközelítés kiválasztása a generatív AI-alkalmazások fejlesztéséhez

Generatív AI-alkalmazások fejlesztése során a szervezeteknek több kulcsfontosságú tényezőt is alaposan figyelembe kell venniük, mielőtt kiválasztják az igényeiknek leginkább megfelelő modellt. Számos szempontot figyelembe kell venni, mint például a költség (annak érdekében, hogy a kiválasztott modell összhangban legyen a költségvetési korlátokkal), a minőség (koherens és tényszerűen pontos kimenet biztosítása), a jelenlegi vállalati platformokkal és munkafolyamatokkal való zökkenőmentes integráció, valamint a hallucinációk vagy hamis információk generálása. . A számos rendelkezésre álló lehetőségnek köszönhetően ezeknek a szempontoknak az alapos kiértékelésére szánt idő segít a szervezeteknek kiválasztani azt a generatív AI-modellt, amely a legjobban megfelel konkrét követelményeiknek és prioritásaiknak. Alaposan meg kell vizsgálnia a következő tényezőket:

• Integráció vállalati rendszerekkel – Ahhoz, hogy az FM-ek valóban hasznosak legyenek a vállalati környezetben, integrálniuk kell a meglévő üzleti rendszereket és munkafolyamatokat, és együtt kell működniük velük. Ez magában foglalhatja az adatbázisokból, a vállalati erőforrás-tervezésből (ERP) és az ügyfélkapcsolat-kezelésből (CRM) származó adatok elérését, valamint a műveletek és munkafolyamatok indítását. Megfelelő integráció nélkül fennáll annak a veszélye, hogy az FM elszigetelt eszköz lesz. A vállalati rendszerek, például az ERP kulcsfontosságú üzleti adatokat (vevők, termékek, rendelések) tartalmaznak. Az FM-nek csatlakoznia kell ezekhez a rendszerekhez, hogy vállalati adatokat használjon ahelyett, hogy saját tudásgráfját dolgozza ki, amely pontatlan vagy elavult lehet. Ez biztosítja a pontosságot és az igazság egyetlen forrását.
• Hallucinációk – A hallucinációk az, amikor egy mesterséges intelligencia alkalmazás hamis, tényszerűnek tűnő információt generál. Ezekkel gondosan foglalkozni kell, mielőtt az FM-eket széles körben elterjednék. Például egy orvosi chatbot, amelyet arra terveztek, hogy diagnózist javasoljon, hallucinálhat részleteket a páciens tüneteiről vagy kórtörténetéről, ami pontatlan diagnózist javasolhat. Az ehhez hasonló káros hallucinációk műszaki megoldásokkal és adatkészlet-kezeléssel történő megelőzése kulcsfontosságú lesz ahhoz, hogy ezek az FM-ek megbízhatóak legyenek az olyan érzékeny alkalmazásokban, mint az egészségügyi, pénzügyi és jogi alkalmazások. Az FM betanítási adataival és a fennmaradó hibáival kapcsolatos alapos tesztelésnek és átláthatóságnak kell kísérnie a telepítést.
• Készségek és erőforrások – Az FM-ek sikeres elterjedése nagymértékben függ attól, hogy rendelkezünk-e megfelelő készségekkel és erőforrásokkal a technológia hatékony használatához. A szervezeteknek erős műszaki ismeretekkel rendelkező alkalmazottakra van szükségük az FM-ek megfelelő megvalósításához, testreszabásához és karbantartásához sajátos igényeiknek megfelelően. Az összetett FM-ek futtatásához bőséges számítási erőforrásokra is szükségük van, például fejlett hardverre és felhőalapú számítástechnikai képességekre. Például egy olyan marketingcsapatnak, amely FM-et szeretne használni reklámszöveg és közösségi médiás bejegyzések generálásához, képzett mérnökökre van szüksége a rendszer integrálásához, kreatívokra a felszólítások biztosításához és a kimeneti minőség értékeléséhez, valamint elegendő felhőalapú számítási teljesítményre a modell költséghatékony telepítéséhez. A szakértelem és a műszaki infrastruktúra fejlesztésébe való befektetés lehetővé teszi a szervezetek számára, hogy valódi üzleti értéket szerezzenek az FM-ek alkalmazásából.
• Kimenet minősége – Az FM-ek által előállított kimenet minősége kritikus fontosságú lesz az elfogadásuk és felhasználásuk meghatározásakor, különösen a fogyasztókat célzó alkalmazásokban, például a chatbotokban. Ha az FM-ek által üzemeltetett chatbotok pontatlan, értelmetlen vagy nem megfelelő válaszokat adnak, a felhasználók gyorsan frusztrálttá válnak, és felhagynak velük. Ezért a chatbotokat telepíteni kívánó vállalatoknak szigorúan tesztelniük kell az őket meghajtó FM-eket, hogy megbizonyosodjanak arról, hogy folyamatosan jó minőségű válaszokat generálnak, amelyek hasznosak, relevánsak és megfelelőek a jó felhasználói élmény biztosításához. A kimenet minősége olyan tényezőket foglal magában, mint a relevancia, a pontosság, a koherencia és a megfelelőség, amelyek mind hozzájárulnak az általános felhasználói elégedettséghez, és a chatbotokhoz hasonló FM-ek elterjedését vagy megszakítását eredményezik.
• Költség – A nagy AI-modellek, például az FM-ek betanításához és futtatásához szükséges nagy számítási teljesítmény jelentős költségekkel járhat. Előfordulhat, hogy sok szervezet nem rendelkezik az ilyen hatalmas modellek használatához szükséges pénzügyi erőforrásokkal vagy felhő-infrastruktúrával. Ezenkívül az FM-ek integrálása és testreszabása speciális felhasználási esetekre növeli a tervezési költségeket. Az FM-ek használatához szükséges jelentős költségek visszatarthatják a széles körű elterjedést, különösen a kisebb cégek és a korlátozott költségvetésű startupok körében. A befektetések lehetséges megtérülésének értékelése és az FM-ek költségeinek és előnyeinek mérlegelése kritikus fontosságú a szervezetek számára, figyelembe véve alkalmazásukat és hasznosságukat. A költséghatékonyság valószínűleg döntő tényező lesz annak meghatározásában, hogy ezek a hatékony, de erőforrás-igényes modellek megvalósíthatók-e, és ha igen, hogyan.

Tervezési döntés

Amint azt ebben a bejegyzésben bemutattuk, jelenleg számos különféle mesterséges intelligencia-technika áll rendelkezésre, mint például az azonnali tervezés, a RAG és a modell testreszabása. A választási lehetőségek e széles skálája kihívást jelent a vállalatok számára, hogy meghatározzák az optimális megközelítést az adott felhasználási esethez. A megfelelő technikák kiválasztása számos tényezőtől függ, beleértve a külső adatforrásokhoz való hozzáférést, a valós idejű adatfolyamokat és a tervezett alkalmazás tartományspecifikusságát. A felhasználási eset és megfontolások alapján a legmegfelelőbb technika azonosításának elősegítése érdekében a következő folyamatábrát járjuk végig, amely ajánlásokat fogalmaz meg a konkrét igények és korlátok megfelelő módszerekkel való összehangolására.

A világos megértés érdekében nézzük át a tervezési döntési folyamatábrát néhány szemléltető példa segítségével:

• Vállalati keresés – Egy alkalmazott szabadságot szeretne kérni a szervezetétől. Ahhoz, hogy a szervezet HR-politikáihoz igazodó választ adjon, az FM-nek több kontextusra van szüksége a saját tudásán és képességein túl. Konkrétan, az FM hozzáférést igényel olyan külső adatforrásokhoz, amelyek megfelelő HR-irányelveket és szabályzatokat tartalmaznak. Tekintettel a külső tartományspecifikus adatokra való hivatkozást igénylő alkalmazotti kérelmek forgatókönyvére, a folyamatábra szerint javasolt megközelítés a RAG-val történő azonnali tervezés. A RAG segít abban, hogy a külső adatforrásokból származó releváns adatokat kontextusként az FM-hez továbbítsa.
• Vállalati keresés szervezetspecifikus kimenettel – Tegyük fel, hogy vannak mérnöki rajzai, és ki szeretné bontani belőlük az anyagjegyzéket, az ipari szabványok szerint formázva a kimenetet. Ehhez olyan technikát használhat, amely ötvözi az azonnali tervezést a RAG-val és egy finomhangolt nyelvi modellt. A finomhangolt modellt megtanítják anyagjegyzékek készítésére, ha mérnöki rajzokat adnak bemenetként. A RAG segít megtalálni a legrelevánsabb mérnöki rajzokat a szervezet adatforrásaiból, hogy az FM-hez betáplálja őket. Összességében ez a megközelítés a mérnöki rajzokból kivonja az anyagjegyzékeket, és a mérnöki területnek megfelelően strukturálja a kimenetet.
• Általános keresés – Képzelje el, hogy meg akarja találni az Egyesült Államok 30. elnökének kilétét. Használhatja az azonnali tervezést, hogy megkapja a választ egy FM-től. Mivel ezek a modellek sok adatforráson alapulnak, gyakran pontos válaszokat tudnak adni az ehhez hasonló tényszerű kérdésekre.
• Általános keresés a legutóbbi eseményekkel – Ha meg szeretné határozni az Amazon aktuális részvényárfolyamát, használhatja az azonnali tervezés megközelítését egy ügynökkel. Az ügynök megadja az FM-nek a legfrissebb részvényárfolyamot, hogy a tényszerű választ generálja.

Következtetés

A generatív mesterséges intelligencia óriási lehetőségeket kínál a szervezetek számára az innováció ösztönzésére és a termelékenység növelésére számos alkalmazásban. Azonban ezeknek a feltörekvő mesterségesintelligencia-technológiáknak a sikeres átvételéhez figyelembe kell venni az integráció, a kimeneti minőség, a készségek, a költségek és a lehetséges kockázatok, például a káros hallucinációk vagy biztonsági rések körüli kulcsfontosságú szempontokat. A szervezeteknek szisztematikus megközelítést kell alkalmazniuk a használati eset követelményeinek és korlátainak értékeléséhez, hogy meghatározzák a legmegfelelőbb technikákat az FM-ek adaptálására és alkalmazására. Amint ebben a bejegyzésben kiemeltük, az azonnali tervezésnek, az RAG-nak és a hatékony modell-testreszabási módszereknek megvannak a maga erősségei és gyengeségei, amelyek megfelelnek a különböző forgatókönyveknek. Az üzleti igények és a mesterséges intelligencia-képességek strukturált keretrendszer segítségével történő leképezésével a szervezetek leküzdhetik a megvalósítás előtti akadályokat, és elkezdhetik az FM-ek előnyeit realizálni, miközben védőkorlátokat építhetnek a kockázatok kezelésére. A valós példákon alapuló átgondolt tervezésnek köszönhetően a vállalkozások minden iparágban óriási értéket tudnak felszabadítani a generatív AI új hullámából. Tanulni valamiről generatív AI az AWS-en.

---

A szerzőkről

Jay Rao az AWS vezető megoldási építésze. Az AI/ML technológiákra összpontosít, és élénken érdeklődik a Generatív AI és a Computer Vision iránt. Az AWS-nél élvezi, hogy technikai és stratégiai útmutatást nyújt ügyfeleinek, és segít nekik olyan megoldások tervezésében és megvalósításában, amelyek elősegítik az üzleti eredményeket. Könyvszerző (Computer Vision az AWS-en), rendszeresen publikál blogokat és kódmintákat, és előadásokat tartott olyan technológiai konferenciákon, mint az AWS re:Invent.

Babu Kariyaden Parambath az AWS vezető AI/ML specialistája. Az AWS-nél szívesen dolgozik az ügyfelekkel, hogy segítsen nekik azonosítani a megfelelő üzleti felhasználási esetet az üzleti értékkel, és megoldani az AWS AI/ML megoldások és szolgáltatások segítségével. Mielőtt csatlakozott volna az AWS-hez, Babu mesterséges intelligencia evangélista volt, 20 éves, változatos iparági tapasztalattal, amely mesterséges intelligencia által vezérelt üzleti értéket biztosított az ügyfelek számára.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/best-practices-to-build-generative-ai-applications-on-aws/