Generatiivne tehisintellekt (AI) on saanud märkimisväärse hoo sisse, kuna organisatsioonid uurivad aktiivselt selle potentsiaalseid rakendusi. Kuna kontseptsioonide tõestamine läheb edukalt tootmisse, vajavad organisatsioonid üha enam ettevõtte skaleeritavaid lahendusi. Nende tehisintellektil põhinevate lahenduste pikaajalise edu ja elujõulisuse avamiseks on aga ülioluline viia need kooskõlla väljakujunenud arhitektuuripõhimõtetega.

AWS-i hästiarhitekteeritud raamistik pakub parimaid tavasid ja juhiseid usaldusväärsete, turvaliste, tõhusate ja kulutõhusate süsteemide kujundamiseks ja kasutamiseks pilves. Generatiivsete AI-rakenduste joondamine selle raamistikuga on oluline mitmel põhjusel, sealhulgas mastaapsuse tagamiseks, turvalisuse ja privaatsuse säilitamiseks, töökindluse saavutamiseks, kulude optimeerimiseks ja toimingute sujuvamaks muutmiseks. Nende põhimõtete omaksvõtmine on kriitilise tähtsusega organisatsioonidele, kes soovivad kasutada generatiivse tehisintellekti jõudu ja edendada innovatsiooni.

See postitus uurib uusi ettevõttetaseme funktsioone Amazon Bedrocki teadmistebaasid ja kuidas need ühtivad AWS-i hästi arhitekteeritud raamistikuga. Amazon Bedrocki teadmistebaasidega saate kiiresti luua rakendusi, kasutades taasesitatud genereerimist (RAG) selliste kasutusjuhtude jaoks nagu küsimustele vastamine, kontekstuaalsed vestlusrobotid ja isikupärastatud otsing.

Siin on mõned funktsioonid, mida me käsitleme:

1. AWS CloudFormationi tugi
2. Amazon OpenSearch Serverlessi privaatvõrgueeskirjad
3. Mitu S3 ämbrit andmeallikatena
4. Teenuskvootide tugi
5. Hübriidotsing, metaandmete filtrid, kohandatud viibad RetreiveAndGenerate API ja maksimaalne väljavõtete arv.

AWS Hästi läbimõeldud disainipõhimõtted

Amazon Bedrocki teadmistebaaside abil loodud RAG-põhised rakendused saavad palju kasu, kui järgite AWS hästi üles ehitatud raamistik. Sellel raamistikul on kuus sammast, mis aitavad organisatsioonidel tagada, et nende rakendused on turvalised, suure jõudlusega, vastupidavad, tõhusad, kulutõhusad ja jätkusuutlikud.

• Operatiivne tipptase – Hästi läbimõeldud põhimõtted lihtsustavad toiminguid, automatiseerivad protsesse ning võimaldavad pidevat jälgida ja täiustada AI-rakenduste generatiivset jõudlust.
• TURVALISUS – Tugevate juurdepääsukontrollide, krüptimise ja jälgimise rakendamine aitab kaitsta teie organisatsiooni teadmistebaasis kasutatavaid tundlikke andmeid ja vältida generatiivse AI väärkasutust.
• Usaldusväärsus – Hästi läbimõeldud põhimõtted juhivad vastupidavate ja tõrketaluvate süsteemide kavandamist, pakkudes kasutajatele ühtlast väärtust.
• Jõudluse optimeerimine – Sobivate ressursside valimine, vahemällu salvestamise strateegiate rakendamine ja jõudlusmõõdikute ennetav jälgimine tagavad, et rakendused annavad kiireid ja täpseid vastuseid, mis tagab optimaalse jõudluse ja parema kasutajakogemuse.
• Kulude optimeerimine – Hästi läbimõeldud juhised aitavad optimeerida ressursside kasutamist, kasutada säästuteenuseid ja jälgida kulusid, mille tulemuseks on generatiivsete AI-projektide pikaajaline elujõulisus.
• Jätkusuutlikkus – Hästi läbimõeldud põhimõtted soodustavad ressursside tõhusat kasutamist ja süsiniku jalajälgede minimeerimist, käsitledes kasvava tehisintellekti kasutamise keskkonnamõju.

Ühildudes hästi arhitektuurse raamistikuga, saavad organisatsioonid tõhusalt luua ja hallata ettevõtte tasemel RAG-rakendusi, kasutades Amazon Bedrocki teadmistebaase. Sukeldume nüüd sügavale Amazon Bedrocki teadmistebaasides käivitatud uutesse funktsioonidesse.

AWS CloudFormationi tugi

RAG-rakendusi loovate organisatsioonide jaoks on oluline pakkuda tõhusat ja tulemuslikku toimimist ning ühtlast infrastruktuuri erinevates keskkondades. Seda saab saavutada selliste tavade rakendamisega nagu juurutusprotsesside automatiseerimine. Selle saavutamiseks pakuvad Amazon Bedrocki teadmistebaasid nüüd tuge AWS CloudFormation.

AWS CloudFormationi ja AWS pilvearenduskomplekt (AWS CDK), saate nüüd luua, värskendada ja kustutada teadmistebaase ja seotud andmeallikaid. AWS CloudFormationi ja AWS CDK kasutuselevõtt teadmusbaaside ja nendega seotud andmeallikate haldamiseks mitte ainult ei lihtsusta juurutamisprotsessi, vaid soodustab ka hästi üles ehitatud põhimõtete järgimist. Tehes toiminguid (rakendused, infrastruktuur) koodina, saate pakkuda järjepidevat ja usaldusväärset juurutust mitmel AWS-i kontol ja AWS-i piirkonnal ning säilitada versioonistatud ja auditeeritavaid infrastruktuuri konfiguratsioone.

Järgmine on näidis CloudFormationi skript JSON-vormingus Amazon Bedrocki teadmistebaasi loomiseks ja värskendamiseks:

{
    "Type" : "AWS::Bedrock::KnowledgeBase", 
    "Properties" : {
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "KnowledgeBaseConfiguration": {
  		"Type" : String,
  		"VectorKnowledgeBaseConfiguration" : VectorKnowledgeBaseConfiguration
},
        "StorageConfiguration": StorageConfiguration,            
    } 
}

Type määrab tipptaseme mallis ressursina teadmistebaasi. Minimaalselt peate määrama järgmised omadused:

• Nimi – Määrake teadmistebaasi nimi.
• RoleArn – Määrake Amazoni ressursi nimi (ARN). AWS-i identiteedi- ja juurdepääsuhaldus (IAM) roll, millel on õigused käivitada teadmistebaasi API toiminguid. Lisateabe saamiseks vt Looge Amazon Bedrocki teadmistebaasidele teenindusroll.
• Teadmistebaasi konfiguratsioon – Määrake teadmistebaasi manustamise konfiguratsioon. Nõutavad on järgmised alamomadused:
  • KASUTUSALA – Määrake väärtus VECTOR.
  • VectorKnowledgeBaseConfiguration – Sisaldab üksikasju mudeli kohta, mida kasutatakse teadmistebaasi vektormanustuste loomiseks.
• Salvestusruumi konfiguratsioon – Määrake teave vektormälu kohta, milles andmeallikas asub ladustatud. Nõutavad on järgmised alamomadused:
  • KASUTUSALA – Määrake kasutatav vektorite salvestamise teenus.
  • Samuti peaksite valima ühe vektoripoodidest, mida toetavad teadmusbaasid, nagu OpenSearchServerless, Pinecone või Amazon PostgreSQL, ja pakkuma valitud vektorite poodi konfiguratsiooni.

Kõigi väljade üksikasju ja Amazon Bedrocki teadmistebaaside toetatud erinevate vektorpoodide konfiguratsiooni kohta vaadake AWS::Aluskivim::KnowledgeBase.

Redis Enterprise Cloudi vektorpoode ei toetata selle kirjutamise seisuga AWS CloudFormationis. Värskeima teabe saamiseks vaadake ülaltoodud dokumentatsiooni.

Pärast teadmistebaasi loomist peate looma andmebaasist andmeallika Amazoni lihtne salvestusteenus (Amazon S3) ämber, mis sisaldab teie teadmistebaasi faile. See kutsub CreateDataSource ja DeleteDataSource API-d.

Järgmine on näidis CloudFormationi skript JSON-vormingus:

{
    "Type" : "AWS::Bedrock::DataSource", 
    "Properties" : {
        "KnowledgeBaseId": String,
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "DataSourceConfiguration": {
  		"S3Configuration" : S3DataSourceConfiguration,
  		"Type" : String
},
ServerSideEncryptionConfiguration":ServerSideEncryptionConfiguration,           
"VectorIngestionConfiguration": VectorIngestionConfiguration
    } 
}

Type määrab andmeallika ressursina tipptaseme mallis. Minimaalselt peate määrama järgmised omadused:

• Nimi – Määrake andmeallika nimi.
• KnowledgeBaseId – Määrake andmeallika teadmusbaasi ID.
• DataSource Configuration – Määrake teave andmeallikat sisaldava S3 ämbri kohta. Nõutavad on järgmised alamomadused:
  • KASUTUSALA – Määrake väärtus S3.
  • S3 konfiguratsioon – Sisaldab üksikasju andmeallikat sisaldava S3 objekti konfiguratsiooni kohta.
• VectorIngestionConfiguration – Sisaldab üksikasju andmeallikas olevate dokumentide allaneelamise kohta. Peate esitama "ChunkingConfiguration”, kus saate määratleda oma tükeldamisstrateegia.
• ServerSideEncryptionConfiguration – Sisaldab serveripoolse krüptimise konfiguratsiooni, kus saate esitada ressursi krüptimiseks kasutatava AWS KMS-võtme Amazoni ressursi nime (ARN).

Lisateabe saamiseks Amazon Bedrocki andmeallikate seadistamise kohta vt Seadistage oma teadmistebaasi jaoks andmeallikas.

Märkus.: Tükeldamise konfiguratsiooni ei saa pärast andmeallika loomist muuta.

CloudFormationi mall võimaldab teil määratleda ja hallata oma teadmistebaasi ressursse, kasutades infrastruktuuri koodina (IaC). Teadmistebaasi seadistamise ja haldamise automatiseerimisega saate luua järjepideva infrastruktuuri erinevates keskkondades. See lähenemine ühtib toimimise tipptaseme sambaga, mis rõhutab toimingute sooritamist koodina. Käsitledes kogu oma töökoormust koodina, saate protsesse automatiseerida, luua sündmustele järjepidevaid vastuseid ja lõpuks vähendada inimlikke vigu.

Amazon OpenSearch Serverlessi privaatvõrgueeskirjad

RAG-rakendusi loovate ettevõtete jaoks on oluline, et andmed oleksid turvalised ja võrguliiklus ei läheks avalikku internetti. Selle toetamiseks toetab Amazon Bedrocki teadmistebaasid nüüd privaatvõrgupoliitikat Amazon OpenSearch Serverita.

Amazon Bedrocki teadmistebaasid pakuvad võimalust kasutada OpenSearch Serverlessi vektorite poena. Nüüd pääsete juurde OpenSearchi serverita kogudele, millel on privaatvõrgupoliitika, mis suurendab veelgi teie RAG-rakenduse turvalisust. Selle saavutamiseks peate looma OpenSearchi serverita kogu ja konfigureerima selle privaatvõrgule juurdepääsuks. Esiteks looge kollektsioonis vektorindeks, et manuseid salvestada. Seejärel seadke kollektsiooni loomise ajal Võrgujuurdepääsu seaded et Era- ja määrake juurdepääsuks VPC lõpp-punkt. Oluline on see, et saate nüüd pakkuda privaatvõrgu juurdepääs OpenSearch Serverlessile spetsiaalselt Amazon Bedrocki jaoks mõeldud kollektsioonid. Selleks valige AWS-teenuse privaatne juurdepääs ja täpsustada bedrock.amazonaws.com teenusena.

See privaatvõrgu konfiguratsioon tagab, et teie manuseid salvestatakse turvaliselt ja neile pääseb juurde ainult Amazon Bedrock, suurendades teie teadmistebaaside üldist turvalisust ja privaatsust. See ühtib tihedalt Turvasammas liikluse juhtimiseks kõigil kihtidel, sest kogu võrguliiklus hoitakse nende seadetega AWS-i magistraalsüsteemis.

Seni oleme uurinud teadmistebaasi ressursside loomise, kustutamise ja värskendamise automatiseerimist ning OpenSearch Serverlessi privaatvõrgupoliitikate täiustatud turvalisust, et vektormanused turvaliselt salvestada. Nüüd mõistame, kuidas luua usaldusväärsemaid, terviklikumaid ja kuluoptimaalsemaid RAG-rakendusi.

Mitu S3 ämbrit andmeallikatena

Amazon Bedrocki teadmistebaasid toetavad nüüd mitme S3 ämbri lisamist andmeallikatena ühte teadmistebaasi, sealhulgas kontodevahelist juurdepääsu. See täiendus suurendab teadmistebaasi terviklikkust ja täpsust, võimaldades kasutajatel erinevatest allikatest pärinevat teavet sujuvalt koondada ja kasutada.

Peamised funktsioonid on järgmised.

• Mitu S3 ämbrit – Amazon Bedrocki teadmistebaasid võivad nüüd hõlmata andmeid mitmest S3 ämbrist, mis võimaldab kasutajatel erinevatest allikatest pärinevat teavet hõlpsalt kombineerida ja kasutada. See funktsioon soodustab andmete mitmekesisust ja tagab, et asjakohane teave on RAG-põhiste rakenduste jaoks hõlpsasti kättesaadav.
• Kontoülene juurdepääs andmetele – Amazon Bedrocki teadmistebaasid toetavad S3 ämbrite konfigureerimist andmeallikatena erinevatel kontodel. Saate anda neile andmeallikatele juurdepääsuks vajalikud mandaadid, laiendades teabe hulka, mida saab nende teadmistebaasi lisada.
• Tõhus andmehaldus – When setting up a data source in a knowledge base, you can specify whether the data belonging to that data source should be retained or deleted if the data source is deleted. This feature ensures that your knowledge base remains up-to-date and free from obsolete or irrelevant data, maintaining the integrity and accuracy of the RAG process.

Toetades mitut S3 ämbrit andmeallikatena, kaob vajadus luua mitu teadmusbaasi või üleliigseid andmekoopiaid, optimeerides seeläbi kulusid ja edendades pilve finantshaldust. Lisaks võimaldavad kontoülese juurdepääsu võimalused arendada vastupidavaid arhitektuure, mis on kooskõlas AWS-i hästiarhitekteeritud raamistiku usaldusväärsuse sambaga, pakkudes kõrget kättesaadavust ja tõrketaluvust.

Muud teadmusbaaside hiljuti välja kuulutatud funktsioonid

Teie RAG-rakenduse töökindluse edasiseks suurendamiseks laiendab Amazon Bedrocki teadmistebaasid nüüd tuge Teenuse kvoodid. See funktsioon pakub rakendatud AWS-i kvoodi väärtuste ja kasutuse kuvamiseks ühte klaasi. Näiteks on teil nüüd kiire juurdepääs teabele, näiteks lubatud arvule `RetrieveAndGenerate API päringud sekundis.

See funktsioon võimaldab teil tõhusalt hallata ressursikvoote, vältida ülevarustamist ja piirata API päringute määra, et kaitsta teenuseid võimaliku kuritarvitamise eest.

Samuti saate oma rakenduse jõudlust parandada, kasutades hiljuti väljakuulutatud funktsioone, nagu hübriidotsing, metaandmetel põhinev filtreerimine, kohandatud viipad RetreiveAndGenerate API jaoks ja maksimaalne väljavõtete arv. Need funktsioonid parandavad ühiselt genereeritud vastuste täpsust, asjakohasust ja järjepidevust ning ühtivad AWS-i hästi arhitekteeritud raamistiku jõudluse tõhususe sambaga.

Amazon Bedrocki teadmistebaasid ühtivad hallatavate teenuste ja ressursside kasutamise optimeerimise kaudu AWS-i hästi arhitekteeritud raamistiku jätkusuutlikkuse sambaga. Täielikult hallatava teenusena eemaldab Amazon Bedrocki teadmistebaasid aluseks oleva infrastruktuuri varustamise, haldamise ja skaleerimise koormuse, vähendades seeläbi nende ressursside kasutamise ja hooldamisega seotud keskkonnamõju.

Lisaks saavad organisatsioonid oma RAG-rakendusi säästvalt kavandada ja kasutada, järgides AWS-i hästi arhitektuurse põhimõtetega. Sellised tavad nagu juurutamise automatiseerimine AWS CloudFormationi kaudu, privaatvõrgupoliitika rakendamine turvaliseks andmetele juurdepääsuks ja tõhusate teenuste, nagu OpenSearch Serverless, kasutamine aitavad kaasa nende töökoormuste keskkonnamõju minimeerimisele.

Üldiselt annavad Amazon Bedrocki teadmistebaasid koos AWS-i hästi üles ehitatud raamistikuga organisatsioonidele võimaluse luua skaleeritavaid, turvalisi ja usaldusväärseid RAG-rakendusi, seades samal ajal prioriteediks keskkonnasäästlikkuse ressursside tõhusa kasutamise ja hallatavate teenuste kasutuselevõtu kaudu.

Järeldus

Uued ettevõttetasemel funktsioonid, nagu AWS CloudFormationi tugi, privaatvõrgupoliitikad, võimalus kasutada andmeallikatena mitut S3 ämbrit ja teenusekvootide tugi, muudavad skaleeritavate, turvaliste ja usaldusväärsete RAG-rakenduste loomise teadmistebaasidega lihtsaks. Amazon Bedrocki jaoks. AWS-i hallatavate teenuste kasutamine ja hästi välja töötatud parimate tavade järgimine võimaldab organisatsioonidel keskenduda uuenduslike generatiivsete AI-lahenduste pakkumisele, pakkudes samal ajal tipptasemel toimimist, tugevat turvalisust ja tõhusat ressursside kasutamist. Kui loote rakendusi AWS-ile, loob RAG-rakenduste vastavusse viimine AWS-i hästiarhitekeeritud raamistikuga kindla aluse ettevõttetasemel lahenduste loomiseks, mis loovad äriväärtust, järgides samas tööstusharu standardeid.

Lisaressursside saamiseks vaadake järgmist.

Autoritest

Mani Khanuja on Tech Lead – Generative AI Specialists, raamatu Applied Machine Learning and High Performance Computing on AWS autor ning Women in Manufacturing Education Foundationi juhatuse liige. Ta juhib masinõppeprojekte erinevates valdkondades, nagu arvutinägemine, loomuliku keele töötlemine ja generatiivne AI. Ta esineb sise- ja väliskonverentsidel, nagu AWS re:Invent, Women in Manufacturing West, YouTube'i veebiseminarid ja GHC 23. Vabal ajal meeldib talle rannas pikki jookse teha.

Nitin Eusebius on AWS-i vanem ettevõtluslahenduste arhitekt, kellel on kogemusi tarkvaratehnika, ettevõttearhitektuuri ja AI/ML alal. Ta on sügavalt kirglik uurima generatiivse tehisintellekti võimalusi. Ta teeb koostööd klientidega, et aidata neil luua AWS-i platvormil hästi arhitektuurseid rakendusi, ning on pühendunud tehnoloogiliste väljakutsete lahendamisele ja nende pilveteekonnal abistamisele.

Pallavi Nargund on AWS-i peamine lahenduste arhitekt. Pilvetehnoloogia võimaldajana töötab ta klientidega, et mõista nende eesmärke ja väljakutseid ning anda ettekirjutusi, kuidas AWS-i pakkumiste abil oma eesmärki saavutada. Ta on kirglik naiste vastu tehnoloogia vallas ja on Amazoni organisatsiooni Women in AI/ML tuumikliige. Ta esineb sise- ja väliskonverentsidel, nagu AWS re: Invent, AWS Summits ja veebiseminarid. Väljaspool tööd naudib ta vabatahtlikku tööd, aiatööd, jalgrattasõitu ja matkamist.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/building-scalable-secure-and-reliable-rag-applications-using-knowledge-bases-for-amazon-bedrock/