RLHF (Inforcement Learning from Human Feedback) on tunnustettu alan standarditekniikaksi, jolla varmistetaan, että suuret kielimallit (LLM) tuottavat totuudenmukaista, vaaratonta ja hyödyllistä sisältöä. Tekniikka toimii opettamalla "palkitsemismallia", joka perustuu ihmisten palautteeseen, ja käyttää tätä mallia palkitsemistoimintona agentin politiikan optimoimiseksi vahvistusoppimisen (RL) avulla. RLHF on osoittautunut välttämättömäksi tuottaa LLM:itä, kuten OpenAI:n ChatGPT ja Anthropic's Claude, jotka ovat linjassa ihmisten tavoitteiden kanssa. Takana ovat ajat, jolloin tarvitset luonnotonta nopeaa suunnittelua saadaksesi perusmallit, kuten GPT-3, ratkaisemaan tehtäväsi.

RLHF:n tärkeä varoitus on, että se on monimutkainen ja usein epävakaa toimenpide. Menetelmänä RLHF edellyttää, että sinun on ensin koulutettava palkitsemismalli, joka heijastaa ihmisen mieltymyksiä. Sitten LLM on hienosäädettävä maksimoimaan palkkiomallin arvioitu palkkio ajautumatta liian kauas alkuperäisestä mallista. Tässä viestissä näytämme kuinka hienosäätää perusmalli RLHF:llä Amazon SageMakerissa. Näytämme myös, kuinka voit suorittaa ihmisen arvioinnin tuloksena olevan mallin parannuksien kvantifioimiseksi.

Edellytykset

Ennen kuin aloitat, varmista, että ymmärrät, kuinka käyttää seuraavia resursseja:

Ratkaisun yleiskatsaus

Monet generatiiviset tekoälysovellukset käynnistetään perus-LLM:illä, kuten GPT-3, jotka on koulutettu valtaviin määriin tekstidataa ja jotka ovat yleisesti saatavilla. Perus-LLM:t ovat oletusarvoisesti taipuvaisia ​​luomaan tekstiä tavalla, joka on arvaamaton ja joskus haitallinen, koska ei osata noudattaa ohjeita. Esim. "kirjoita vanhemmilleni sähköposti, joka toivottaa heille hyvää vuosipäivää", perusmalli saattaa tuottaa vastauksen, joka muistuttaa kehotteen automaattista täydennystä (esim "ja vielä monta vuotta rakkautta yhdessä") sen sijaan, että noudattaisit kehotetta nimenomaisena ohjeena (esim. kirjallinen sähköposti). Tämä johtuu siitä, että malli on koulutettu ennustamaan seuraava merkki. Perusmallin ohjeenseurantakyvyn parantamiseksi ihmistietojen annotaattoreilla on tehtävänä luoda vastauksia erilaisiin kehotteisiin. Kerättyjä vastauksia (kutsutaan usein esittelytietoiksi) käytetään prosessissa, jota kutsutaan valvotuksi hienosäädöksi (SFT). RLHF edelleen jalostaa ja sovittaa mallin käyttäytymisen ihmisten mieltymyksiin. Tässä blogikirjoituksessa pyydämme tekijöitä luokittelemaan mallin tulokset tiettyjen parametrien, kuten hyödyllisyyden, totuudenmukaisuuden ja vaarattomuuden, perusteella. Saatua preferenssidataa käytetään palkitsemismallin kouluttamiseen, jota puolestaan ​​käyttää vahvistusoppimisalgoritmi nimeltä Proximal Policy Optimization (PPO) valvotun hienosäädetyn mallin kouluttamiseen. Palkitsemismalleja ja vahvistusoppimista sovelletaan iteratiivisesti in-the-loop-palautteen avulla.

Seuraava kaavio kuvaa tätä arkkitehtuuria.

Tässä blogikirjoituksessa havainnollistetaan, kuinka RLHF voidaan suorittaa Amazon SageMakerilla tekemällä kokeilu suositulla avoimen lähdekoodin RLHF repo Trlx. Kokeellamme demonstroimme, kuinka RLHF:ää voidaan käyttää suuren kielimallin hyödyllisyyden tai vaarattomuuden lisäämiseen käyttämällä julkisesti saatavilla olevia Hyödyllisyys ja harmittomuus (HH) -tietojoukko tarjoaa Anthropic. Suoritamme kokeilumme tämän tietojoukon avulla Amazon SageMaker Studio -muistikirja joka on käynnissä ml.p4d.24xlarge ilmentymä. Lopuksi tarjoamme a Jupyter-muistikirja toistaaksemme kokeitamme.

Lataa ja asenna esivaatimukset suorittamalla muistikirjassa seuraavat vaiheet:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Tuo esittelytiedot

Ensimmäinen askel RLHF:ssä sisältää esittelytietojen keräämisen perus-LLM:n hienosäätämistä varten. Käytämme tätä blogitekstiä varten HH-tietojoukon demonstraatiodataa, kuten yllä on raportoitu. Voimme ladata esittelytiedot suoraan Hugging Face -tietojoukosta:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Valvottu perus-LLM:n hienosäätöä

Seuraava askel on suorittaa perus-LLM:n valvottu hienosäätö. Tässä blogikirjoituksessa kutsumme valvotun hienosäädön läpikäyneen perusmallin yksinkertaisesti "SFT-malliksi". Valvottua hienosäätöä tarvitaan, jotta voidaan oppia demonstraatiodatasta, jotta LLM suorittaa hyvin keskustelutehtävämme ja oppii olemaan avulias ja vaaraton. Tässä viestissä käytämme julkisesti saatavilla olevia EleutherAI/gpt-j-6b mallia isännöi Hugging Face. Käytämme myös Trlx-kehystä, joka tarjoaa koodin tämän mallin valvottua hienosäätöä varten.

Suorita seuraavat komennot aloittaaksesi harjoittelun:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Tuo asetustiedot

Kuten edellisessä kaaviossa näkyy, kriittinen vaihe RLHF:ssä sisältää preferenssitietojen hankkimisen. Suositusdata on kokoelma esimerkkejä, jotka osoittavat, kuinka ihminen suosii yhtä konetta toiseen verrattuna hyödyllisyys- ja vaarattomuuskriteerien perusteella.

Seuraava taulukko näyttää mieltymysten käsitteen:

Harjoittele palkintomalliasi

Palkkiomallimme perustuu GPT-J-6B ja on hienosäädetty aiemmin mainitulle HH-tietojoukolle. Koska palkkiomallin koulutus ei ole tämän postauksen painopiste, käytämme Trlx-repossa määriteltyä esikoulutettua palkkiomallia, Dahoas/gptj-rm-static. Jos haluat kouluttaa oman palkitsemismallisi, katso autocrit-kirjasto GitHubissa.

RLHF koulutus

Nyt kun olemme hankkineet kaikki tarvittavat komponentit RLHF-koulutukseen (eli SFT-mallin ja palkkiomallin), voimme nyt aloittaa politiikan optimoinnin RLHF:n avulla.

Tätä varten muokkaamme polkua SFT-malliin examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Suoritamme sitten harjoituskomennot:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Skripti käynnistää SFT-mallin sen nykyisillä painoilla ja optimoi ne sitten palkkiomallin ohjauksessa, jotta tuloksena oleva RLHF-koulutettu malli vastaa ihmisen mieltymyksiä. Seuraava kaavio näyttää mallitulosten palkitsemispisteet RLHF-koulutuksen edetessä. Vahvistusharjoittelu on erittäin epävakaa, joten käyrä vaihtelee, mutta palkkion yleinen trendi on ylöspäin, mikä tarkoittaa, että mallin tuotos on yhä enemmän linjassa ihmisen mieltymyksen kanssa palkkiomallin mukaan. Kaiken kaikkiaan palkkio paranee arvosta -3.42e-1 0. iteraatiossa korkeimpaan arvoon -9.869e-3 3000. iteraatiossa.

Seuraavassa kaaviossa on esimerkkikäyrä käytettäessä RLHF:ää.

Ihmisten arviointi

Kun SFT-mallimme on hienosäädetty RLHF:n kanssa, pyrimme nyt arvioimaan hienosäätöprosessin vaikutusta, koska se liittyy laajempaan tavoitteeseenmme tuottaa hyödyllisiä ja vaarattomia vastauksia. Tämän tavoitteen tueksi vertaamme RLHF:llä hienosäädetyn mallin tuottamia vastauksia SFT-mallin tuottamiin vastauksiin. Kokeilemme 100 kehotetta, jotka on johdettu HH-tietojoukon testijoukosta. Välitämme jokaisen kehotteen ohjelmallisesti sekä SFT- että hienosäädetyn RLHF-mallin läpi saadaksemme kaksi vastausta. Lopuksi pyydämme ihmiskirjoittajia valitsemaan ensisijainen vastaus koetun hyödyllisyyden ja vaarattomuuden perusteella.

Human Evaluation -lähestymistavan määrittelee, käynnistää ja hallinnoi Amazon SageMaker Ground Truth Plus merkintäpalvelu. SageMaker Ground Truth Plus antaa asiakkaille mahdollisuuden valmistella korkealaatuisia, laajamittaisia ​​koulutustietojoukkoja perusmallien hienosäätämiseksi ihmisen kaltaisten generatiivisten tekoälytehtävien suorittamiseksi. Sen avulla ammattitaitoiset ihmiset voivat myös tarkastella mallien tuloksia ja sovittaa ne ihmisten mieltymyksiin. Lisäksi sen avulla sovellusrakentajat voivat mukauttaa malleja toimialansa tai yrityksensä tietojen perusteella samalla kun valmistellaan koulutustietojoukkoja. Kuten edellisestä blogikirjoituksesta näkyy ("Amazon SageMaker Ground Truth Plus:n korkealaatuista ihmisten palautetta generatiivisille tekoälysovelluksille”), SageMaker Ground Truth Plus tarjoaa työnkulkuja, merkintärajapintoja ja ammattitaitoisen työvoiman korkealaatuisen ihmispalautedatan luomiseksi näiden tehtävien suorittamiseksi avaimet käteen -periaatteella, täysin hallitulla palvelulla asiakkaan puolesta. Käytämme alla olevan käyttöliittymän kaltaista tehtäväliittymää helpottaaksemme kokeemme ihmisen arviointivaihetta.

Päätämme mallinarviointikokeilumme määrittämällä, kumpi kahdesta mallista – SFT tai RLHF – tuotti vastauksia, jotka olivat useammin suositeltavia. 84:ssä 100 arvioitavasta kehotuksesta ja vastauksesta havaitsemme, että RLHF:llä hienosäädetyn mallin vastaukset ovat vähintään yhtä hyviä tai edullisempia kuin SFT:llä hienosäädetyn mallin tuottamat vastaukset (RLHF-koulutettu malli on suositeltavampi 30 kertaa, tasan 54 kertaa). Kuten alla olevasta taulukosta käy ilmi, mallivastausten laadullinen vertailu tarjoaa tukevia todisteita, jotka osoittavat, kuinka RLHF-malli on yleensä hyödyllisempi ja tosiasiallisesti oikeampi kuin SFT-malli. Kokonaisuutena kokeemme viittaa siihen, että RLHF itse asiassa parantaa mallin kykyä tuottaa tulostetta, joka on paremmin linjassa kiinnostavien arvojen kanssa.

Myrkyllisyyden arviointi

Mitataksemme, kuinka RLHF vähentää toksisuutta mallisukupolvissa, vertailemme suosittuja RealToxicityPrompt-testisarja ja mittaa myrkyllisyys jatkuvalla asteikolla 0 (ei myrkyllinen) 1 (myrkyllinen). Valitsemme satunnaisesti 1,000 0.129 testitapausta RealToxicityPrompt-testisarjasta ja vertaamme SFT- ja RLHF-mallin tulosten myrkyllisyyttä. Arvioimme, että RLHF-malli saavuttaa alhaisemman toksisuuden (keskimäärin 0.134) kuin SFT-malli (keskimäärin XNUMX), mikä osoittaa RLHF-tekniikan tehokkuuden tuotannon haitallisuuden vähentämisessä.

Puhdistaa

Kun olet valmis, sinun tulee poistaa luomasi pilviresurssit välttääksesi lisäkuluja. Jos valitsit peilata tämän kokeilun SageMaker-muistikirjassa, sinun tarvitsee vain pysäyttää käyttämäsi muistikirjan ilmentymä. Lisätietoja on AWS Sagemaker -kehittäjäoppaan dokumentaatiossa "Puhdistaa".

Yhteenveto

Tässä viestissä näytimme, kuinka perusmallia GPT-J-6B koulutetaan RLHF:llä Amazon SageMakerissa. Toimitimme koodin, joka selittää, kuinka perusmallia voidaan hienosäätää ohjatulla koulutuksella, kouluttaa palkkiomallia ja RL-koulutusta ihmisen vertailutiedoilla. Osoitimme, että annotaattorit suosivat RLHF-koulutettua mallia. Nyt voit luoda tehokkaita malleja, jotka on räätälöity sovelluksellesi.

Jos tarvitset malleillesi korkealaatuisia harjoitustietoja, kuten esittelytietoja tai asetustietoja, Amazon SageMaker voi auttaa sinua poistamalla rakennustietojen merkintäsovelluksiin ja merkintätyövoiman hallintaan liittyvä erottumaton raskas nosto. Kun sinulla on tiedot, käytä joko SageMaker Studio Notebook -verkkokäyttöliittymää tai GitHub-arkistossa olevaa muistikirjaa saadaksesi RLHF-koulutetun mallisi.

Tietoja Tekijät

Weifeng Chen on soveltuva tutkija AWS:n Human-in-the-loop -tieteiden tiimissä. Hän kehittää koneavusteisia merkintäratkaisuja, jotka auttavat asiakkaita saamaan jyrkästi nopeita perustotuuden hankkimisessa, jotka kattavat Computer Visionin, Natural Language Processingin ja Generative AI -toimialueen.

Erran Li on soveltava tiedepäällikkö humain-in-the-loop -palveluissa, AWS AI, Amazon. Hänen tutkimusalueitaan ovat 3D-syväoppiminen sekä visio- ja kielenesitysoppiminen. Aiemmin hän oli vanhempi tutkija Alexa AI:ssä, koneoppimisen johtaja Scale AI:ssä ja päätutkija Pony.ai:ssa. Sitä ennen hän työskenteli Uber ATG:n havaintotiimin ja Uberin koneoppimisalustan tiimissä autonomisen ajamisen koneoppimisen, koneoppimisjärjestelmien ja tekoälyn strategisten aloitteiden parissa. Hän aloitti uransa Bell Labsissa ja oli dosentti Columbian yliopistossa. Hän opetti opetusohjelmia ICML'17:ssä ja ICCV'19:ssä ja järjesti useita työpajoja NeurIPS:ssä, ICML:ssä, CVPR:ssä ja ICCV:ssä autonomisen ajamisen koneoppimisesta, 3D-näöstä ja robotiikasta, koneoppimisjärjestelmistä ja kilpailevasta koneoppimisesta. Hän on koulutukseltaan tietojenkäsittelytieteen tohtori Cornellin yliopistossa. Hän on ACM Fellow ja IEEE Fellow.

Koushik Kalyanaraman on ohjelmistokehitysinsinööri AWS:n Human-in-the-loop -tiedetiimissä. Vapaa-ajallaan hän pelaa koripalloa ja viettää aikaa perheensä kanssa.

Xiong Zhou on AWS:n vanhempi soveltuva tutkija. Hän johtaa Amazon SageMakerin geospatiaalisten ominaisuuksien tiederyhmää. Hänen nykyiseen tutkimusalueeseensa kuuluvat tietokonenäkö ja tehokas mallikoulutus. Vapaa-ajallaan hän juoksee, pelaa koripalloa ja viettää aikaa perheensä kanssa.

Alex Williams on soveltava tutkija AWS AI:ssa, jossa hän työskentelee interaktiiviseen koneälyyn liittyvien ongelmien parissa. Ennen Amazonille tuloaan hän toimi professorina Tennesseen yliopiston sähkötekniikan ja tietojenkäsittelytieteen laitoksella. Hän on myös toiminut tutkimustehtävissä Microsoft Researchissä, Mozilla Researchissa ja Oxfordin yliopistossa. Hän on suorittanut tietojenkäsittelytieteen tohtorin tutkinnon Waterloon yliopistosta.

Ammar Chinoy on AWS:n Human-In-The-Loop-palvelujen pääjohtaja/johtaja. Vapaa-ajallaan hän työskentelee positiivisen vahvistuksen parissa kolmen koiransa kanssa: Waffle, Widget ja Walker.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/