Jotta jakaa taika DALL E 2 laajalla yleisöllä meidän piti vähentää tehokkaisiin kuvanmuodostusmalleihin liittyviä riskejä. Tätä tarkoitusta varten laitamme erilaisia kaiteet käyttöön, jotta luodut kuvat eivät loukkaisi meitä sisältöpolitiikka. Tämä postaus keskittyy koulutusta edeltävät lievennykset, näiden suojakaiteiden osajoukko, joka muokkaa suoraan tietoja, joista DALL·E 2 oppii. Erityisesti DALL·E 2 on koulutettu käyttämään satoja miljoonia kuvatekstejä Internetistä, ja poistamme ja painotamme joitakin näistä kuvista muuttaaksemme mallin oppimia tietoja.

Tämä viesti on jaettu kolmeen osaan, joista jokainen kuvaa erilaista harjoittelua edeltävää lieventämistä:

• Ensimmäisessä osiossa kuvataan, kuinka suodatimme pois väkivaltaiset ja seksuaaliset kuvat DALL·E 2:n harjoitustietojoukosta. Ilman tätä lieventämistä malli oppisi tuottamaan graafisia tai eksplisiittisiä kuvia pyydettäessä ja saattaa jopa palauttaa sellaisia ​​kuvia tahattomasti vastauksena näennäisesti vaarattomiin kehotteisiin.
• Toisessa osiossa huomaamme, että harjoitustietojen suodattaminen voi vahvistaa harhoja, ja kuvailemme tekniikkaamme tämän vaikutuksen lieventämiseksi. Esimerkiksi ilman tätä lievennystä havaitsimme, että suodatetuilla tiedoilla koulutetut mallit loivat toisinaan enemmän miehiä ja vähemmän naisia ​​kuvaavia kuvia verrattuna alkuperäisen tietojoukon mukaisiin malleihin.
• Viimeisessä osiossa siirrymme muistamiseen liittyviin kysymyksiin ja havaitsemme, että mallit, kuten DALL·E 2, voivat toisinaan toistaa kuvia, joihin ne on koulutettu, sen sijaan, että luotaisiin uusia kuvia. Käytännössä huomasimme, että tämä kuvan regurgitaatio johtuu kuvista, jotka on replikoitu useita kertoja tietojoukossa, ja lieventää ongelmaa poistamalla kuvia, jotka ovat visuaalisesti samanlaisia ​​kuin muut tietojoukon kuvat.

Graafisten ja eksplisiittisten koulutustietojen vähentäminen

Koska tietojen harjoittelu muokkaa minkä tahansa opitun mallin ominaisuuksia, tietojen suodatus on tehokas työkalu ei-toivottujen mallien ominaisuuksien rajoittamiseen. Sovelsimme tätä lähestymistapaa kahteen luokkaan – kuviin, jotka kuvaavat graafista väkivaltaa ja seksuaalista sisältöä – suodattamalla näiden luokkien kuvat pois tietojoukosta luokittimilla ennen DALL·E 2:n harjoittamista. Koulutimme nämä kuvaluokittimet talon sisällä ja jatkamme niiden tutkimista. tietojoukkosuodatuksen vaikutukset koulutettuun malliimme.

Kouluttaaksemme kuvien luokittelijoitamme käytimme uudelleen lähestymistapaa, jota olimme aiemmin käyttäneet koulutustietojen suodattamiseen LIUKUA. Tämän lähestymistavan perusvaiheet ovat seuraavat: ensin luomme määritykset kuvaluokille, jotka haluamme merkitä; toiseksi keräämme muutama sata positiivista ja negatiivista esimerkkiä jokaisesta kategoriasta; Kolmanneksi käytämme aktiivista oppimismenettelyä kerätäksemme lisää tietoa ja parantaaksemme tarkkuutta/palautusta; ja lopuksi suoritamme tuloksena olevan luokituksen koko tietojoukolle konservatiivisella luokituskynnyksellä suosiaksemme palauttamista tarkkuuden sijaan. Näiden kynnysarvojen asettamiseksi priorisoimme suodattamaan pois kaikki huono data yli lähtemisen kaikissa hyvä tiedot. Tämä johtuu siitä, että voimme aina hienosäätää malliamme lisäämällä tietoja myöhemmin opettaaksemme sille uusia asioita, mutta on paljon vaikeampaa saada malli unohtamaan jotain, mitä se on jo oppinut.

Aktiivisen oppimisvaiheen aikana paransimme luokittelijoitamme toistuvasti keräämällä ihmistunnisteita mahdollisesti vaikeista tai väärin luokitelluista kuvista. Erityisesti käytimme kahta aktiivista oppimistekniikkaa kuvien valinnassa tietojoukostamme (joka sisältää satoja miljoonia merkitsemättömiä kuvia) esitettäväksi ihmisille merkitsemistä varten. Ensinnäkin, vähentääksemme luokittelijamme vääriä positiivisia osuutta (eli taajuutta, jolla se luokittelee hyvänlaatuisen kuvan väärin väkivaltaiseksi tai seksuaaliseksi), annoimme ihmistunnisteita kuville, jotka nykyinen malli luokitellaan positiivisiksi. Jotta tämä vaihe toimisi hyvin, säädimme luokituskynnystämme lähes 100 %:n palauttamiselle, mutta korkealle väärien positiivisten tulosten määrälle. Tällä tavalla etikettitoimistomme merkitsivät enimmäkseen todella negatiivisia tapauksia. Vaikka tämä tekniikka auttaa vähentämään vääriä positiivisia tuloksia ja vähentää merkintälaitteiden tarvetta tarkastella mahdollisesti haitallisia kuvia, se ei auta löytämään uusia positiivisia tapauksia, joita mallista tällä hetkellä puuttuu.

Vähentääksemme luokittelijamme vääriä negatiivista määrää, käytimme toista aktiivista oppimistekniikkaa: lähimmän naapurin hakua. Erityisesti suoritimme moninkertaisen ristiinvalidoinnin löytääksemme positiivisia näytteitä nykyisestä merkitystä tietojoukostamme, jotka mallilla oli tapana luokitella väärin negatiivisiksi (tätä varten koulutimme kirjaimellisesti satoja luokittelijan versioita erilaisilla juna-validointijakoilla). Skannatimme sitten laajasta merkitsemättömien kuvien kokoelmastamme löytääksemme näiden näytteiden lähimmät naapurit havaintopiirreavaruudessa ja annoimme ihmistunnisteet löydetyille kuville. Laskentainfrastruktuurimme ansiosta oli triviaalia skaalata sekä luokittelijan koulutusta että lähimmän naapurin hakua moniin GPU:hin, jolloin aktiivinen oppimisvaihe tapahtui useissa minuuteissa tuntien tai päivien sijaan.

Tietosuodattimiemme tehokkuuden tarkistamiseksi koulutimme kaksi GLIDE-mallia samoilla hyperparametreilla: toisen suodattamattomalle tiedolle ja toisen tietojoukolle suodatuksen jälkeen. Kutsumme entiseen malliin nimellä suodattamaton malli, ja jälkimmäinen nimellä suodatettu malli. Kuten odotettiin, havaitsimme, että suodattamaton malli tuotti yleensä vähemmän selkeää tai graafista sisältöä vastauksena tällaista sisältöä koskeviin pyyntöihin. Löysimme kuitenkin myös tietojen suodatuksesta odottamattoman sivuvaikutuksen: se loi tai vahvisti mallin ennakkoluuloja tiettyihin väestöryhmiin.

Tietosuodattimien käyttöön ottaman harhan korjaaminen

Generatiiviset mallit yrittävät sovittaa yhteen harjoitustietojensa jakauman, mukaan lukien mahdolliset harhakuvat. Tämän seurauksena harjoitustietojen suodatus voi luoda tai vahvistaa harhoja loppuvirran malleissa. Yleensä virheiden korjaaminen alkuperäisessä tietojoukossa on vaikea sosiotekninen tehtävä, jonka tutkimista jatkamme, ja se ei kuulu tämän viestin piiriin. Ongelma, jota käsittelemme tässä, on vääristymien vahvistuminen, joka johtuu nimenomaan tietojen suodatuksesta. Lähestymistapallamme pyrimme estämään suodatetun mallin olemassaolon lisää puolueellinen kuin suodattamaton malli, mikä vähentää olennaisesti tietojen suodatuksen aiheuttamaa jakelumuutosta.

Konkreettisena esimerkkinä suodatuksen aiheuttamasta harhavahvistuksesta kannattaa harkita kehotetta "a ceo". Kun suodattamaton mallimme loi kuvia tätä kehotetta varten, se tuotti enemmän kuvia miehistä kuin naisista, ja odotamme, että suurin osa tästä harhasta heijastelee nykyisiä harjoitustietojamme. Kuitenkin, kun suoritimme saman kehotteen suodatetun mallimme läpi, harha näytti vahvistuneen; sukupolvet olivat lähes yksinomaan miesten kuvia.

Oletamme, että tämä erityinen harhan vahvistumisen tapaus tulee kahdesta paikasta: ensinnäkin, vaikka naisilla ja miehillä on suunnilleen yhtäläinen edustus alkuperäisessä tietojoukossa, tietojoukko voi olla puolueellinen esittämään naiset seksuaalisemmissa yhteyksissä; ja toiseksi, luokittelijamme voivat olla puolueellisia joko toteutuksen tai luokan määrittelyn vuoksi, vaikka yritimme varmistaa, että näin ei tapahtunut tiedonkeruu- ja validointivaiheessa. Molemmista vaikutuksista johtuen suodattimemme saattaa poistaa enemmän kuvia naisista kuin miehistä, mikä muuttaa mallin harjoittelussa havaitsemaa sukupuolten suhdetta.

Suodattimen aiheuttamaa harhaa tarkemmin tutkiaksemme halusimme tavan mitata, kuinka paljon tietosuodattimemme vaikuttivat harhaan eri käsitteitä kohtaan. Varsinkin väkivalta- ja seksuaalisisältösuodattimemme ovat puhtaasti kuvapohjaisia, mutta tietojoukkomme multimodaalinen luonne antaa meille mahdollisuuden mitata suoraan näiden suodattimien vaikutuksia tekstiin. Koska jokaisen kuvan mukana on kuvateksti, pystyimme tarkastelemaan käsin valittujen avainsanojen suhteellista tiheyttä suodatetussa ja suodattamattomassa tietojoukossa arvioidaksemme, kuinka paljon suodattimet vaikuttivat tiettyyn konseptiin.

Tämän toteuttamiseksi käytimme Apache Sparkia laskemaan muutamien avainsanojen (esim. "vanhempi", "nainen", "lapsi") taajuudet kaikissa sekä suodatetuissa että suodattamattomissa tietojoukoissamme olevissa tekstityksissä. Vaikka tietojoukkomme sisältää satoja miljoonia teksti-kuva-pareja, näiden avainsanojen taajuuksien laskeminen kesti vain muutaman minuutin laskentaklusterimme avulla.

Laskettuamme avainsanatiheydet pystyimme vahvistamaan, että tietojoukkosuodattimemme olivat todellakin vääristäneet tiettyjen avainsanojen tiheyksiä enemmän kuin toisten. Esimerkiksi suodattimet vähensivät sanan "nainen" esiintymistiheyttä 14%, kun taas sanan "mies" esiintymistiheyttä vain 6%. Tämä vahvisti suuressa mittakaavassa sen, mitä olimme jo havainneet anekdoottisesti ottamalla näytteitä molemmissa tietojoukoissa harjoitelluista GLIDE-malleista.

Nyt kun meillä oli välityspalvelin suodattimen aiheuttaman harhan mittaamiseen, tarvitsimme tavan lieventää sitä. Tämän ongelman ratkaisemiseksi pyrimme painottamaan suodatetun tietojoukon uudelleen, jotta sen jakautuminen vastaisi paremmin suodattamattomien kuvien jakautumista. Leluesimerkkinä tämän idean havainnollistamiseksi oletetaan, että tietojoukkomme koostuu 50 % kissakuvista ja 50 % koirakuvista, mutta tietosuodattimemme poistavat 75 % koirista, mutta vain 50 % kissoista. Lopullinen tietojoukko olisi ⅔ kissaa ja ⅓ koiraa, ja tällä tietojoukolla koulutettu todennäköisyyteen perustuva generatiivinen malli luo todennäköisesti enemmän kuvia kissoista kuin koirista. Voimme korjata tämän epätasapainon kertomalla jokaisen koiran kuvan koulutushäviön kahdella, jäljittelemällä jokaista koirakuvaa kahdesti. Osoittautuu, että voimme skaalata tämän lähestymistavan todellisiin tietojoukkoihimme ja malleihimme tavalla, joka on suurelta osin automaattinen – eli meidän ei tarvitse valita käsin ominaisuuksia, joita haluamme painottaa uudelleen.

Laskemme painot suodatetun tietojoukon kuville käyttämällä erikoisluokittajan todennäköisyyksiä, samalla tavalla kuin Choi et ai. (2019). Tämän luokittelijan kouluttamiseksi otamme tasaisesti otoksia molemmista tietojoukoista ja ennustamme, mistä tietojoukosta kuva on peräisin. Erityisesti tämä malli ennustaa P(suodattamaton|kuva), annettu etukäteen P (suodattamaton) = 0.5. Käytännössä emme halua tämän mallin olevan liian tehokas, tai muuten se saattaa oppia tarkan suodattimiemme toteuttaman toiminnon. Sen sijaan haluamme mallin olevan tasaisempi kuin alkuperäiset tietosuodattimemme, ja se kaappaa laajoja luokkia, joihin suodattimet vaikuttavat, mutta olemme silti epävarmoja siitä, suodatetaanko tietty kuva vai ei. Tätä tarkoitusta varten koulutimme lineaarisen koettimen pienen päälle CLIP malli.

Kun meillä on luokitin, joka ennustaa todennäköisyyden, että kuva on peräisin suodattamattomasta tietojoukosta, meidän on silti muutettava tämä ennuste kuvan painoksi. Oletetaan esimerkiksi P(suodattamaton|kuva) = 0.8. Tämä tarkoittaa, että näyte löytyy 4 kertaa todennäköisemmin suodattamattomista tiedoista kuin suodatetuista tiedoista, ja painon 4 pitäisi korjata epätasapaino. Yleisemmin voimme käyttää painoa P(suodattamaton|kuva)/P(suodatettu|kuva).

Kuinka hyvin tämä uudelleenpainotusjärjestelmä itse asiassa lieventää lisääntynyttä harhaa? Kun hienosääsimme aiempaa suodatettua malliamme uudella painotusmallilla, hienosäädetyn mallin käyttäytyminen vastasi paljon paremmin suodattamatonta mallia aiemmin löytämiemme puolueellisten esimerkkien perusteella. Vaikka tämä oli rohkaisevaa, halusimme myös arvioida tätä lieventämistä perusteellisemmin käyttämällä avainsanapohjaista harhaa heuristiamme. Mittaaksemme avainsanojen esiintymistiheyttä samalla kun otamme huomioon uuden painotusmallimme, voimme yksinkertaisesti painottaa jokaisen avainsanan esiintymän suodatetussa tietojoukossa sen sisältävän otoksen painon mukaan. Näin saamme uudet avainsanatiheydet, jotka heijastavat suodatetun tietojoukon otospainotuksia.

Useimmissa tarkistamissamme avainsanoissa uudelleenpainotusmenetelmä vähensi suodatuksen aiheuttamaa tiheyden muutosta. Aiemmissa esimerkeissämme "mies" ja "nainen" suhteelliset esiintymistiheyden vähenemiset olivat 1 % ja -1 %, kun taas niiden aikaisemmat arvot olivat 14 % ja 6 %. Vaikka tämä mittari on vain välityspalvelin todelliselle suodatusharhalle, on rauhoittavaa, että kuvapohjainen uudelleenpainotusmallimme todella parantaa tekstipohjaista mittaria niin merkittävästi.

Jatkamme DALL·E 2:n jäljellä olevien harhojen tutkimista osittain laajemmilla arvioinnilla mallin käyttäytymisestä ja tutkimalla, kuinka suodatus vaikutti harhaan ja valmiuksien kehittämiseen.

Kuvan regurgitaatioiden estäminen

Huomasimme, että DALL·E 2:n sisäiset edeltäjämme toistivat joskus harjoituskuvia sanatarkasti. Tämä käyttäytyminen ei ollut toivottavaa, koska haluaisimme DALL·E 2:n luovan oletusarvoisesti alkuperäisiä, ainutlaatuisia kuvia eikä vain "ompelevan yhteen" olemassa olevia kuvia. Lisäksi koulutuskuvien toistaminen sanatarkasti voi herättää oikeudellisia kysymyksiä tekijänoikeusloukkauksista, omistajuudesta ja yksityisyydestä (jos koulutustiedoissa oli ihmisten kuvia).

Ymmärtääksemme paremmin kuvien regurgitaatiota, keräsimme tietojoukon kehotteita, jotka usein johtivat päällekkäisiin kuviin. Tätä varten käytimme koulutettua mallia otimme kuvia 50,000 50 kehotteen osalta harjoitustietojoukostamme ja lajittelimme näytteet havaintokuvan samankaltaisuuden mukaan. Lopuksi tarkistimme parhaat osumat käsin ja löysimme vain muutama sata todellista kaksoisparia 1 0 kehotteen kokonaismäärästä. Vaikka regurgitaatioaste näytti olevan alle XNUMX %, koimme tarpeelliseksi pudottaa tasoa nollaan yllä mainituista syistä.

Kun tutkimme regurgitoituneiden kuvien tietojoukkoamme, huomasimme kaksi mallia. Ensinnäkin kuvat olivat melkein kaikki yksinkertaista vektorigrafiikkaa, joka oli todennäköisesti helppo muistaa niiden vähäisen tietosisällön vuoksi. Toiseksi, ja mikä vielä tärkeämpää, kaikilla kuvilla oli monia lähes kaksoiskappaleita harjoitustietojoukossa. Esimerkiksi vektorigrafiikka voi näyttää kellolta, joka näyttää kellon 1, mutta sitten löytäisimme harjoitusnäytteen, joka sisältää saman kellon, joka näyttää kello kahta ja sitten kello kolmea jne. Kerran ymmärsimme tämän, käytimme hajautettua lähin naapurihakua varmistaaksemme, että todellakin kaikilla regurgitoituneilla kuvilla oli havainnollisesti samanlaisia ​​kaksoiskappaleita tietojoukossa. Muut toimii ovat havainneet samanlaisen ilmiön suurissa kielimalleissa ja havainneet, että tietojen päällekkäisyydellä on vahva yhteys muistamiseen.

Yllä oleva havainto viittasi siihen, että jos poistaisimme tietojoukon kopioinnin, voimme ratkaista regurgitaatio-ongelman. Tämän saavuttamiseksi aiomme käyttää hermoverkkoa tunnistamaan samanlaisilta näyttäviä kuvaryhmiä ja poistamaan sitten kaikki kuvat yhtä lukuun ottamatta kustakin ryhmästä. Tämä edellyttäisi kuitenkin jokaisen kuvan tarkistamista, onko se kopio tietojoukon kaikista muista kuvista. Koska koko tietojoukkomme sisältää satoja miljoonia kuvia, meidän olisi naiivisti tarkistettava satoja kvadrillioita kuvapareja löytääksemme kaikki kaksoiskappaleet. Vaikka tämä on teknisesti saavutettavissa, etenkin suuressa laskentaklusterissa, löysimme paljon tehokkaamman vaihtoehdon, joka toimii melkein yhtä hyvin pienellä osalla kustannuksista.

Mieti, mitä tapahtuu, jos klusteroimme tietojoukkomme ennen kopioinnin poistamista. Koska lähellä olevat näytteet kuuluvat usein samaan klusteriin, useimmat kaksoisparit eivät ylittäisi klusterin päätösrajoja. Voisimme sitten poistaa näytteiden kaksoiskappaleet kustakin klusterista tarkistamatta kaksoiskappaleita klusterin ulkopuolelta, vaikka vain pieni osa kaikista kaksoispareista puuttuisi. Tämä on paljon nopeampaa kuin naiivi lähestymistapa, koska meidän ei enää tarvitse tarkistaa jokaista kuvaparia. Kun testasimme tätä lähestymistapaa empiirisesti pienellä osajoukolla tiedoistamme, se löysi 85 % kaikista kaksoispareista käytettäessä K = 1024 klustereita.

Yllä olevan algoritmin onnistumisasteen parantamiseksi hyödynsimme yhtä keskeistä havaintoa: kun klusterit tietojoukon erilaisia ​​satunnaisia ​​osajoukkoja, tuloksena olevat klusterin päätösrajat ovat usein melko erilaisia. Siksi, jos kaksoispari ylittää klusterin rajan yhdessä dataklusterissa, sama pari saattaa pudota yhden klusterin sisään eri klusterissa. Mitä enemmän klusterointia yrität, sitä todennäköisemmin löydät tietyn kaksoisparin. Käytännössä päädyimme käyttämään viittä klusterointia, mikä tarkoittaa, että etsimme jokaisesta kuvasta kaksoiskappaleita viiden eri klusterin liitosta. Käytännössä tämä löysi 97 % kaikista kaksoispareista tietojemme osajoukosta.

Yllättäen lähes neljännes tietojoukostamme poistettiin duplikoinnin avulla. Kun tarkastelimme löydettyjä lähes kaksoiskappaleita, monet niistä sisälsivät merkityksellisiä muutoksia. Muista kelloesimerkki ylhäältä: tietojoukko voi sisältää useita kuvia samasta kellosta eri vuorokaudenaikoina. Vaikka nämä kuvat saavat mallin todennäköisesti muistamaan tämän tietyn kellon ulkonäön, ne voivat myös auttaa mallia oppimaan erottamaan vuorokaudenajat kellosta. Kun otetaan huomioon, kuinka paljon dataa poistettiin, olimme huolissamme siitä, että tällaisten kuvien poistaminen olisi voinut heikentää mallin suorituskykyä.

Testaaksemme duplikoinnin vaikutusta malleihimme koulutimme kaksi mallia, joilla on identtiset hyperparametrit: yhden koko tietojoukossa ja toisen tietojoukon duplikoituneessa versiossa. Mallien vertailuun käytimme samoja ihmisen arviointeja, joita käytimme arvioimaan alkuperäistä GLIDE-malliamme. Yllättäen havaitsimme, että ihmisten arvioijat hieman Suositut malli harjoitteli duplikoitujen tietojen perusteella, mikä viittaa siihen, että tietojoukossa olevien redundanttien kuvien suuri määrä heikensi suorituskykyä.

Kun malli oli koulutettu kopioitujen tietojen perusteella, suoritimme uudelleen regurgitaatiohaun, jonka olimme aiemmin tehneet harjoitustietojoukosta yli 50 50 kehotetta. Havaitsimme, että uusi malli ei koskaan ruokkinut harjoituskuvaa, kun sille annettiin tarkka kehote kuvaan harjoitustietojoukosta. Tämän testin viemiseksi vielä askeleen pidemmälle suoritimme myös lähimmän naapurin haun koko harjoitustietojoukosta jokaiselle XNUMX XNUMX luodulle kuvalle. Tällä tavalla luulimme saavamme kiinni mallin rukoilemasta erilaista kuvaa kuin tiettyyn kehotteeseen liittyvä. Edes tämän perusteellisemman tarkastuksen jälkeen emme koskaan löytäneet tapausta kuvan regurgitaatiosta.

Seuraavat vaiheet

Vaikka kaikki edellä käsitellyt lievennykset edustavat merkittävää edistystä kohti tavoitettamme vähentää DALL·E 2:een liittyviä riskejä, jokaisessa lievennyksessä on vielä parantamisen varaa:

• Paremmat esikoulutussuodattimet voisivat antaa meille mahdollisuuden harjoittaa DALL·E 2:ta enemmän datalla ja mahdollisesti entisestään vähentää mallin harhaa. Nykyiset suodattimemme on viritetty alhaiseen virheprosenttiin monien väärien positiivisten tulosten kustannuksella. Tämän seurauksena suodatimme pois noin 5 % koko tietojoukostamme, vaikka suurin osa näistä suodatetuista kuvista ei riko sisältökäytäntöämme ollenkaan. Suodattimiemme parantaminen voisi antaa meille mahdollisuuden saada takaisin osan näistä harjoitustiedoista.
• Bias otetaan käyttöön ja mahdollisesti vahvistetaan monissa järjestelmän kehittämisen ja käyttöönoton vaiheissa. DALL·E 2:n kaltaisten järjestelmien harhan ja sen aiheuttaman haitan arvioiminen ja lieventäminen on tärkeä monitieteinen ongelma, jonka tutkimista jatkamme OpenAI:ssa osana laajempaa tehtäväämme. Työmme tämän parissa sisältää arvioiden laatimisen ongelman ymmärtämiseksi paremmin, uusien tietojoukkojen kuratoinnin ja tekniikoiden, kuten ihmisten palautteen ja hienosäädön, soveltamisen vankempien ja edustavampien teknologioiden rakentamiseksi.
• On myös tärkeää, että jatkamme ulkoamisen ja yleistämisen tutkimista syväoppimisjärjestelmissä. Vaikka duplikoinnin poistaminen on hyvä ensimmäinen askel muistiin jäämisen estämisessä, se ei kerro meille kaikkea, miksi tai miten DALL·E 2:n kaltaiset mallit muistavat harjoitustiedot.