Generatiivinen tiedustelu

Arm etsii generatiivisia tekoälymalleja reunassa Ethos-U85:llä

Treffi:

Arm pyrkii parantamaan tekoälyn suorituskykyä reunalla uusimmalla sulautetulla hermoprosessointiyksiköllä (NPU) ja Reference Design Platformilla, johon se voidaan sijoittaa, ja sanoi odottavansa siihen perustuvien laitteiden käyttävän generatiivisia tekoälymalleja ensi vuonna.

Ethos-mallisto on Armin NPU-portfolio, ja Ethos-U-sarjat ovat sulautettuja versioita tai ns. microNPU:ita, jotka on suunniteltu yhdistettäväksi jonkin sirusuunnittelijan Cortex-M-prosessoreista.

Ethos-U85:n kanssa Arm väittää 4-kertaisen suorituskyvyn ja 20 prosenttia paremman tehokkuuden edellisiin sukupolviin verrattuna. Yksi syy tähän on se, että se voidaan konfiguroida 128 - 2,048 kertolaskuyksiköllä, joista jälkimmäinen on neljä kertaa nykyisen yksikön luku. Ethos-U65, joka tarjoaa jopa 4 TOP:n (biljoonaa toimintaa sekunnissa) suorituskyvyn 1 GHz:llä.

Tämä askel on tarpeen, koska sulautetuille järjestelmille asetettavat tekoälyn ja koneoppimisen (ML) käsittelyvaatimukset kasvavat, sanoo Arm's IoT Line of Business SVP & GM, Paul Williamson.

"Ensimmäinen reunalaskennan aalto optimoitiin rajoitetulle muistille ja rajoitettujen laitteiden vähäisille virrantarpeille", Williamson sanoi, mutta sen jälkeen ne ovat yhdistäneet enemmän ja joutuneet kamppailemaan yhä suurempien tietomäärien kanssa.

"Koneoppimispäätelmä on sitten otettu käyttöön luotujen tietojen murskaamiseksi ja merkityksellisten oivallusten löytämiseksi. Ja sitten tekoäly on kehittynyt tuloksen ennustamisen lisäksi myös uuden datan ja lisänäkemysten tuottamisesta", hän lisäsi.

Arm väittää, että Ethos-U85 sallii nyt pienten sulautettujen laitteiden tukea muuntajaverkkoja sekä konvoluutiohermoverkkoja (CNN) tekoälyn päättelyyn. Tämä edistää uusien sovellusten kehitystä, erityisesti visio- ja generatiivisten tekoälyjen käyttötapauksissa sellaisiin tehtäviin kuin tietojen analysointi kuvien luokittelua ja objektien havaitsemista varten.

"Odotamme, että Ethos-U85 otetaan käyttöön kehittyvissä AI-käyttötapauksissa ja älykkään kodin vähittäis- tai teollisuusympäristöissä, joissa on kysyntää tälle korkean suorituskyvyn laskennalle uusimpien AI-kehysten tuella", Williamson sanoi.

Näihin kehyksiin kuuluvat TensorFlow Lite ja PyTorch, ja uusin NPU on yhteensopiva olemassa olevan työkaluketjun kanssa, joten Ethosille jo koodaaneet kehittäjät voivat jatkaa samojen työkalujen ja koodin käyttöä Ethos-U85:n kanssa.

Sitä täydentämään Arm on luonut Corstone-320 IoT Reference Design Platform -alustan, jonka avulla laitteistokumppanit voivat luoda nopeasti sirusuunnittelun.

Tämä yhdistää Ethos-U85:n Cortex-M85, jonka väitetään olevan yhtiön tehokkain malli mikro-ohjainpohjaisille tuotteille ja Mali-C55-kuvasignaaliprosessori.

Mutta Ethos-U85 toimii myös korkealaatuisten Armv9 Cortex-A -suorittimien kanssa tuodakseen tehotehokkaita reunapäätelmiä laajempaan valikoimaan tehokkaampia laitteita, Arm sanoi.

Williamsonin mukaan Corstone-320 on kehitetty ajatellen sovelluksia, kuten älykkään kodin akkukäyttöisiä kamerajärjestelmiä, teollisilla tuotantolinjoilla käytettäviä liitettyjä kameroita ja vähittäismyyntijärjestelmiä.

Alusta sisältää ohjelmistotyökalut ja tuen, mukaan lukien Arm Virtual Hardware. Tämä jälkimmäinen ominaisuus mahdollistaa ohjelmistokehityksen aloittamisen ennen kuin lopullinen pii on saatavilla, Arm sanoo, mikä nopeuttaa monimutkaisten reunan AI-laitteiden markkinoille saattamista.

Arm näkee myös mahdollisuuden generatiivisten tekoälymallien pienille versioille toimimaan sulautettujen järjestelmien reunalla, ja väittää, että tämä alusta mahdollistaa sen.

Williamson sanoi, että Armilla on jo kumppaneita, jotka kokeilevat generatiivisten tekoälymallien käyttöä.

"Odotamme näkevämme Ethos-U85:een perustuvia alustoja laitteissa ensi vuonna vuonna 2025, joten voisimme nähdä ensimmäisen niistä, jotka hyötyvät parantuneesta suorituskyvystä", hän kertoi. Rekisteri.

Tämä saattaa näkyä käyttötapauksissa, kuten pienemmissä kirjaston kielimalleissa, jotka mahdollistavat paikallisen tuen puheentunnistuksessa ja puhevasteissa. Williamsonin mukaan ne pystyvät käyttämään paljon laajempaa sana- ja kieltävalikoimaa sen sijaan, että ne olisivat kiinnittyneet rajoitettuun määrään avainsanoja. ®

spot_img

Uusin älykkyys

spot_img