Microsoft heldur því fram nýjasta útfærslu léttu Phi-3 Mini AI líkansins keppir við keppinauta eins og GPT-3.5 á meðan hún er nógu lítil til að vera notuð í síma.

Phi-3 Mini er 3.8 milljarða færibreytur tungumálalíkan sem er þjálfað á 3.3 trilljónum táknum. Þessi tala er upp frá 2.7 milljörðum breytum Phi-2, sem Microsoft kynnt í desember 2023.

Frekar en að moka sem mest inn í æfingalíkönin var áherslan lögð á rökhugsun. Microsoft sagði: „Sem dæmi gæti niðurstaða leiks í úrvalsdeildinni á tilteknum degi verið góð þjálfunargögn fyrir landamæralíkön, en við þurfum að fjarlægja slíkar upplýsingar til að skilja eftir módelgetu til „rökstuðnings“ fyrir smástærðarlíkönin .”

Markvissa nálgunin þýðir að þó að Phi-3 hafi kannski ekki mikla þekkingu á samkeppnisaðilum sínum, þá er hún að minnsta kosti jafn góð, ef ekki betri, þegar kemur að rökstuðningi, eða svo heldur Microsoft fram. Í rannsóknarritgerð [PDF], bendir Microsoft á að þetta hafi gert litlu tungumálalíkaninu þess kleift „að ná stigi mjög færra gerða eins og GPT-3.5 eða Mixtral með aðeins 3.8B heildarfæribreytur (á meðan Mixtral hefur 45B heildarbreytur til dæmis).“

Rannsóknin bendir einnig á að þjálfunargögnin sem notuð voru samanstóð af „mjög síuðum vefgögnum … frá ýmsum opnum netheimildum“ og LLM-mynduð gögn. Gagnaheimildirnar sem notaðar eru til að þjálfa LLM eru viðfangsefni nokkrum málaferlum.

Smæð Phi-3 Mini þýðir að það getur keyrt án nettengingar á snjallsíma, er okkur sagt. Vísindamenn sögðu að hægt væri að láta það taka um það bil 1.8 GB af minni og prófa það án nettengingar á iPhone 14 með A16 Bionic flís sem keyrir innfæddur í tæki. Í greininni sýna vísindamenn skjáskot af Phi-3 Mini sem skrifar ljóð og stingur upp á hlutum til að gera í Houston.

Rannsakendur leggja einnig áherslu á galla sem felast í því að einblína á málskilning og rökhugsun. „Módelið hefur einfaldlega ekki getu til að geyma of mikla „staðreyndarþekkingu“,“ eitthvað sem hægt er að draga úr að vissu marki með því að auka það með leitarvél. Hins vegar myndi það vinna bug á því að geta keyrt það án nettengingar.

Tungumálið er að mestu bundið við ensku eins og er, og vandamál sem felast í flestum LLMs - ofskynjanir, hlutdrægni mögnun og myndun óviðeigandi efnis - er einnig að finna í Phi-3 Mini.

Vísindamenn segja í blaðinu: „Það er veruleg vinna framundan til að takast á við þessar áskoranir að fullu.

Stærri gerðir - tiltölulega séð - hafa einnig verið tilkynntar í formi Phi-3 Small og Phi-3 Medium með 7 og 14 milljarða breytum í sömu röð.

Victor Botev, tæknistjóri og meðstofnandi hjá Íris.ai, sagði okkur: „Tilkynning Microsoft um Phi-3 líkanið táknar áframhaldandi þróun í gervigreindarþróun. Í stað þess að elta sífellt stærri gerðir, er Microsoft að þróa verkfæri með vandaðari gögnum og sérhæfðri þjálfun. Þetta gerir kleift að bæta frammistöðu og rökhugsunarhæfileika án mikils reiknikostnaðar módela með trilljónum breytum. Að uppfylla þetta loforð myndi þýða að rífa niður risastóra ættleiðingarhindrun fyrir fyrirtæki sem leita að gervigreindarlausnum.

„Microsoft er skynsamlega að horfa út fyrir hugarfarið „stærra er betra“. Fyrir útbreidd gervigreindarforrit fyrir fyrirtæki og neytendur eru hagkvæmni og sérhæfni mikilvægari en stórar breytur. Líkön eins og Phi-3 sýna greinilega fram á að með réttri gagna- og þjálfunaraðferð þarf háþróaður gervigreindargeta ekki að byggja upp sífellt stærri líkön – afgerandi þáttur fyrir fyrirtæki þar sem hlutfall kostnaðar og gæða er mikilvægt.“ ®

• SEO knúið efni og PR dreifing. Fáðu magnara í dag.
• PlatoData.Network Vertical Generative Ai. Styrktu sjálfan þig. Aðgangur hér.
• PlatoAiStream. Web3 upplýsingaöflun. Þekking aukin. Aðgangur hér.
• PlatóESG. Kolefni, CleanTech, Orka, Umhverfi, Sól, Úrgangsstjórnun. Aðgangur hér.
• PlatoHealth. Líftækni og klínísk rannsóknagreind. Aðgangur hér.
• Heimild: https://go.theregister.com/feed/www.theregister.com/2024/04/23/microsoft_phi_3_mini/