Generatiivinen tiedustelu

Microsoft paljastaa työkaluja tekoäly-hallusinaatioiden torjuntaan

Treffi:

Microsoft on julkaissut joukon Azure AI Studion ominaisuuksia, joilla voidaan ratkaista lukuisia ongelmia, kuten tekoälyharhot, myrkytykset ja nopeat ruiskeet.

Uusien työkalujen tarkoituksena on tehdä generatiivisesta tekoälystä turvallisempaa ja luotettavampaa käyttäjille sen jälkeen, kun chatbotit ovat vaivanneet valheita, jotka keksivät asioita, joita nykyään tunnetaan laajalti tekoälyharhoina.

Palataan piirustuslaudoille

Virheellisiä tai haitallisia vastauksia tarjoavien tekoälymallien julkistaminen on saanut kehittäjät palaamaan piirustuslaudoille, mutta lisärahoitusta tarvitaan. Teknologiateollisuuden mukaan Rekisteri yrittää kesyttää villejä malleja sen sijaan, että keksisi paljon turvallisempia ja eettisempiä tekoälytyökaluja.

Microsoft, on täytynyt myöntää, että tekoälyteknologiaan liittyy riskejä, ja joihinkin niistä puuttumista ei voida korostaa liikaa. Microsoftin vastuullisen tekoälyn tuotepäällikkö Sarah Bird sanoi, että uusia turvaominaisuuksia on helppo käyttää azure-asiakkaille, "jotka palkkaavat ryhmiä punaisia ​​​​tiimejä testaamaan rakennettuja tekoälypalveluita".

Hän sanoi, että työkalut voivat havaita mahdolliset uhat ja seurata niitä hallusinaatiot. Ne voivat myös estää kaikki haitalliset kehotteet reaaliajassa Azure AI -asiakkailta.

"Tiedämme, että kaikilla asiakkailla ei ole syvällistä asiantuntemusta nopeista injektiohyökkäyksistä tai vihamielisestä sisällöstä, joten arviointijärjestelmä luo kehotteet, joita tarvitaan tämäntyyppisten hyökkäysten simuloimiseen", hän kertoi The Verge haastattelussa.

"Asiakkaat voivat sitten saada pisteet ja nähdä tulokset."

Työkalut

Tekniikkayrityksen mukaan kolme ominaisuutta – Nopeat suojat, turvallisuusarvioinnit sekä riskien ja turvallisuuden seuranta ovat nyt saatavilla esikatseluversiona Azure AI- ja OpenAI-palveluissa. Prompt Shields, yrityksen mukaan estää haitalliset kehotteet ulkoisista asiakirjoista, jotka ohjaavat malleja jättämään koulutuksensa huomiotta.

Riskien ja turvallisuuden seuranta auttaa "ymmärtämään, mitkä mallin tulot, lähdöt ja loppukäyttäjät laukaisevat sisältösuodattimia lieventämistoimia varten."

Turvallisuusarvioinnissa arvioidaan mallin haavoittuvuutta jailbreak-hyökkäyksille ja sisältöriskille.

Microsoft ei pysähdy näihin yksin. Yhtiö paljasti, että kaksi muuta ominaisuutta julkaistaan ​​pian. Nämä on tarkoitettu ohjaamaan malleja kohti turvallista tulostusta sekä seurantakehotteita "mahdollisesti ongelmallisten käyttäjien merkitsemiseksi".

"Näillä lisäyksillä Azure AI tarjoaa asiakkaillemme innovatiivisia tekniikoita, jotka suojaavat heidän sovelluksiaan koko generatiivisen tekoälyn elinkaaren ajan", Bird sanoi blogikirjoituksessaan.

Birdin mukaan maadoittavuuden tunnistus on ominaisuus, joka on suunniteltu tunnistamaan tekstipohjaisia ​​hallusinaatioita. Se antaa asiakkaille vaihtoehtoja, kun väärä väite havaitaan, mukaan lukien "viestin lähettäminen takaisin tarkistettavaksi ennen kuin se voidaan näyttää".

Turvajärjestelmäviestit käyttäjien malleihin, jotka ohjaavat heitä kohti turvallisia ja vastuullisia tuloksia yrityksen mukaan.

Lue myös: AI Tokens AGIX, FET ja OCEAN Soar On Merger Talks

Riskienhallinta versus innovaatio

Bird selitti edelleen blogikirjoituksessaan, kuinka yritysjohtajat yrittävät löytää tasapainon innovaation ja riskienhallinnan välillä. He haluavat käyttää generatiivista tekoälyä "ilman että se puree heitä".

"Nopeat injektiohyökkäykset ovat nousseet merkittäväksi haasteeksi, kun pahantahtoiset toimijat yrittävät manipuloida tekoälyjärjestelmää tekemällä jotain sen aiotun tarkoituksen ulkopuolella, kuten tuottamaan haitallista sisältöä tai suodattamaan luottamuksellisia tietoja", Bird selitti.

Hän lisäsi, että riskien pienentämisen lisäksi yritykset olivat huolissaan laadusta ja luotettavuudesta.

"He haluavat varmistaa, että heidän tekoälyjärjestelmänsä eivät tuota virheitä tai lisää tietoja, joita ei ole perusteltu sovelluksen tietolähteissä, mikä voi heikentää käyttäjien luottamusta", hän sanoi.

Markkinahuolet

Bird myönsi, että pelkoja on Microsoft ja muut tekoälyyritykset haluavat havaita ihmisille, mitä pitäisi pitää sopivana ja mikä ei.

Hänen tiiminsä kuitenkin lisäsi tavan, jolla Azure-asiakkaat voivat "vaihtaa mallin näkemän ja estävän vihapuheen tai väkivallan suodatuksen päälle".

Kuten Google Gemini, joka aiheutti äskettäin kohinaa törkeiden kuviensa vuoksi, suodattimet, joiden tarkoituksena oli vähentää harhaa, johtivat tahattomiin vaikutuksiin.

spot_img

Uusin älykkyys

spot_img