Valeuutiset, jotka määritellään uutisiksi, jotka välittävät tai sisältävät vääriä, väärennettyjä tai tarkoituksella harhaanjohtavia tietoja, ovat olleet olemassa jo painokoneen ilmestymisestä lähtien. Valeuutisten ja disinformaation nopea leviäminen verkossa ei vain petä yleisöä, vaan sillä voi myös olla syvällinen vaikutus yhteiskuntaan, politiikkaan, talouteen ja kulttuuriin. Esimerkkejä:

• Epäluottamuksen kasvattaminen mediaa kohtaan
• Demokraattisen prosessin horjuttaminen
• Väärän tai huonon tieteen levittäminen (esimerkiksi vaxin vastainen liike)

Tekoälyn (AI) ja koneoppimisen (ML) edistysaskeleet ovat tehneet valeuutisten luomiseen ja jakamiseen tarkoitettujen työkalujen kehittämisestä entistä helpompaa. Varhaisia ​​esimerkkejä ovat kehittyneet sosiaaliset robotit ja automatisoidut tilit, jotka lisäävät valeuutisten levittämisen alkuvaihetta. Yleisesti ei ole triviaalia, että yleisö määrittää, ovatko tällaiset tilit ihmisiä vai botteja. Lisäksi sosiaaliset robotit eivät ole laittomia työkaluja, ja monet yritykset ostavat niitä laillisesti osana markkinointistrategiaansa. Siksi ei ole helppoa hillitä sosiaalisten robottien käyttöä systemaattisesti.

Viimeaikaiset löydöt generatiivisen tekoälyn alalla mahdollistavat tekstisisällön tuotannon ennennäkemättömällä nopeudella suurten kielimallien (LLM) avulla. LLM:t ovat generatiivisia tekoälytekstimalleja, joissa on yli miljardi parametria ja jotka helpottavat korkealaatuisen tekstin synteesiä.

Tässä viestissä tutkimme, kuinka voit käyttää LLM:itä käsitelläksesi vallitsevaa valeuutisten havaitsemisongelmaa. Suosittelemme, että LLM:t ovat riittävän edistyneitä tähän tehtävään, varsinkin jos parannettuja kehotustekniikoita, kuten Ajatusketju ja suhtautua käytetään yhdessä tiedonhakutyökalujen kanssa.

Havainnollistamme tätä luomalla a LangChain sovellus, joka uutisen perusteella ilmoittaa käyttäjälle luonnollisella kielellä, onko artikkeli totta vai väärennettyä. Ratkaisu käyttää myös Amazonin kallioperä, täysin hallittu palvelu, joka mahdollistaa Amazonin ja kolmannen osapuolen mallintarjoajien perusmallit (FM:t) saataville AWS-hallintakonsoli ja API:t.

LLM:t ja valeuutiset

Fake news -ilmiö alkoi kehittyä nopeasti Internetin ja erityisesti sosiaalisen median tulon myötä (Nielsen et ai., 2017). Sosiaalisessa mediassa valeuutiset voivat jakaa nopeasti käyttäjän verkostossa, jolloin yleisö muodostaa väärän kollektiivisen mielipiteen. Lisäksi ihmiset usein levittävät valeuutisia impulsiivisesti jättäen huomioimatta sisällön tosiasiallisuuden, jos uutinen resonoi heidän henkilökohtaisten normiensa kanssa (Tsipursky et ai. 2018). Yhteiskuntatieteellinen tutkimus on ehdottanut, että kognitiivinen harha (vahvistusharha, kelkkavaikutelma ja valintaa tukeva harha) on yksi keskeisistä tekijöistä järjettömien päätösten tekemisessä sekä valeuutisten luomisen että kulutuksen suhteen.Kim, et ai., 2021). Tämä tarkoittaa myös sitä, että uutisten kuluttajat jakavat ja kuluttavat tietoa vain uskomustensa vahvistamiseen.

Generatiivisen tekoälyn kyky tuottaa tekstillistä ja rikasta sisältöä ennennäkemättömällä nopeudella pahentaa valeuutisten ongelmaa. Mainitsemisen arvoinen esimerkki on deepfake-tekniikka – eri kuvien yhdistäminen alkuperäiseen videoon ja erilaisen videon luominen. Sen lisäksi, että ihmistoimijat tuovat sekoitukseen disinformaatiota, LLM:t lisäävät kokonaan uusia haasteita:

• Tosiasialliset virheet – LLM:illä on lisääntynyt riski saada asiavirheitä, mikä johtuu heidän koulutuksensa luonteesta ja kyvystään olla luova luoessaan lauseen seuraavia sanoja. LLM-koulutus perustuu toistuvaan mallin esittämiseen epätäydellisellä syötteellä ja sitten ML-harjoitustekniikoiden käyttämiseen, kunnes se täyttää aukot oikein, jolloin opitaan kielen rakennetta ja kielipohjaista maailmanmallia. Näin ollen, vaikka LLM:t ovat loistavia kuvioiden yhdistäjiä ja yhdistäjiä ("stokastiset papukaijat"), he epäonnistuvat useissa yksinkertaisissa tehtävissä, jotka vaativat loogista päättelyä tai matemaattista päättelyä ja voivat hallusinoida vastauksia. Lisäksi lämpötila on yksi LLM-syöteparametreista, joka ohjaa mallin käyttäytymistä luotaessa seuraavaa sanaa lauseessa. Valitsemalla korkeamman lämpötilan malli käyttää pienemmän todennäköisyyden sanaa, mikä antaa satunnaisemman vastauksen.
• Pitkähkö – Luodut tekstit ovat yleensä pitkiä ja niistä puuttuu selkeästi määritelty yksittäisten tosiasioiden tarkkuus.
• Faktantarkistuksen puute – Tekstin luontiprosessin aikana tapahtuvaan faktan tarkistamiseen ei ole saatavilla standardoituja työkaluja.

Kaiken kaikkiaan ihmisen psykologian ja tekoälyjärjestelmien rajoitusten yhdistelmä on luonut täydellisen myrskyn valeuutisten ja väärän tiedon leviämiselle verkossa.

Ratkaisun yleiskatsaus

LLM:t osoittavat erinomaisia ​​kykyjä kielten luomisessa, ymmärtämisessä ja harvoin oppimisessa. He ovat koulutettuja valtavaan Internetin tekstikorpukseen, jossa poimitun luonnollisen kielen laatu ja tarkkuus eivät välttämättä ole varmoja.

Tässä viestissä tarjoamme ratkaisun valeuutisten havaitsemiseen perustuen sekä ajatusketjun että uudelleentoimimisen (Reasoning and Acting) -kehotuksiin. Ensin käsittelemme näitä kahta nopeaa suunnittelutekniikkaa, sitten näytämme niiden toteutuksen LangChainin ja Amazon Bedrockin avulla.

Seuraavassa arkkitehtuurikaaviossa kuvataan ratkaisu valeuutistenpaljastimellemme.

Arkkitehtuurikaavio valeuutisten havaitsemiseen.

Käytämme osajoukkoa FEVER-tietojoukko joka sisältää väitteen ja väitteen perustotuuden, joka osoittaa vääriä, totta tai todentamattomia väitteitä (Thorne J. et ai., 2018).

Työnkulku voidaan jakaa seuraaviin vaiheisiin:

1. Käyttäjä valitsee yhden väitteistä tarkistaakseen, onko se väärennös vai totta.
2. Lausunto ja valeuutisten havaitsemistehtävä sisällytetään kehotteeseen.
3. Kehote välitetään LangChainille, joka kutsuu FM:n Amazon Bedrockissa.
4. Amazon Bedrock palauttaa vastauksen käyttäjän pyyntöön lausumalla True tai False.

Tässä viestissä käytämme Anthrophicin Claude v2 -mallia (anthropic.claude-v2). Claude on generatiivinen LLM, joka perustuu Anthropicin tutkimukseen luotettavien, tulkittavien ja ohjattavien tekoälyjärjestelmien luomiseksi. Claude on luotu käyttämällä tekniikoita, kuten perustuslaillista tekoälyä ja vaarattomuuskoulutusta, ja se on erinomainen harkittuun vuoropuheluun, sisällön luomiseen, monimutkaiseen päättelyyn, luovuuteen ja koodaukseen. Amazon Bedrockin ja ratkaisuarkkitehtuurimme ansiosta meillä on kuitenkin myös joustavuus valita muiden tarjoamien FM-laitteiden joukosta. Amazon, AI21labs, Yhtenäinenja Stabiliteetti.ai.

Löydät toteutustiedot seuraavista osioista. Lähdekoodi on saatavilla GitHub-arkisto.

Edellytykset

Tätä opetusohjelmaa varten tarvitset bash-päätteen, jossa Python 3.9 tai uudempi on asennettu joko Linuxiin, Maciin tai Windows-alijärjestelmään Linuxille ja AWS-tilin.

Suosittelemme myös käyttämään joko an Amazon SageMaker Studio muistikirja, an AWS-pilvi9 esimerkiksi tai an Amazonin elastinen laskentapilvi (Amazon EC2) esimerkki.

Ota valeuutisten tunnistus käyttöön Amazon Bedrock API:n avulla

Ratkaisu käyttää Amazon Bedrock API:ta, johon pääsee käsiksi AWS-komentoriviliitäntä (AWS CLI), AWS SDK Pythonille (Boto3), tai Amazon Sage Maker muistikirja. Viittaavat Amazon Bedrockin käyttöopas Lisätietoja. Tässä viestissä käytämme Amazon Bedrock API:ta Pythonin AWS SDK:n kautta.

Määritä Amazon Bedrock API -ympäristö

Voit määrittää Amazon Bedrock API -ympäristösi suorittamalla seuraavat vaiheet:

1. Lataa uusin Boto3 tai päivitä se:

   pip install --upgrade boto3

2. Varmista, että määrität AWS-tunnistetiedot käyttämällä aws configure komento tai välitä ne Boto3-asiakkaalle.
3. Asenna uusin versio LangChain:

   pip install “langchain>=0.0.317” --quiet

Voit nyt testata asennuksesi käyttämällä seuraavaa Python-kuorikomentosarjaa. Skripti instantoi Amazon Bedrock -asiakkaan Boto3:lla. Seuraavaksi kutsumme list_foundation_models API saadaksesi luettelon käytettävissä olevista perusmalleista.

import boto3 import json bedrock = boto3.client( 'bedrock', region_name=YOUR_REGION) print(json.dumps(bedrock.list_foundation_models(), indent=4))

Kun olet suorittanut edellisen komennon onnistuneesti, sinun pitäisi saada FM-luettelo Amazon Bedrockista.

LangChain nopeana ketjutusratkaisuna

Valeuutisten havaitsemiseksi tietyn lauseen osalta noudatamme nollakuvaa Ajatusketjun päättelyprosessia (Wei J. et ai., 2022), joka koostuu seuraavista vaiheista:

1. Aluksi malli yrittää luoda lausunnon kysytyistä uutisista.
2. Malli luo luettelon väitteistä.
3. Jokaiselle väitteelle malli määrittää, onko väite tosi vai epätosi. Huomaa, että tätä menetelmää käytettäessä malli luottaa yksinomaan sisäiseen tietoonsa (harjoitteluvaiheessa lasketut painot) päätöksen tekemiseksi. Tietoja ei tässä vaiheessa verrata mihinkään ulkoiseen dataan.
4. Kun otetaan huomioon tosiasiat, malli vastaa TOSI tai EPÄTOSI kehotteessa annetulle väitteelle.

Näiden vaiheiden saavuttamiseksi käytämme LangChainia, kehystä kielimalleilla toimivien sovellusten kehittämiseen. Tämän kehyksen avulla voimme laajentaa FM-laitteita ketjuttamalla yhteen erilaisia ​​​​komponentteja luodaksemme edistyneitä käyttötapauksia. Tässä ratkaisussa käytämme sisäänrakennettua SimpleSequentialChain LangChainissa luodaksesi yksinkertaisen peräkkäisen ketjun. Tämä on erittäin hyödyllistä, koska voimme ottaa tulosteen yhdestä ketjusta ja käyttää sitä syötteenä toiselle.

Amazon Bedrock on integroitu LangChainiin, joten sinun tarvitsee vain luoda se ohittamalla model_id kun luodaan Amazon Bedrock -objektia. Tarvittaessa mallin päättelyparametrit voidaan antaa kautta model_kwargs argumentti, kuten:

• maxTokenCount – Tokenien enimmäismäärä luodussa vastauksessa
• stopSequences – Mallin käyttämä pysäytysjärjestys
• lämpötila – Arvo, joka vaihtelee välillä 0–1, jolloin 0 on deterministisin ja 1 luovin
• ylin – Arvo, joka vaihtelee välillä 0–1 ja jota käytetään ohjaamaan tokenien valintoja mahdollisten valintojen todennäköisyyden perusteella

Jos tämä on ensimmäinen kerta, kun käytät Amazon Bedrock -perusmallia, varmista, että pyydät mallin käyttöoikeutta valitsemalla mallin luettelosta Mallin käyttöoikeus sivu Amazon Bedrock -konsolissa, joka meidän tapauksessamme on Anthropicin claude-v2.

from langchain.llms.bedrock import Bedrock
bedrock_runtime = boto3.client( service_name='bedrock-runtime', region_name= YOUR_REGION,
)
model_kwargs={ 'max_tokens_to_sample': 8192 }
llm = Bedrock(model_id=" anthropic.claude-v2", client=bedrock_runtime, model_kwargs=model_kwargs)

Seuraava toiminto määrittää aiemmin mainitsemamme Ajatusketjun kehotusketjun valeuutisten havaitsemiseksi. Funktio ottaa Amazon Bedrock -objektin (llm) ja käyttäjäkehotteen (q) argumentteina. LangChainin PromptTemplate toiminnallisuutta käytetään tässä määrittämään valmiiksi resepti kehotteiden luomista varten.

from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain.chains import SimpleSequentialChain def generate_and_print(llm, q): total_prompt = """""" # the model is asked to create a bullet point list of assertions template = """Here is a statement: {statement} Make a bullet point list of the assumptions you made when given the above statement.nn""" prompt_template = PromptTemplate(input_variables=["statement"], template=template) assumptions_chain = LLMChain(llm=llm, prompt=prompt_template) total_prompt = total_prompt + template # the model is asked to create a bullet point list of assertions template = """Here is a bullet point list of assertions: {assertions} For each assertion, determine whether it is true or false. If it is false, explain why.nn""" prompt_template = PromptTemplate(input_variables=["assertions"], template=template) fact_checker_chain = LLMChain(llm=llm, prompt=prompt_template) total_prompt = total_prompt + template #for each assertion, the model is askded to determine if the assertion is true or false, based on internal knowledge alone template = """ Based on the above assertions, the final response is FALSE if one of the assertions is FALSE. Otherwise, the final response is TRUE. You should only respond with TRUE or FALSE.'{}'""".format(q) template = """{facts}n""" + template prompt_template = PromptTemplate(input_variables=["facts"], template=template) answer_chain = LLMChain(llm=llm, prompt=prompt_template) total_prompt = total_prompt + template #SimpleSequentialChain allows us to take the output from one chain and use it as the input to another overall_chain = SimpleSequentialChain(chains=[assumptions_chain, fact_checker_chain, answer_chain], verbose=True) answer = overall_chain.run(q) return answer

Seuraava koodi kutsuu aiemmin määrittämäämme funktiota ja antaa vastauksen. Lausunto on TRUE or FALSE. TRUE tarkoittaa, että annettu lausunto sisältää oikeita tosiasioita, ja FALSE tarkoittaa, että väite sisältää vähintään yhden virheellisen tosiasian.

from IPython.display import display, Markdown q="The first woman to receive a Ph.D. in computer science was Dr. Barbara Liskov, who earned her degree from Stanford University in 1968."
print(f'The statement is: {q}')
display(Markdown(generate_and_print(llm, q)))

Esimerkki lauseesta ja mallivastauksesta on seuraavassa tulosteessa:

The statement is: The first woman to receive a Ph.D. in computer science was Dr. Barbara Liskov, who earned her degree from Stanford University in 1968. > Entering new SimpleSequentialChain chain... Here is a bullet point list of assumptions I made about the statement: - Dr. Barbara Liskov was the first woman to earn a Ph.D. in computer science. - Dr. Liskov earned her Ph.D. from Stanford University. - She earned her Ph.D. in 1968. - No other woman earned a Ph.D. in computer science prior to 1968. - Stanford University had a computer science Ph.D. program in 1968. - The statement refers to Ph.D. degrees earned in the United States. Here are my assessments of each assertion: - Dr. Barbara Liskov was the first woman to earn a Ph.D. in computer science. - True. Dr. Liskov was the first American woman to earn a Ph.D. in computer science, which she received from Stanford University in 1968. - Dr. Liskov earned her Ph.D. from Stanford University. - True. Multiple sources confirm she received her Ph.D. from Stanford in 1968. - She earned her Ph.D. in 1968. - True. This is consistent across sources. - No other woman earned a Ph.D. in computer science prior to 1968. - False. While she was the first American woman, Mary Kenneth Keller earned a Ph.D. in computer science from the University of Wisconsin in 1965. However, Keller earned her degree in the US as well. - Stanford University had a computer science Ph.D. program in 1968. - True. Stanford established its computer science department and Ph.D. program in 1965. - The statement refers to Ph.D. degrees earned in the United States. - False. The original statement does not specify the country. My assumptions that it refers to the United States is incorrect. Keller earned her Ph.D. in the US before Liskov. False

ReAct ja työkalut

Edellisessä esimerkissä malli tunnisti oikein, että väite on väärä. Kyselyn lähettäminen uudelleen osoittaa kuitenkin mallin kyvyttömyyden erottaa tosiasioiden oikeellisuutta. Mallilla ei ole työkaluja väitteiden todenperäisyyden tarkistamiseen oman harjoitusmuistinsa ulkopuolella, joten saman kehotteen myöhemmät ajot voivat johtaa siihen, että se merkitsee väärät väitteet todeksi. Seuraavassa koodissa sama esimerkki on eri ajon aikana:

The statement is: The first woman to receive a Ph.D. in computer science was Dr. Barbara Liskov, who earned her degree from Stanford University in 1968. > Entering new SimpleSequentialChain chain... Here is a bullet point list of assumptions I made about the statement: - Dr. Barbara Liskov was the first woman to earn a Ph.D. in computer science
- Dr. Liskov earned her Ph.D. degree in 1968 - Dr. Liskov earned her Ph.D. from Stanford University
- Stanford University awarded Ph.D. degrees in computer science in 1968
- Dr. Liskov was a woman
- Ph.D. degrees existed in 1968
- Computer science existed as a field of study in 1968 Here are my assessments of each assertion: - Dr. Barbara Liskov was the first woman to earn a Ph.D. in computer science - True. Dr. Liskov was the first woman to earn a Ph.D. in computer science in 1968 from Stanford University. - Dr. Liskov earned her Ph.D. degree in 1968 - True. Multiple sources confirm she received her Ph.D. in computer science from Stanford in 1968. - Dr. Liskov earned her Ph.D. from Stanford University - True. Dr. Liskov earned her Ph.D. in computer science from Stanford University in 1968. - Stanford University awarded Ph.D. degrees in computer science in 1968 - True. Stanford awarded Liskov a Ph.D. in computer science in 1968, so they offered the degree at that time. - Dr. Liskov was a woman - True. All biographical information indicates Dr. Liskov is female. - Ph.D. degrees existed in 1968 - True. Ph.D. degrees have existed since the late 19th century. - Computer science existed as a field of study in 1968 - True. While computer science was a relatively new field in the 1960s, Stanford and other universities offered it as a field of study and research by 1968. True

Yksi tekniikka totuuden takaamiseksi on ReAct. ReAct (Yao S. et al., 2023) on nopea tekniikka, joka täydentää perusmallia agentin toimintatilalla. Tässä viestissä, kuten myös ReAct-paperissa, toimintatila toteuttaa tiedonhaun käyttämällä haku-, haku- ja viimeistelytoimintoja yksinkertaisesta Wikipedian verkkosovellusliittymästä.

Syy ReActin käyttämiseen verrattuna Ajatusketjuun on ulkoisen tiedonhaun käyttäminen perustan mallin lisäämiseksi sen havaitsemiseksi, onko tietty uutinen väärennös vai totta.

Tässä viestissä käytämme LangChainin ReActin toteutusta agentin kautta ZERO_SHOT_REACT_DESCRIPTION. Muokkaamme edellistä funktiota toteuttaaksemme ReActin ja käytämme Wikipediaa käyttämällä load_tools-funktiota langchain.agents.

Meidän on myös asennettava Wikipedia-paketti:

!pip install Wikipedia

Alla uusi koodi:

from langchain.agents import load_tools, initialize_agent, AgentType def generate_and_print(llm, q): print(f'Inside generate_and_print: q = {q}') tools = load_tools(["wikipedia"], llm=llm) agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True, handle_parsing_errors=True, agent_kwargs={}) input = """Here is a statement: {statement} Is this statement correct? You can use tools to find information if needed. The final response is FALSE if the statement is FALSE. Otherwise, TRUE.""" answer = agent.run(input.format(statement=q)) return answer

Seuraava on edellisen funktion tulos samalla käskyllä, jota käytettiin aiemmin:

> Entering new AgentExecutor chain... Here are my thoughts and actions to determine if the statement is true or false: Thought: To verify if this statement about the first woman to receive a PhD in computer science is true, I should consult a reliable information source like Wikipedia. Action: Wikipedia
Action Input: first woman to receive phd in computer science
Observation: Page: Fu Foundation School of Engineering and Applied Science
Summary: The Fu Foundation School of Engineering and Applied Science (popularly known as SEAS or Columbia Engineering; previously known as Columbia School of Mines) is the engineering and applied science school of Columbia University. It was founded as the School of Mines in 1863 and then the School of Mines, Engineering and Chemistry before becoming the School of Engineering and Applied Science. On October 1, 1997, the school was renamed in honor of Chinese businessman Z.Y. Fu, who had donated $26 million to the school.
The Fu Foundation School of Engineering and Applied Science maintains a close research tie with other institutions including NASA, IBM, MIT, and The Earth Institute. Patents owned by the school generate over $100 million annually for the university. SEAS faculty and alumni are responsible for technological achievements including the developments of FM radio and the maser.
The School's applied mathematics, biomedical engineering, computer science and the financial engineering program in operations research are very famous and highly ranked. The current SEAS faculty include 27 members of the National Academy of Engineering and one Nobel laureate. In all, the faculty and alumni of Columbia Engineering have won 10 Nobel Prizes in physics, chemistry, medicine, and economics.
The school consists of approximately 300 undergraduates in each graduating class and maintains close links with its undergraduate liberal arts sister school Columbia College which shares housing with SEAS students. The School's current dean is Shih-Fu Chang, who was appointed in 2022. Page: Doctor of Science
Summary: A Doctor of Science (Latin: Scientiae Doctor; most commonly abbreviated DSc or ScD) is an academic research doctorate awarded in a number of countries throughout the world. In some countries, a Doctor of Science is the degree used for the standard doctorate in the sciences; elsewhere a Doctor of Science is a "higher doctorate" awarded in recognition of a substantial and sustained contribution to scientific knowledge beyond that required for a Doctor of Philosophy (PhD). Page: Timeline of women in science
Summary: This is a timeline of women in science, spanning from ancient history up to the 21st century. While the timeline primarily focuses on women involved with natural sciences such as astronomy, biology, chemistry and physics, it also includes women from the social sciences (e.g. sociology, psychology) and the formal sciences (e.g. mathematics, computer science), as well as notable science educators and medical scientists. The chronological events listed in the timeline relate to both scientific achievements and gender equality within the sciences.
Thought: Based on the Wikipedia pages, the statement appears to be false. The Wikipedia Timeline of Women in Science page indicates that Adele Goldstine was the first woman to earn a PhD in computer science in 1964 from the University of Michigan, not Barbara Liskov from Stanford in 1968. Therefore, my final answer is: Final Answer: FALSE

Puhdistaa

Voit säästää kustannuksia poistamalla kaikki resurssit, jotka otit käyttöön osana opetusohjelmaa. Jos käynnistit AWS Cloud9:n tai EC2-esiintymän, voit poistaa sen konsolin kautta tai käyttämällä AWS CLI:tä. Vastaavasti voit poistaa SageMaker-muistikirjan, jonka olet ehkä luonut SageMaker-konsolin kautta.

Rajoitukset ja niihin liittyvät työt

Valeuutisten havaitsemisen alaa tutkitaan aktiivisesti tiedeyhteisössä. Tässä viestissä käytimme Chain-of-Thought- ja ReAct-tekniikoita ja tekniikoiden arvioinnissa keskityimme vain nopean tekniikan luokituksen tarkkuuteen (jos jokin väite on tosi tai epätosi). Siksi emme ole huomioineet muita tärkeitä näkökohtia, kuten vastauksen nopeutta, emmekä laajentaneet ratkaisua muihin tietokantalähteisiin Wikipedian lisäksi.

Vaikka tämä viesti keskittyi kahteen tekniikkaan, Chain-of-thoughtiin ja ReActiin, laaja työ on tutkinut, kuinka LLM:t voivat havaita, poistaa tai lieventää valeuutisia. Lee et ai. on ehdottanut enkooderi-dekooderimallin käyttöä, joka käyttää NER:iä (nimetty entiteettitunnistus) nimettyjen entiteettien peittämiseen, jotta varmistetaan, että maskittu token todella käyttää kielimalliin koodattua tietoa. Chern et ai. kehitetty FacTool, joka käyttää ajatusketjun periaatteita poimimaan väitteitä kehotuksesta ja keräämään siten asiaankuuluvia todisteita väitteistä. LLM arvioi sitten väitteen todenperäisyyden haetun todisteluettelon perusteella. Du E. et ai. esittelee täydentävän lähestymistavan, jossa useat LLM:t ehdottavat ja keskustelevat yksilöllisistä vastauksistaan ​​ja päättelyprosesseistaan ​​useiden kierrosten aikana yhteisen lopullisen vastauksen saavuttamiseksi.

Kirjallisuuden perusteella näemme, että LLM:ien tehokkuus valeuutisten havaitsemisessa kasvaa, kun LLM:itä täydennetään ulkopuolisella tiedolla ja monen tahon keskustelukyvyllä. Nämä lähestymistavat ovat kuitenkin laskennallisesti monimutkaisempia, koska ne vaativat useita mallikutsuja ja vuorovaikutuksia, pidempiä kehotteita ja pitkiä verkkokerroksen puheluita. Viime kädessä tämä monimutkaisuus johtaa lisääntyneisiin kokonaiskustannuksiin. Suosittelemme kustannus-suorituskykysuhteen arvioimista ennen vastaavien ratkaisujen käyttöönottoa tuotannossa.

Yhteenveto

Tässä viestissä pohdimme, kuinka LLM:itä voidaan käyttää vallitsevan valeuutisten ongelman ratkaisemiseen, joka on yksi yhteiskuntamme suurimmista haasteista nykyään. Aloitimme hahmottelemalla valeuutisten tuomia haasteita painottaen niiden potentiaalia horjuttaa julkista mielialaa ja aiheuttaa yhteiskunnallisia häiriöitä.

Sitten esittelimme käsitteen LLM:t edistyneinä tekoälymalleina, jotka on koulutettu käyttämään huomattavaa määrää dataa. Tämän laajan koulutuksen ansiosta näissä malleissa on vaikuttava kielen ymmärtäminen, mikä mahdollistaa ihmisen kaltaisen tekstin tuottamisen. Tämän kapasiteetin avulla osoitimme, kuinka LLM:itä voidaan valjastaa taistelussa valeuutisia vastaan ​​käyttämällä kahta erilaista kehotustekniikkaa, Chain-of-thought ja ReAct.

Korostimme, kuinka LLM:t voivat helpottaa tosiasiantarkistuspalveluita ennennäkemättömässä mittakaavassa, kun otetaan huomioon niiden kyky käsitellä ja analysoida suuria määriä tekstiä nopeasti. Tämä reaaliaikaisen analyysin mahdollisuus voi johtaa valeuutisten varhaiseen havaitsemiseen ja hillitsemiseen. Havainnollistimme tätä luomalla Python-skriptin, joka lausunnon perusteella korostaa käyttäjälle, onko artikkeli totta vai väärennetty luonnollisella kielellä.

Päätimme korostaa nykyisen lähestymistavan rajoituksia ja päätimme toiveikkaasti korostaen, että oikeilla suojatoimilla ja jatkuvilla parannuksilla LLM:istä voi tulla välttämättömiä työkaluja valeuutisten torjunnassa.

Haluaisimme kuulla sinusta. Kerro meille mielipiteesi kommenttiosiossa tai käytä keskustelufoorumia GitHub-arkisto.

Vastuuvapauslauseke: Tässä viestissä annettu koodi on tarkoitettu vain koulutus- ja kokeilutarkoituksiin. Sitä ei pidä luottaa valeuutisten tai väärän tiedon havaitsemiseen todellisissa tuotantojärjestelmissä. Tällä koodilla ei taata väärennetyn uutisen havaitsemisen tarkkuutta tai täydellisyyttä. Käyttäjien tulee noudattaa varovaisuutta ja tehdä asianmukaista huolellisuutta ennen näiden tekniikoiden käyttämistä herkissä sovelluksissa.

Aloita Amazon Bedrockin käyttö osoitteessa Amazon Bedrock -konsoli.

Tietoja kirjoittajista

Anamaria Todor on pääratkaisuarkkitehti Kööpenhaminassa, Tanskassa. Hän näki ensimmäisen tietokoneensa 4-vuotiaana, eikä hän ole koskaan luopunut tietojenkäsittelytieteestä, videopeleistä ja tekniikasta sen jälkeen. Hän on työskennellyt erilaisissa teknisissä tehtävissä freelancerista, full-stack-kehittäjästä data-insinööriin, tekniseen johtoon ja teknologiajohtajaan, useissa yrityksissä Tanskassa keskittyen peli- ja mainosteollisuuteen. Hän on työskennellyt AWS:ssä yli 3 vuotta ja työskennellyt pääratkaisuarkkitehtina, keskittyen pääasiassa biotieteisiin ja AI/ML:ään. Anamarialla on sovelletun tekniikan ja tietojenkäsittelytieteen kandidaatin tutkinto, tietojenkäsittelytieteen maisterin tutkinto ja yli 10 vuoden AWS-kokemus. Kun hän ei ole töissä tai pelaa videopelejä, hän valmentaa tyttöjä ja naispuolisia ammattilaisia ​​ymmärtämään ja löytämään polkunsa teknologian kautta.

Marcel Castro on Senior Solutions Architect, jonka kotipaikka on Oslossa, Norjassa. Roolissaan Marcel auttaa asiakkaita arkkitehtuurissa, suunnittelussa ja pilvioptimoidun infrastruktuurin kehittämisessä. Hän on AWS Generative AI Ambassador -tiimin jäsen, jonka tavoitteena on ajaa ja tukea EMEA-alueen asiakkaita heidän generatiivisella tekoälymatkallaan. Hän on suorittanut tietojenkäsittelytieteen tohtorintutkinnon Ruotsista ja maisterin- ja kandidaatintutkinnon sähkötekniikasta ja telekommunikaatiosta Brasiliasta.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/harness-large-language-models-in-fake-news-detection/