Börja prata med Ellie Pavlick om hennes arbete — letar efter bevis på förståelse inom stora språkmodeller (LLM) — och hon kan låta som om hon gör narr av det. Frasen "handvågig" är en favorit, och om hon nämner "mening" eller "resonemang", kommer det ofta med iögonfallande luftcitat. Det här är bara Pavlicks sätt att hålla sig ärlig. Som datavetare som studerar språkmodeller vid Brown University och Google DeepMind, vet hon att det enda sättet att ta det på allvar är att omfamna det naturliga språkets inneboende sörjighet. "Detta är en vetenskaplig disciplin - och det är lite squishy," sade hon.

Precision och nyanser har samexisterat i Pavlicks värld sedan tonåren, då hon gillade matematik och naturvetenskap "men alltid identifierats som mer av en kreativ typ." Som grundexamen tog hon examen i ekonomi och saxofonprestanda innan hon doktorerade i datavetenskap, ett område där hon fortfarande känner sig som en outsider. "Det finns många människor som [tror] att intelligenta system kommer att se mycket ut som datorkod: snyggt och bekvämt som många system [vi är] bra på att förstå," sa hon. "Jag tror bara att svaren är komplicerade. Om jag har en lösning som är enkel är jag ganska säker på att den är fel. Och jag vill inte ha fel.”

Ett tillfälligt möte med en datavetare som råkade arbeta med naturlig språkbehandling ledde till att Pavlick påbörjade sitt doktorandarbete med att studera hur datorer kunde koda semantik, eller mening i språk. "Jag tror att det kliade en viss klåda," sa hon. "Det dyker in i filosofin, och det passar med många av de saker jag jobbar med för närvarande." Nu fokuserar ett av Pavlicks primära forskningsområden på "grounding" - frågan om huruvida ordens betydelse beror på saker som existerar oberoende av språket i sig, såsom sensoriska uppfattningar, sociala interaktioner eller till och med andra tankar. Språkmodeller tränas helt och hållet på text, så de ger en fruktbar plattform för att utforska hur jordning har betydelse för mening. Men själva frågan har sysselsatt lingvister och andra tänkare i decennier.

"Detta är inte bara "tekniska" problem," sa Pavlick. "Språket är så stort att det för mig känns som att det omfattar allt."

Quanta pratade med Pavlick om att göra vetenskap av filosofi, vad "mening" betyder och vikten av osexiga resultat. Intervjun har förtätats och redigerats för tydlighetens skull.

Vad betyder "förståelse" eller "mening" empiriskt? Vad, specifikt, letar du efter?

När jag började mitt forskningsprogram på Brown bestämde vi oss för att mening involverar begrepp på något sätt. Jag inser att detta är ett teoretiskt åtagande som inte alla gör, men det verkar intuitivt. Om du använder ordet "äpple" för att betyda äpple behöver du begreppet äpple. Det måste vara en sak, oavsett om du använder ordet för att referera till det eller inte. Det är vad det betyder att "ha mening": det måste finnas begreppet, något du verbaliserar.

Jag vill hitta begrepp i modellen. Jag vill ha något som jag kan ta tag i i det neurala nätverket, bevis på att det finns en sak som representerar "äpple" internt, som gör att det konsekvent kan refereras till med samma ord. För det verkar finnas den här interna strukturen som inte är slumpmässig och godtycklig. Du kan hitta dessa små klumpar av väldefinierade funktioner som tillförlitligt gör något.

Jag har fokuserat på att karakterisera denna inre struktur. Vilken form har den? Det kan vara någon delmängd av vikterna inom det neurala nätverket, eller någon form av linjär algebraisk operation över dessa vikter, någon form av geometrisk abstraktion. Men det måste spela en kausal roll [i modellens beteende]: Den är kopplad till dessa ingångar men inte de, och dessa utgångar och inte de.

Det känns som något man kan börja kalla "mening". Det handlar om att ta reda på hur man hittar den här strukturen och etablerar relationer, så att när vi väl har fått allt på plats kan vi tillämpa det på frågor som "Vet det vad "äpple" betyder?"

Har du hittat några exempel på denna struktur?

Ja, en resultera innebär när en språkmodell hämtar en bit information. Om du frågar modellen, "Vad är Frankrikes huvudstad", måste det stå "Paris", och "Vad är Polens huvudstad" bör returnera "Warszawa." Det kan mycket lätt bara memorera alla dessa svar, och de kan vara utspridda runt omkring [inom modellen] - det finns ingen riktig anledning till att det behöver ha en koppling mellan dessa saker.

Istället hittade vi en liten plats i modellen där det i princip kokar ner den kopplingen till en liten vektor. Om du lägger till det i "Vad är Frankrikes huvudstad", kommer det att hämta "Paris"; och samma vektor, om du frågar "Vad är Polens huvudstad", kommer att hämta "Warszawa." Det är som den här systematiska vektorn för "hämta-huvudstad".

Det är ett riktigt spännande fynd eftersom det verkar som att [modellen] kokar ner dessa små koncept och sedan tillämpar allmänna algoritmer över dem. Och även om vi tittar på dessa riktigt [enkla] frågor, handlar det om att hitta bevis på dessa råvaror som modellen använder. I det här fallet skulle det vara lättare att komma undan med att memorera - på många sätt är det vad dessa nätverk är designade för att göra. Istället bryter den ner [information] i bitar och "skäl" om det. Och vi hoppas att när vi kommer på bättre experimentdesigner, kan vi hitta något liknande för mer komplicerade typer av koncept.

Hur förhåller sig jordning till dessa representationer?

Sättet som människor lär sig språk grundar sig i massor av icke-språklig input: dina kroppsliga förnimmelser, dina känslor, oavsett om du är hungrig, vad som helst. Det anses vara väldigt viktigt för betydelsen.

Men det finns andra föreställningar om jordning som har mer att göra med interna representationer. Det finns ord som inte är uppenbart kopplade till den fysiska världen, men de har fortfarande betydelse. Ett ord som "demokrati" är ett favoritexempel. Det är en grej i ditt huvud: jag kan tänka på demokrati utan att prata om det. Så grunden kan vara från språket till den där saken, den där interna representationen.

Men du hävdar att även saker som är mer externa, som färg, fortfarande kan vara förankrade till interna "konceptuella" representationer, utan att förlita sig på uppfattningar. Hur skulle det fungera?

Tja, en språkmodell har väl inga ögon? Den "vet" ingenting om färger. Så kanske [det fångar] något mer allmänt, som att förstå relationerna mellan dem. Jag vet att när jag kombinerar blått och rött blir jag lila; den typen av relationer skulle kunna definiera denna interna [grundande] struktur.

Vi kan ge exempel på färg till en LLM med hjälp av RGB-koder [strängar av siffror som representerar färger]. Om du säger "OK, här är rött" och ger det RGB-koden för rött och "Här är blå" med RGB-koden för blått och sedan säger "Berätta för mig vad lila är", bör det generera RGB-koden för lila. Denna kartläggning borde vara en bra indikation på att den interna strukturen som modellen har är sund — den saknar percepten [för färg], men den konceptuella strukturen finns där.

Det som är knepigt är att [modellen] bara kunde memorera RGB-koder, som finns över hela dess träningsdata. Så vi "roterade" alla färger [bort från deras verkliga RGB-värden]: Vi skulle berätta för LLM att ordet "gul" var associerat med RGB-koden för grönt, och så vidare. Modellen presterade bra: När du bad om grönt, skulle det ge dig den roterade versionen av RGB-koden. Det antyder att det finns någon form av konsistens i dess interna representationer för färg. Det är att tillämpa kunskap om deras relationer, inte bara att memorera.

Det är hela poängen med jordning. Att mappa ett namn på en färg är godtyckligt. Det handlar mer om relationerna dem emellan. Så det var spännande.

Hur kan dessa filosofiskt klingande frågor vara vetenskapliga?

Jag fick nyligen veta om ett tankeexperiment: Tänk om havet svepte upp på sanden och [när det] drog sig tillbaka, genererade mönstren en dikt? Har dikten betydelse? Det verkar superabstrakt, och du kan ha den här långa filosofiska debatten.

Det fina med språkmodeller är att vi inte behöver ett tankeexperiment. Det är inte som "I teorin, skulle en sådan sak vara intelligent?" Det är bara: Är det här intelligent? Det blir vetenskapligt och empiriskt.

Ibland är människor avvisande; där är "stokastiska papegojor" närma sig. Jag tror att det [kommer från] en rädsla för att människor kommer att överteckna intelligens på dessa saker - vilket vi ser. Och för att korrigera för det är folk som: "Nej, det är bara en bluff. Det här är rök och speglar.”

Det är lite av en otjänst. Vi har hittat på något ganska spännande och ganska nytt, och det är värt att förstå det på djupet. Det är en enorm möjlighet som inte bör försvinna eftersom vi är oroliga för att övertolka modellerna.

Självklart du'har också producerat forskning avfärdar precis den typen av övertolkning.

Det där arbetet, där människor hittade alla "grunda heuristiker" som modeller utnyttjade [för att efterlikna förståelse] - de var mycket grundläggande för att jag blev myndig som vetenskapsman. Men det är komplicerat. Det är som, förklara inte segern för tidigt. Det finns lite skepsis eller paranoia [i mig] att en utvärdering gjordes rätt, även en som jag vet att jag utformade mycket noggrant!

Så det är en del av det: att inte göra överkrav. En annan del är att om du hanterar dessa [språkmodell]-system, så vet du att de inte är på mänsklig nivå – sättet som de löser saker på är inte så intelligent som det verkar.

När så många av de grundläggande metoderna och termerna är uppe för debatt inom detta område, hur mäter man ens framgång?

Vad jag tror att vi letar efter, som forskare, är en exakt, mänskligt begriplig beskrivning av vad vi bryr oss om - intelligens, i det här fallet. Och så bifogar vi ord som hjälper oss att komma dit. Vi behöver någon form av fungerande vokabulär.

Men det är svårt, för då kan du komma in i den här semantikens kamp. När folk säger "har det betydelse: ja eller nej?" jag vet inte. Vi dirigerar konversationen till fel sak.

Det jag försöker erbjuda är en exakt redogörelse för de beteenden vi brydde oss om att förklara. Och det är lite omtvistat vid den tidpunkten om du vill kalla det "mening" eller "representation" eller något av dessa laddade ord. Poängen är att det finns en teori eller en föreslagen modell på bordet - låt oss utvärdera det.

Så hur kan forskning om språkmodeller gå mot det mer direkta tillvägagångssättet?

De typer av djupa frågor jag verkligen skulle vilja kunna besvara — Vilka är intelligensens byggstenar? Hur ser mänsklig intelligens ut? Hur ser modellintelligens ut? – är riktigt viktiga. Men jag tycker att det som måste hända de kommande 10 åren inte är särskilt sexigt.

Om vi ​​vill ta itu med dessa [interna] representationer behöver vi metoder för att hitta dem – metoder som är vetenskapligt välgrundade. Om det görs på rätt sätt kommer denna lågnivå, superin-the-weeds metodologiska grejer inte att leverera rubriker. Men det är de riktigt viktiga sakerna som gör att vi kan besvara dessa djupa frågor korrekt.

Samtidigt kommer modellerna att fortsätta förändras. Så det kommer att finnas en hel del saker som folk kommer att fortsätta publicera som om det vore "genombrottet", men det är det förmodligen inte. I mina tankar känns det för tidigt att få stora genombrott.

Människor studerar dessa riktigt enkla uppgifter, som att fråga [en språkmodell att slutföra] "John gav en drink till _______" och försöker se om det står "John" eller "Mary." Det har inte känslan av ett resultat som förklarar intelligens. Men jag tror faktiskt att verktygen vi använder för att beskriva detta tråkiga problem är avgörande för att svara på de djupa frågorna om intelligens.