Почніть розмовляти з Еллі Павлік про її роботу — пошук доказів розуміння в рамках великих мовних моделей (LLM) — і вона може здатися так, ніби вона з цього кепкує. Фраза «махає рукою» є улюбленою, і якщо вона згадує «сенс» або «міркування», це часто супроводжуватиметься помітними повітряними лапками. Це просто спосіб Павлік залишатися чесною. Як фахівець із інформатики, який вивчає мовні моделі в Університеті Брауна та Google DeepMind, вона знає, що прийняти притаманну природній мові м’якість — єдиний спосіб сприймати її серйозно. «Це наукова дисципліна — і вона трохи хлюпає», — сказала вона.

Точність і нюанси співіснували у світі Павлік з підліткового віку, коли вона захоплювалася математикою та наукою, «але завжди вважала себе більш творчим типом». Будучи студентом, вона здобула ступінь з економіки та гри на саксофоні, а потім здобула ступінь доктора інформатики, галузі, де вона досі відчуває себе аутсайдером. «Багато людей [думають], що інтелектуальні системи будуть виглядати дуже схожими на комп’ютерний код: акуратно та зручно, як багато систем, [ми] добре розуміємося”, – сказала вона. «Я просто вважаю, що відповіді складні. Якщо у мене є просте рішення, я майже впевнений, що воно неправильне. І я не хочу помилятися».

Випадкова зустріч з комп’ютерним вченим, який випадково працював над обробкою природної мови, спонукала Павлік розпочати свою докторську роботу, вивчаючи, як комп’ютери можуть кодувати семантику, або значення в мові. «Мені здається, це викликало певний свербіж», — сказала вона. «Він занурюється у філософію, і це відповідає багатьом речам, над якими я зараз працюю». Тепер одна з головних сфер досліджень Павліка зосереджена на «заземленні» — питанні про те, чи залежить значення слів від речей, які існують незалежно від самої мови, таких як чуттєве сприйняття, соціальні взаємодії чи навіть інші думки. Мовні моделі навчаються виключно на тексті, тож вони забезпечують плідну платформу для дослідження того, як заземлення має значення для значення. Але саме це питання десятиліттями хвилювало лінгвістів та інших мислителів.

«Це не лише «технічні» проблеми, — сказав Павлік. «Мова настільки велика, що мені здається, що вона охоплює все».

Quanta поговорив із Павліком про те, як перетворити філософію на науку, що означає «сенс» і важливість непривабливих результатів. Інтерв’ю було скорочено та відредаговано для ясності.

Що емпірично означає «розуміння» або «значення»? Що конкретно ви шукаєте?

Коли я починав свою дослідницьку програму в Брауні, ми вирішили, що значення певним чином включає поняття. Я розумію, що це теоретичне зобов’язання, яке беруть на себе не всі, але воно здається інтуїтивним. Якщо ви використовуєте слово «яблуко» в значенні «яблуко», вам знадобиться поняття «яблуко». Це має бути річ, незалежно від того, використовуєте ви це слово для позначення цього чи ні. Ось що означає «мати значення»: має бути концепція, щось, що ви вербалізуєте.

Я хочу знайти концепції в моделі. Мені потрібне щось, що я можу отримати в нейромережі, доказ того, що існує щось, що представляє «яблуко» всередині, що дозволяє постійно називати його одним словом. Тому що, здається, існує ця внутрішня структура, яка не є випадковою і довільною. Ви можете знайти ці маленькі самородки з чітко визначеною функцією, які надійно роблять щось.

Я зосередився на характеристиці цієї внутрішньої структури. Яку форму він має? Це може бути деяка підмножина вагових коефіцієнтів у нейронній мережі або якась лінійна алгебраїчна операція над цими ваговими коефіцієнтами, якась геометрична абстракція. Але він має відігравати причинно-наслідкову роль [у поведінці моделі]: він пов’язаний із цими входами, але не тими, і цими виходами, а не тими.

Це схоже на щось, що можна назвати «сенсом». Йдеться про те, щоб з’ясувати, як знайти цю структуру та встановити зв’язки, щоб, коли ми все встановимо, ми могли застосувати це до таких запитань, як «Чи знає він, що означає «яблуко»?»

Чи знайшли ви приклади такої структури?

Так, один результат передбачає, коли мовна модель отримує частину інформації. Якщо ви запитуєте модель: «Яка столиця Франції», вона має сказати «Париж», а «Яка столиця Польщі» має відповісти «Варшава». Він дуже легко може просто запам’ятати всі ці відповіді, і вони можуть бути розкидані всюди [всередині моделі] — немає реальних причин, щоб він мав зв’язок між цими речами.

Натомість ми знайшли невелике місце в моделі, де цей зв’язок фактично зводиться до одного маленького вектора. Якщо додати його до «Столиця Франції», буде знайдено «Париж»; і цей самий вектор, якщо ви запитаєте «Яка столиця Польщі», отримає «Варшава». Це схоже на цей систематичний вектор «повернути-столиця-місто».

Це справді захоплююче відкриття, оскільки здається, що [модель] зводить ці маленькі концепції, а потім застосовує до них загальні алгоритми. І навіть незважаючи на те, що ми розглядаємо ці справді [прості] запитання, мова йде про пошук доказів цих сирих інгредієнтів, які використовує модель. У цьому випадку було б легше позбутися запам’ятовування — багато в чому саме для цього створені ці мережі. Натомість він розбиває [інформацію] на шматки та «міркує» про це. І ми сподіваємося, що коли ми придумаємо кращі експериментальні розробки, ми зможемо знайти щось подібне для більш складних типів концепцій.

Яке відношення заземлення до цих уявлень?

Те, як люди вивчають мову, ґрунтується на масі нелінгвістичних даних: ваших тілесних відчуттів, ваших емоцій, чи є ви голодними тощо. Це вважається дійсно важливим для значення.

Але є й інші поняття заземлення, які більше стосуються внутрішніх уявлень. Є слова, які явно не пов’язані з фізичним світом, але вони все одно мають значення. Улюбленим прикладом є таке слово, як «демократія». Це у вас в голові: я можу думати про демократію, не говорячи про неї. Отже, заземлення може бути від мови до цієї речі, цього внутрішнього представлення.

Але ви стверджуєте, що навіть речі, які є більш зовнішніми, як-от колір, все одно можуть бути прив’язані до внутрішніх «концептуальних» уявлень, не покладаючись на сприйняття. Як це буде працювати?

Ну, мовна модель не має очей, чи не так? Він нічого не «знає» про кольори. Тож, можливо, [це охоплює] щось більш загальне, як-от розуміння зв’язків між ними. Я знаю, що коли я поєдную синій і червоний, я отримую фіолетовий; такі відносини можуть визначати цю внутрішню [основну] структуру.

Ми можемо навести приклади кольору для LLM, використовуючи коди RGB [рядки чисел, які представляють кольори]. Якщо ви скажете «ОК, ось червоний» і введете RGB-код для червоного, і «Ось синій» з RGB-кодом для синього, а потім скажете «Скажи мені, що таке фіолетовий», він повинен створити RGB-код для фіолетовий. Це відображення має бути хорошим свідченням того, що внутрішня структура моделі є правильною — у ній відсутні сприйняття [для кольору], але концептуальна структура є.

Що складно, так це те, що [модель] могла просто запам’ятовувати коди RGB, які містяться в її навчальних даних. Тож ми «обернули» всі кольори [від їхніх справжніх значень RGB]: ми сказали LLM, що слово «yellow» пов’язане з кодом RGB для зеленого тощо. Модель показала хороші результати: коли ви запитували зелений колір, ви отримували повернуту версію коду RGB. Це означає, що існує певна узгодженість його внутрішніх уявлень про колір. Це застосування знань про їхні стосунки, а не просто запам’ятовування.

Ось і вся суть заземлення. Відображення назви в кольорі є довільним. Це більше стосується стосунків між ними. Тож це було захоплююче.

Як ці питання, що звучать філософськи, можуть бути науковими?

Нещодавно я дізнався про уявний експеримент: що, якби океан піднявся на пісок і [коли він] відступив, візерунки створили вірш? Чи має вірш зміст? Це здається надзвичайно абстрактним, і ви можете вести ці довгі філософські дебати.

Приємно в мовних моделях те, що нам не потрібен уявний експеримент. Це не таке: «Теоретично чи така й така річ буде розумною?» Просто: чи ця штука розумна? Воно стає науковим і емпіричним.

Іноді люди зневажливі; є "стохастичні папуги» підхід. Я думаю, що це [походить від] страху, що люди збираються переоцінювати ці речі, що ми бачимо. І щоб виправити це, люди кажуть: «Ні, це все обман. Це дим і дзеркала».

Це трохи погана послуга. Ми натрапили на щось досить захоплююче та досить нове, і варто це глибоко зрозуміти. Це величезна можливість, про яку не варто нехтувати, тому що ми стурбовані надмірною інтерпретацією моделей.

Звичайно, ти"ве також виробляв дослідження розвінчуючи саме таке надмірне тлумачення.

Ця робота, де люди знаходили всі «неглибокі евристики», які використовували моделі [щоб імітувати розуміння], — вони були дуже основоположними для мого дорослішання як вченого. Але це складно. Це як, не оголошуйте перемогу занадто рано. Є трохи скептицизму чи параної [в мені] щодо того, що оцінювання було зроблено правильно, навіть те, що я знаю, що я розробив дуже ретельно!

Тож це частина цього: не зайві вимоги. Інша частина полягає в тому, що якщо ви маєте справу з цими системами [моделі мови], ви знаєте, що вони не людського рівня — спосіб, яким вони вирішують проблеми, не такий розумний, як здається.

Коли так багато основних методів і термінів є предметом дебатів у цій галузі, як взагалі виміряти успіх?

Я вважаю, що ми, як вчені, шукаємо точний, зрозумілий людині опис того, що нас цікавить — у цьому випадку інтелекту. А потім ми додаємо слова, які допоможуть нам досягти цього. Нам потрібен якийсь робочий словник.

Але це важко, тому що тоді ви можете потрапити в цю битву семантики. Коли люди кажуть: «Чи це має значення: так чи ні?» Не знаю. Ми направляємо розмову не на те.

Я намагаюся запропонувати точний опис поведінки, яку ми хотіли пояснити. І наразі залишається спірним, чи хочете ви назвати це «значенням», «репрезентацією» чи будь-яким із цих завантажених слів. Справа в тому, що на столі є теорія або запропонована модель — давайте оцінимо це.

Отже, як дослідження мовних моделей можуть рухатися до цього більш прямого підходу?

Типи глибоких запитань, на які я справді хотів би отримати відповідь — Які будівельні блоки інтелекту? Як виглядає людський інтелект? Як виглядає модельний інтелект? — справді важливі. Але я думаю, що те, що має відбутися протягом наступних 10 років, не дуже сексуально.

Якщо ми хочемо мати справу з цими [внутрішніми] представленнями, нам потрібні методи їх пошуку — методи, які є науково обґрунтованими. Якщо це зроблено належним чином, ця низькорівнева методологічна штука в бур’янах не принесе заголовків. Але це дійсно важливі речі, які дозволять нам правильно відповісти на ці глибокі запитання.

При цьому моделі будуть змінюватися. Тож буде багато матеріалів, які люди продовжуватимуть публікувати, ніби це «прорив», але, ймовірно, це не так. На мій погляд, це здається надто рано для великих проривів.

Люди вивчають ці справді прості завдання, як-от запитати [мовну модель для завершення] «Джон дав випити _______», і намагаються побачити, чи написано «Джон» чи «Мері». Це не має відчуття результату, який пояснює інтелект. Але я справді вірю, що інструменти, які ми використовуємо для опису цієї нудної проблеми, необхідні для відповіді на глибокі запитання про інтелект.