ابدأ بالتحدث مع إيلي بافليك حول عملها - البحث عن دليل على الفهم ضمن نماذج اللغات الكبيرة (LLMs) - وقد تبدو كما لو أنها تسخر من ذلك. العبارة "تموج اليد" هي العبارة المفضلة، وإذا ذكرت "المعنى" أو "الاستدلال"، فغالبًا ما تأتي مع اقتباسات واضحة في الهواء. هذه مجرد طريقة بافليك للحفاظ على صدقها. باعتبارها عالمة كمبيوتر تدرس نماذج اللغة في جامعة براون وGoogle DeepMind، فهي تعلم أن احتضان اللغة الطبيعية المتأصلة هو الطريقة الوحيدة لأخذها على محمل الجد. وقالت: "هذا مجال علمي، وهو اسفنجي بعض الشيء".

لقد تعايشت الدقة والفروق الدقيقة في عالم بافليك منذ فترة المراهقة، عندما كانت تستمتع بالرياضيات والعلوم "ولكن تم تحديدها دائمًا على أنها من النوع الأكثر إبداعًا". عندما كانت طالبة جامعية، حصلت على درجات علمية في الاقتصاد وأداء الساكسفون قبل أن تسعى للحصول على درجة الدكتوراه في علوم الكمبيوتر، وهو المجال الذي لا تزال تشعر فيه وكأنها غريبة. وقالت: "هناك الكثير من الأشخاص الذين [يعتقدون] أن الأنظمة الذكية ستشبه إلى حد كبير رموز الكمبيوتر: فهي أنيقة ومريحة مثل الكثير من الأنظمة التي [نحن] جيدون في فهمها". "أعتقد فقط أن الإجابات معقدة. إذا كان لدي حل بسيط، فأنا متأكد من أنه خطأ. وأنا لا أريد أن أكون مخطئا.

أدى لقاء بالصدفة مع عالم كمبيوتر كان يعمل في معالجة اللغة الطبيعية إلى دفع بافليك إلى الشروع في عملها للحصول على الدكتوراه في دراسة كيفية تشفير أجهزة الكمبيوتر للدلالات، أو المعنى في اللغة. قالت: "أعتقد أنها خدشت حكة معينة". "إنه ينغمس في الفلسفة، وهذا يتناسب مع الكثير من الأشياء التي أعمل عليها حاليًا." الآن، يركز أحد مجالات بحث بافليك الأساسية على "التأريض" - مسألة ما إذا كان معنى الكلمات يعتمد على أشياء موجودة بشكل مستقل عن اللغة نفسها، مثل الإدراك الحسي، أو التفاعلات الاجتماعية، أو حتى الأفكار الأخرى. يتم تدريب النماذج اللغوية بشكل كامل على النص، لذا فهي توفر منصة مثمرة لاستكشاف مدى أهمية التأريض للمعنى. لكن السؤال نفسه شغل اللغويين والمفكرين الآخرين لعقود من الزمن.

وقال بافليك: "هذه ليست مشاكل "تقنية" فقط". "اللغة ضخمة جدًا لدرجة أنني أشعر أنها تشمل كل شيء."

كوانتا تحدثت مع بافليك عن كيفية جعل العلم من الفلسفة، وما يعنيه "المعنى"، وأهمية النتائج غير المثيرة. تم تكثيف المقابلة وتحريرها من أجل الوضوح.

ماذا يعني "الفهم" أو "المعنى" تجريبيًا؟ ما الذي تبحث عنه تحديدًا؟

عندما بدأت برنامجي البحثي في ​​جامعة براون، قررنا أن المعنى يتضمن مفاهيم بطريقة ما. أدرك أن هذا التزام نظري لا يلتزم به الجميع، ولكنه يبدو بديهيًا. إذا كنت تستخدم كلمة "تفاحة" لتعني تفاحة، فأنت بحاجة إلى مفهوم التفاحة. يجب أن يكون هذا شيئًا، سواء استخدمت الكلمة للإشارة إليها أم لا. هذا هو ما يعنيه "أن يكون لديك معنى": يجب أن يكون هناك مفهوم، شيء تعبر عنه لفظيًا.

أريد أن أجد مفاهيم في النموذج. أريد شيئًا يمكنني الحصول عليه داخل الشبكة العصبية، دليلًا على وجود شيء يمثل "تفاحة" داخليًا، مما يسمح بالإشارة إليه باستمرار بنفس الكلمة. لأنه يبدو أن هناك بنية داخلية ليست عشوائية أو اعتباطية. يمكنك العثور على هذه الشذرات الصغيرة من الوظائف المحددة جيدًا والتي يمكنها القيام بشيء ما بشكل موثوق.

لقد ركزت على توصيف هذا الهيكل الداخلي. ما هو الشكل الذي لديه؟ يمكن أن تكون مجموعة فرعية من الأوزان داخل الشبكة العصبية، أو نوعًا من العمليات الجبرية الخطية على تلك الأوزان، أو نوعًا ما من التجريد الهندسي. ولكن يجب أن يلعب دورًا سببيًا [في سلوك النموذج]: فهو مرتبط بهذه المدخلات ولكن ليس بتلك، وهذه المخرجات وليس تلك.

يبدو هذا وكأنه شيء يمكنك أن تبدأ في تسميته "المعنى". يتعلق الأمر بمعرفة كيفية العثور على هذا الهيكل وإقامة العلاقات، بحيث بمجرد أن نضع كل شيء في مكانه الصحيح، يمكننا تطبيقه على أسئلة مثل "هل تعرف ماذا تعني كلمة "تفاحة"؟"

هل وجدت أي أمثلة على هذا الهيكل؟

نعم واحدة نتيجة يتضمن عندما يسترد نموذج اللغة جزءًا من المعلومات. إذا سألت النموذج "ما هي عاصمة فرنسا"، فيجب أن يقول "باريس"، و"ما هي عاصمة بولندا" يجب أن يرد "وارسو". يمكنه بسهولة حفظ كل هذه الإجابات، ويمكن أن تكون متناثرة في كل مكان [داخل النموذج] - لا يوجد سبب حقيقي لضرورة وجود صلة بين تلك الأشياء.

بدلاً من ذلك، وجدنا مكانًا صغيرًا في النموذج حيث يتم اختصار هذا الاتصال في متجه واحد صغير. وإذا أضفتها إلى "ما هي عاصمة فرنسا"، فسوف تسترد "باريس"؛ وهذا المتجه نفسه، إذا سألت "ما هي عاصمة بولندا"، سوف يستعيد "وارسو". إنه مثل هذا المتجه المنهجي "لاسترداد العاصمة".

وهذا اكتشاف مثير حقًا لأنه يبدو أن [النموذج] يقوم بتلخيص هذه المفاهيم الصغيرة ثم تطبيق خوارزميات عامة عليها. وعلى الرغم من أننا ننظر إلى هذه الأسئلة [البسيطة] حقًا، إلا أن الأمر يتعلق بالعثور على دليل على هذه المكونات الخام التي يستخدمها النموذج. في هذه الحالة، سيكون من الأسهل الإفلات من الحفظ - في نواحٍ عديدة، هذا ما صممت هذه الشبكات للقيام به. وبدلاً من ذلك، فهو يقسم [المعلومات] إلى أجزاء و"أسباب" تتعلق بها. ونأمل أنه عندما نتوصل إلى تصميمات تجريبية أفضل، قد نجد شيئًا مشابهًا لأنواع أكثر تعقيدًا من المفاهيم.

كيف يرتبط التأريض بهذه التمثيلات؟

الطريقة التي يتعلم بها البشر اللغة ترتكز على الكثير من المدخلات غير اللغوية: أحاسيسك الجسدية، وعواطفك، وما إذا كنت جائعًا، أو أي شيء آخر. يعتبر هذا أمرًا مهمًا حقًا للمعنى.

ولكن هناك مفاهيم أخرى للتأريض لها علاقة أكبر بالتمثيلات الداخلية. هناك كلمات ليست مرتبطة بشكل واضح بالعالم المادي، ومع ذلك لا يزال لها معنى. كلمة مثل "الديمقراطية" هي المثال المفضل. إنه شيء يدور في رأسك: أستطيع أن أفكر في الديمقراطية دون أن أتحدث عنها. لذلك يمكن أن يكون الأساس من اللغة إلى ذلك الشيء، ذلك التمثيل الداخلي.

لكنك تجادل بأنه حتى الأشياء الخارجية، مثل اللون، قد تظل مرتبطة بتمثيلات "مفاهيمية" داخلية، دون الاعتماد على التصورات. كيف يعمل ذلك؟

حسنًا، نموذج اللغة ليس لديه عيون، أليس كذلك؟ إنه لا "يعرف" أي شيء عن الألوان. لذا ربما [يلتقط] شيئًا أكثر عمومية، مثل فهم العلاقات بينهما. أعلم أنه عندما أجمع بين الأزرق والأحمر، أحصل على اللون الأرجواني؛ يمكن لهذه الأنواع من العلاقات أن تحدد هذا الهيكل [التأريض] الداخلي.

يمكننا إعطاء أمثلة على الألوان لماجستير القانون باستخدام رموز RGB [سلاسل من الأرقام التي تمثل الألوان]. إذا قلت "حسنًا، هذا هو اللون الأحمر"، وأعطته رمز RGB للون الأحمر، و"هنا أزرق"، مع رمز RGB للون الأزرق، ثم قلت "أخبرني ما هو اللون الأرجواني"، فيجب أن ينشئ رمز RGB لـ أرجواني. يجب أن يكون هذا التعيين مؤشرًا جيدًا على أن البنية الداخلية للنموذج سليمة - فهي تفتقد التصورات [لللون]، ولكن البنية المفاهيمية موجودة.

الأمر الصعب هو أن [النموذج] يمكنه فقط حفظ رموز RGB، الموجودة في جميع بيانات التدريب الخاصة به. لذلك قمنا "بتدوير" جميع الألوان [بعيدًا عن قيم RGB الحقيقية]: سنخبر LLM أن الكلمة "أصفر" مرتبطة بكود RGB للأخضر، وهكذا. كان أداء النموذج جيدًا: عندما تطلب اللون الأخضر، فإنه سيعطيك النسخة المدورة من كود RGB. يشير ذلك إلى وجود نوع من الاتساق في تمثيلاتها الداخلية للون. إنه تطبيق المعرفة بعلاقاتهم، وليس الحفظ فقط.

هذا هو بيت القصيد من التأريض. يعد تعيين اسم على لون أمرًا تعسفيًا. يتعلق الأمر أكثر بالعلاقات بينهما. لذلك كان ذلك مثيرًا.

كيف يمكن لهذه الأسئلة التي تبدو فلسفية أن تكون علمية؟

لقد علمت مؤخرًا بتجربة فكرية: ماذا لو اجتاح المحيط الرمال و[عندما] انسحبت، أنتجت الأنماط قصيدة؟ هل للقصيدة معنى؟ يبدو هذا مجردًا جدًا، ويمكنك إجراء هذا النقاش الفلسفي الطويل.

الشيء الجميل في نماذج اللغة هو أننا لسنا بحاجة إلى تجربة فكرية. ليس الأمر مثل: "من الناحية النظرية، هل سيكون هذا الشيء أو ذاك ذكيًا؟" إنه مجرد: هل هذا الشيء ذكي؟ ويصبح علمية وتجريبية.

في بعض الأحيان يكون الناس رافضين؛ هناك "الببغاوات العشوائية" يقترب. أعتقد أن هذا [يأتي من] الخوف من أن الناس سوف يبالغون في تقدير المعلومات الاستخبارية لهذه الأشياء - وهو ما نراه بالفعل. ولتصحيح ذلك، يقول الناس: "لا، كل هذا مجرد خدعة. هذا دخان ومرايا».

انها قليلا من الأذى. لقد توصلنا إلى شيء مثير للغاية وجديد تمامًا، ويستحق فهمه بعمق. إنها فرصة كبيرة لا ينبغي التهرب منها لأننا قلقون بشأن المبالغة في تفسير النماذج.

طبعا انت'لقد أنتجت أيضا بحث فضح بالضبط هذا النوع من الإفراط في التفسير.

هذا العمل، حيث كان الناس يجدون كل "الاستدلالات الضحلة" التي كانت النماذج تستغلها [لتقليد الفهم] - كانت تلك بمثابة أساس كبير لبلوغي سن الرشد كعالم. لكن الأمر معقد. إنه مثل، لا تعلن النصر مبكرًا. هناك القليل من الشك أو جنون العظمة [في داخلي] بأن التقييم قد تم بشكل صحيح، حتى التقييم الذي أعرف أنني صممته بعناية فائقة!

وهذا جزء منه: عدم المبالغة في المطالبة. جزء آخر هو أنك إذا تعاملت مع أنظمة [نموذج اللغة] هذه، فإنك تعلم أنها ليست على المستوى البشري - فالطريقة التي تحل بها الأشياء ليست ذكية كما تبدو.

عندما تكون الكثير من الأساليب والمصطلحات الأساسية مطروحة للنقاش في هذا المجال، كيف يمكنك حتى قياس النجاح؟

أعتقد أن ما نبحث عنه، كعلماء، هو وصف دقيق ومفهوم للإنسان لما نهتم به - الذكاء، في هذه الحالة. ثم نرفق الكلمات لمساعدتنا في الوصول إلى هناك. نحن بحاجة إلى نوع من المفردات العمل.

لكن هذا صعب، لأنه بعد ذلك يمكنك الدخول في معركة الدلالات هذه. عندما يقول الناس "هل لها معنى: نعم أم لا؟" لا أعرف. نحن نوجه المحادثة إلى الشيء الخطأ.

ما أحاول تقديمه هو وصف دقيق للسلوكيات التي حرصنا على شرحها. ومن المثير للجدل في هذه المرحلة ما إذا كنت تريد أن تسميها "معنى" أو "تمثيلًا" أو أيًا من هذه الكلمات المحملة. النقطة المهمة هي أن هناك نظرية أو نموذجًا مقترحًا على الطاولة - فلنقم بتقييم ذلك.

إذًا كيف يمكن للبحث في نماذج اللغة أن يتحرك نحو هذا النهج الأكثر مباشرة؟

أنواع الأسئلة العميقة التي أود حقًا أن أكون قادرًا على الإجابة عليها – ما هي العناصر الأساسية للذكاء؟ كيف يبدو الذكاء البشري؟ كيف يبدو نموذج الذكاء؟ - مهمة حقًا. لكنني أعتقد أن الأشياء التي يجب أن تحدث خلال السنوات العشر القادمة ليست مثيرة للغاية.

إذا أردنا التعامل مع هذه التمثيلات [الداخلية]، فنحن بحاجة إلى طرق للعثور عليها، طرق سليمة علميا. إذا تم القيام بذلك بالطريقة الصحيحة، فإن هذه الأمور المنهجية ذات المستوى المنخفض والغريبة لن تتصدر عناوين الأخبار. ولكن هذه هي الأشياء المهمة حقًا التي ستسمح لنا بالإجابة على هذه الأسئلة العميقة بشكل صحيح.

وفي الوقت نفسه، ستستمر النماذج في التغير. لذلك سيكون هناك الكثير من الأشياء التي سيستمر الناس في نشرها كما لو كانت "الاختراق"، ولكن من المحتمل ألا يكون كذلك. في رأيي، يبدو أنه من السابق لأوانه تحقيق اختراقات كبيرة.

يدرس الناس هذه المهام البسيطة حقًا، مثل سؤال [نموذج لغوي لإكماله] "لقد أعطى يوحنا مشروبًا لـ _______"، ومحاولة معرفة ما إذا كان يقول "جون" أم "مريم". ليس لديه شعور بنتيجة تفسر الذكاء. لكنني أعتقد في الواقع أن الأدوات التي نستخدمها لوصف هذه المشكلة المملة ضرورية للإجابة على الأسئلة العميقة حول الذكاء.