يعتقد العلماء في ETH Zurich في سويسرا أن إحدى الطرق لجعل نماذج اللغة الكبيرة (LLM) ميسورة التكلفة ، وربما أكثر أمانًا قليلاً ، هي عدم معالجتها مباشرة بلغة طبيعية مثل الإنجليزية.
بدلاً من ذلك ، يقترحون جعل LLM أكثر قابلية للبرمجة ، عبر برمجة نماذج اللغة (LMP).
قام علماء الكمبيوتر في ETH Zurich ، Luca Beurer- Kellner ، و Marc Fischer ، وكلاهما من طلاب الدكتوراه ، والبروفيسور Martin Vechev بتطوير لغة برمجة ووقت تشغيل يسمى LMQL، والتي تعني لغة استعلام نموذج اللغة.
إنها تشبه إلى حد ما SQL لـ LLMs.
تهدف برمجة النماذج اللغوية إلى استكمال المطالبات النصية وليس استبدالها. إنه لتبسيط التفاعل مع نماذج اللغة من أجل تحقيق مهمة محددة ، وهو تحد تحاول المشاريع ذات الصلة مثل PromptChainer و langchain و OpenPrompt و PromptSource معالجته.
يوضح المؤلفون: "يعمم LMP نموذج اللغة من مطالبات النص الخالص إلى مزيج بديهي من المطالبة بالنص والبرمجة النصية" ورقة بحثية [بي دي إف]. "بالإضافة إلى ذلك ، يسمح LMP بتحديد القيود على إخراج نموذج اللغة."
وعندما يمكن إقناع LLM بقول أشياء فظيعة ، فإن تقييد إنتاجها له جاذبية معينة.
يبدو أيضًا أن آخرين مثل Nvidia مقتنعون بأن ترويض مخرجات LLM هدف يستحق المتابعة. صانع الرقائق حواجز الحماية نيمو يعد المشروع "بطرق محددة للتحكم في مخرجات نموذج لغوي كبير ، مثل عدم الحديث عن السياسة ..."
يسمح LMQL لمطوري النماذج بإعلان القيود المنطقية التي تحكم إخراج النموذج. يتم تحويلها إلى "أقنعة تنبؤ على مستوى الرمز المميز" - رموز كونها ما تتعامل معه LLM.
فيما يلي مثال من الوثائق حول استعلام LMQL:
argmax "" "مراجعة: لقد حظينا بإقامة رائعة. كان التنزه في الجبال رائعًا والطعام جيد حقًا. س: ما هو الشعور الكامن وراء هذه المراجعة ولماذا؟ ج: [تحليل] بناءً على هذا ، فإن الشعور العام من الرسالة يمكن اعتبارها [CLASSIFICATION] "" "من" openai / text-davinci-003 "حيث لا يوجد" n "في التحليل والتصنيف في [" إيجابي "،" محايد "،" سلبي "]
سيكون ناتج النموذج:
مراجعة: لقد كانت إقامة رائعة. كان التنزه في الجبال رائعًا والطعام جيد حقًا. س: ما هو الشعور الكامن وراء هذه المراجعة ولماذا؟
في غياب القيود الثلاثة - إيجابي, محايد, سلبي - قد يكون النموذج قد خرج عن المسار واقترح بعض واصفات المشاعر المجنونة مثل خير or سيئة. انت وجدت الفكرة.
قال Luca Beurer- Kellner في ETH Zurich: "باستخدام LMQL ، يمكنك تقييد نموذج لغتك ليتبع بدقة إطار عمل محددًا صممته" بيان صحفي. "يتيح لك هذا التحكم بشكل أفضل في سلوك نموذج اللغة. بالطبع ، لا يزال من الصعب جدًا تحقيق الوقاية الكاملة المضمونة من السلوك السيئ ، ولكن LMQL هي خطوة واحدة في هذا الاتجاه ".
يُعد تقييد الإنتاج مشكلة رئيسية بالنسبة إلى LLMs ، والمعروف بسهولة إقناعها لإخراج المحتوى السام من بيانات التدريب غير المصدق عليها ، على الرغم من أنها ليست الوحيدة. هناك أيضًا مشكلة المدخلات المتلاعبة على وجه التحديد هجمات الحقن الفوري.
سيمون ويليسون ، الذي تحدث معه السجل مؤخرًا حول هذه المشكلة ، أعربوا عن شكوكهم في أن LMQL يمكن أن تخفف تمامًا من الخداع الفوري. وقال: "أريدهم أن يقفوا ويقولوا" على وجه التحديد فيما يتعلق بالحقن الفوري ... وهذا هو السبب في أن أسلوبنا يحل المشكلة حيث فشلت الجهود السابقة ".
بينما تدعي LMQL أن لديها بعض الفوائد لتحسين أمان LLM ، يبدو أن الغرض الأساسي منها هو توفير المال. تعمل اللغة على تقليل استعلامات النموذج وعدد الرموز المميزة القابلة للفوترة بنسبة تصل إلى 41 بالمائة و 31 بالمائة على التوالي ، الأمر الذي يتطلب بدوره موارد حسابية أقل.
"تستفيد LMQL من قيود المستخدم والمطالبات المبرمجة لتقليص مساحة البحث الخاصة بـ LM عن طريق الإخفاء ، مما يؤدي إلى تقليل تكلفة الاستدلال بنسبة تصل إلى 80 بالمائة" ، وفقًا لحالة boffins ، مشيرة إلى تقليل زمن الانتقال أيضًا.
بالنسبة لواجهات برمجة التطبيقات للدفع مقابل الاستخدام مثل تلك التي تقدمها OpenAI ، فإنها تتوقع وفورات في التكاليف في نطاق 26 إلى 85 بالمائة ، بناءً على تسعير 0.02 دولار / 1 ألف دولار من نموذج GPT-3 davinci. ®
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- المصدر https://go.theregister.com/feed/www.theregister.com/2023/04/28/ai_models_may_not_yet/
