스위스 ETH Zurich의 과학자들은 대규모 언어 모델(LLM)을 보다 저렴하고 아마도 조금 더 안전하게 만드는 한 가지 방법은 영어와 같은 자연어로 직접 다루지 않는 것이라고 믿습니다.
오히려 언어 모델 프로그래밍(LMP)을 통해 LLM을 더 프로그래밍 가능하게 만들 것을 제안합니다.
ETH Zurich 컴퓨터 과학자 Luca Beurer-Kellner, Marc Fischer, 박사 과정 학생 및 Martin Vechev 교수는 다음과 같은 프로그래밍 언어와 런타임을 개발했습니다. LMQL, 언어 모델 쿼리 언어를 나타냅니다.
LLM용 SQL과 약간 비슷합니다.
언어 모델 프로그래밍은 텍스트 기반 프롬프트를 대체하는 것이 아니라 보완하기 위한 것입니다. PromptChainer, langchain, OpenPrompt 및 PromptSource와 같은 관련 프로젝트가 해결하려고 하는 과제인 특정 작업을 달성하기 위해 언어 모델과의 상호 작용을 단순화하기 위한 것입니다.
"LMP는 순수 텍스트 프롬프트에서 텍스트 프롬프트와 스크립팅의 직관적인 조합으로 언어 모델 프롬프트를 일반화합니다."라고 저자는 설명합니다. 연구 논문 [PDF]. "또한 LMP를 사용하면 언어 모델 출력에 제약 조건을 지정할 수 있습니다."
그리고 LLM이 끔찍한 말을 하도록 속일 수 있을 때 출력을 제한하는 것은 특정한 매력이 있습니다.
Nvidia와 같은 다른 회사도 LLM 출력 길들이기가 추구할 가치가 있는 목표라고 확신하는 것으로 보입니다. 칩메이커의 NeMo 가드레일 프로젝트는 "정치에 대해 말하지 않는 것과 같이 대규모 언어 모델의 출력을 제어하는 특정 방법…"을 약속합니다.
LMQL을 사용하면 모델 개발자가 모델 출력을 관리하는 논리적 제약 조건을 선언할 수 있습니다. 이것들은 "토큰 수준의 예측 마스크"로 바뀝니다. 토큰 LLM이 다루는 것입니다.
다음은 LMQL 쿼리에 대한 설명서의 예입니다.
argmax """리뷰: 우리는 즐거운 시간을 보냈습니다. 산에서 하이킹을 하는 것은 환상적이었고 음식은 정말 맛있었습니다. Q: 이 리뷰의 근본적인 감정은 무엇이며 그 이유는 무엇입니까? A:[분석] 이를 바탕으로 전반적인 감정은 메시지는 ["positive", "neutral", "negative"]의 ANALYSIS 및 CLASSIFICATION에서 "n"이 아닌 "openai/text-davinci-003"의 [분류]"""로 간주될 수 있습니다.
모델 출력은 다음과 같습니다.
검토: 우리는 즐거운 시간을 보냈습니다. 산행은 환상적이었고 음식은 정말 맛있습니다.⏎ Q: 이 리뷰의 근본적인 정서는 무엇이며 그 이유는 무엇입니까?⏎ A: ANALYSIS⏎ 이를 바탕으로 메시지의 전반적인 정서는 CLASSIFICATION 긍정적이라고 볼 수 있습니다.
세 가지 제약 조건이 없는 경우 – 긍정적인, 중립의, 부정 – 모델이 궤도를 이탈하여 다음과 같은 미친 감정 설명자를 제안했을 수 있습니다. 좋은 or 나쁜. 당신은 아이디어를 얻을.
Luca Beurer-Kellner는 ETH Zurich에서 "LMQL을 사용하면 설계한 특정 프레임워크를 엄격하게 따르도록 언어 모델을 제한할 수 있습니다."라고 말했습니다. 언론 발표문. “이를 통해 언어 모델이 작동하는 방식을 더 잘 제어할 수 있습니다. 물론 나쁜 행동에 대한 완전한 예방을 보장하는 것은 여전히 달성하기 매우 어렵지만 LMQL은 이 방향으로 나아가는 한 단계입니다.”
제한적인 출력은 LLM의 주요 문제로, 유일한 문제는 아니지만 검증되지 않은 교육 데이터에서 독성 콘텐츠를 역류시키도록 쉽게 설득되는 것으로 알려져 있습니다. 조작 입력의 문제도 있습니다. 특히 즉각적인 주입 공격.
통화한 사이먼 윌리슨 등록 최근 이 문제에 대해 LMQL이 즉각적인 속임수를 완전히 완화할 수 있다는 회의론을 표명했습니다. "나는 그들이 일어서서 '특히 신속한 주입에 관해... 이것이 우리의 기술이 이전의 노력이 실패한 곳을 해결하는 이유입니다'라고 말해야 합니다."라고 그는 말했습니다.
LMQL은 LLM 안전을 개선하기 위한 유용성이 있다고 주장하지만 주요 목적은 비용 절감인 것으로 보입니다. 이 언어는 모델 쿼리와 청구 가능한 토큰의 수를 각각 최대 41%와 31%까지 줄여주므로 더 적은 계산 리소스가 필요합니다.
"LMQL은 사용자 제약 조건과 스크립팅된 프롬프트를 활용하여 마스킹을 통해 LM의 검색 공간을 정리하여 추론 비용을 최대 80%까지 줄입니다."
OpenAI에서 제공하는 것과 같은 유료 API의 경우 GPT-26 davinci 모델의 $85/0.02k 토큰 가격을 기준으로 1~3% 범위의 비용 절감을 예상합니다. ®
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
- 출처: https://go.theregister.com/feed/www.theregister.com/2023/04/28/ai_models_may_not_yet/
