어떤 뉴스 회사가 자체 대규모 AI 모델을 처음으로 사용할지 예측하려면 Bloomberg가 좋은 선택이었을 것입니다. 모든 성공을 위해 소비자 대면 뉴스로 확대 지난 XNUMX년 동안 Bloomberg는 근본적으로 데이터 회사였습니다. $30,000/년 구독 에 터미널.

금요일에 회사는 다음과 같이 발표했습니다. BloombergGPT라는 것을 만들었습니다.. 회사 전체가 "알고 있는" 모든 것을 "알고자" 하는 것을 목표로 하는 컴퓨터라고 생각하십시오.

블룸버그 오늘 연구 논문을 발표했다 새로운 대규모 생성 인공 지능(AI) 모델인 BloombergGPT™의 개발에 대해 자세히 설명합니다. 이 대규모 언어 모델(LLM)은 금융 산업 내에서 다양한 자연어 처리(NLP) 작업을 지원하기 위해 광범위한 금융 데이터에 대해 특별히 훈련되었습니다.

LLM을 기반으로 하는 인공 지능(AI)의 최근 발전은 이미 많은 영역에서 흥미롭고 새로운 응용 프로그램을 입증했습니다. 그러나 금융 영역의 복잡성과 고유한 용어는 영역별 모델을 보증합니다. BloombergGPT는 금융 산업을 위한 이 새로운 기술의 개발 및 적용의 첫 번째 단계를 나타냅니다. 이 모델은 감정 분석, 명명된 엔터티 인식, 뉴스 분류 및 질문 답변과 같은 기존 금융 NLP 작업을 개선하는 데 있어 Bloomberg를 지원합니다. 또한 BloombergGPT는 Bloomberg 터미널에서 사용할 수 있는 방대한 양의 데이터를 마샬링하여 회사의 고객을 더 잘 지원하는 동시에 금융 영역에 AI의 잠재력을 최대한 활용할 수 있는 새로운 기회를 열어줄 것입니다.

기술적 세부 사항은 약속한 대로 이 연구 논문. 블룸버그의 것입니다. 우 시지에, 오잔 이르소이, 스티븐 루, 바딤 다 브라 볼 스키, 마크 드레제, 세바스티안 게르만, 프라반잔 캄바두르, 데이비드 로젠버그및 기드온 만.

BloombergGPT는 얼마나 큽니까? 글쎄, 회사는 그것이 이상의 말뭉치에서 훈련되었다고 말합니다 700 억 토큰(또는 단어 조각). 참고로 3년에 출시된 GPT-2020는 약 500억. (OpenAI는 GPT-4에 해당하는 숫자를 밝히기를 거부했습니다. 지난달 출시된 후계자, 인용"경쟁 구도. ")

모든 훈련 데이터에는 무엇이 있습니까? 700억 개가 넘는 토큰 중 363억 개는 Bloomberg의 자체 금융 데이터에서 가져온 것으로, 터미널에 전원을 공급하는 일종의 정보입니다. "지금까지 구축된 가장 큰 도메인별 데이터 세트"라고 합니다. 또 다른 345억 개의 토큰은 다른 곳에서 얻은 "범용 데이터 세트"에서 나옵니다.

범용 LLM 또는 도메인별 데이터 전용 소규모 LLM을 구축하는 대신 혼합 접근 방식을 취합니다. 일반 모델은 많은 영역을 포괄하고 다양한 작업에서 높은 수준으로 수행할 수 있으며 교육 시간 동안 전문화할 필요가 없습니다. 그러나 기존 도메인 특정 모델의 결과는 일반 모델이 이를 대체할 수 없음을 보여줍니다. Bloomberg에서 우리는 일반 모델에서 잘 제공되는 매우 크고 다양한 일련의 작업을 지원하지만 대부분의 응용 프로그램은 특정 모델에서 더 잘 제공되는 금융 영역 내에 있습니다. 이러한 이유로 우리는 재무 벤치마크에서 동급 최고의 결과를 달성하는 동시에 범용 LLM 벤치마크에서 경쟁력 있는 성능을 유지하는 모델을 구축하기 시작했습니다.

FinPile이라는 회사별 데이터는 "뉴스, 파일링, 보도 자료, 웹 스크랩 재무 문서 및 Bloomberg 아카이브에서 가져온 소셜 미디어를 포함한 다양한 영어 재무 문서"로 구성됩니다. 따라서 지난 몇 년 동안 Bloomberg Businessweek 기사를 읽었다면 거기에 있습니다. SEC 제출, Bloomberg TV 성적표, Fed 데이터 및 "금융 시장과 관련된 기타 데이터"도 마찬가지입니다. 에 대해서도 훈련되어 있다. X-블룸버그 뉴스 출처:

뉴스 카테고리에는 블룸버그 기자가 작성한 뉴스 기사를 제외한 모든 뉴스 소스가 포함됩니다. 전반적으로 FinPile에는 수백 개의 영어 뉴스 소스가 있습니다. 일반적으로 이 데이터 세트의 콘텐츠는 사실성을 유지하고 편견을 줄이기 위해 금융 커뮤니티와 관련된 평판이 좋은 뉴스 소스에서 가져옵니다.

비재무 관련 데이터에는 다음이 포함됩니다. 방대한 말뭉치 시적으로 알려진 더미; 여기에는 YouTube 캡션부터 Project Gutenberg, 예, Enron 이메일 캐시 그 아르 항상 팝업 in AI 교육. (지난 XNUMX월 현재 Wikipedia의 전체 사본도 보유하고 있습니다.)

그러나 훈련 데이터에 대해서는 충분합니다. BloombergGPT는 무엇을 할 수 있습니까? do? 다른 LLM과 교육 기반을 공유하기 때문에 BloombergGPT는 ChatGPT 및 유사한 모델에서 기대하는 일을 할 수 있습니다. 그러나 블룸버그의 요구에 더 밀접하게 연결된 작업을 수행할 수도 있습니다. 자연어 요청("apple and ibm market cap and eps")을 Bloomberg Query Language 터미널 사용자가 좋아/싫어하는 언어로 변환할 수 있습니다(get(cur_mkt_cap,is_eps) for([’AAPL US Equity’,’IBM US Equity’])). 또한 뉴스 기사에 대한 블룸버그 스타일의 헤드라인을 제안할 수도 있습니다(죄송합니다, 복사 편집자).

입력: Redfin에 따르면 2.3년 하반기 미국 주택 시장의 가치는 4.9조 2022천억 달러, 즉 2008% 감소했습니다. 이는 같은 기간 동안 가치가 5.8% 하락한 XNUMX년 주택 위기 이후 백분율 기준으로 가장 큰 폭의 하락입니다.
산출: 집값 15년 만에 최대폭 하락 

입력: 오늘날 세계 경제는 많은 사람들이 몇 달 전에 예측했던 것보다 더 나은 위치에 있다고 Janet Yellen이 G20에서 말했습니다. 국내에서 그녀는 헤드라인 인플레이션이 완화되고 노동 시장이 강한 회복력 있는 미국 경제를 지적했습니다. 그녀는 또한 IMF가 우크라이나를 위한 전액 지원 프로그램으로 신속하게 이동할 것을 촉구했습니다.
산출: Yellen은 세계 경제가 예상보다 더 탄력적이라고 ​​봅니다.

입력: Google은 미국 및 1982개 주에서 디지털 광고 시장을 독점했다는 이유로 광고 기술 사업의 해체를 요구하는 소송을 제기했습니다. 이번 소송은 기술 거인에 대한 바이든 행정부의 첫 번째 큰 도전이자 XNUMX년 법무부가 대기업을 분할하려고 한 이후 드문 경우 중 하나입니다.
산출: 구글, 온라인 광고 시장 독점 소송

그들은 감정 분석, 분류, 데이터 추출 또는 완전히 다른 어떤 것이든 특정 비즈니스 관련 질문에 답하기 위해 더 잘 조정되었다고 말합니다. (“예를 들어, 회사의 CEO를 식별하는 데 효과적입니다.”)

이 백서에는 GPT-3 및 기타 LLM과의 일련의 성능 비교가 포함되어 있으며 BloombergGPT가 적어도 유사한 크기의 모델과 대면할 때 일반 작업에서 자체적으로 유지되고 많은 재무 관련 작업에서 능가한다는 사실을 발견했습니다. (내부 테스트 배터리에는 "테이블 안의 펭귄," "Snarks", "거짓말의 거미줄", 무서운 "Hyperbaton".)

많은 벤치마크의 수십 가지 작업에서 명확한 그림이 나타납니다. 우리가 비교한 수백억 개의 매개 변수가 있는 모델 중에서 BloombergGPT가 가장 잘 수행됩니다. 또한 경우에 따라 훨씬 더 큰 모델(수천억 개의 매개 변수)의 성능을 능가하거나 경쟁력이 있습니다. BloombergGPT의 목표는 재무 작업을 위한 동급 최고의 모델이 되는 것이었고 도메인별 교육을 지원하기 위해 범용 교육 데이터를 포함했지만 모델은 여전히 ​​유사한 크기의 모델을 능가하는 범용 데이터에 대한 능력을 달성했습니다. , 경우에 따라 훨씬 더 큰 모델과 일치하거나 성능이 뛰어납니다.

Penguin은 제쳐두고 Bloomberg의 언론인이나 터미널 고객을 위해 벤치마킹을 넘어서는 보다 구체적인 사용 사례를 상상하는 것은 어렵지 않습니다. (회사의 발표는 자사가 구축한 것으로 무엇을 할 계획인지 명시하지 않았습니다.) 전 세계의 모든 프리미엄 영어 비즈니스 보고 자료와 이를 뒷받침하는 구조화 및 기타 재무 데이터의 세계 — 생성 AI가 채굴하도록 설계된 일종의 풍부한 정보 정맥입니다. 상자 안의 제도적 기억입니다.

즉, LLM에 대한 모든 일반적인 주의 사항이 적용됩니다. BloombergGPT는 확신합니다. 환각. 모든 훈련 데이터는 자체 세트와 함께 제공됩니다. 잠재적 편향. (BloombergGPT가 곧 프롤레타리아트 혁명을 요구하지 않을 것이라고 장담합니다.)

BloombergGPT가 다른 뉴스 조직에 어떻게 영감을 줄 수 있는지에 대해...음, Bloomberg는 여기에서 조합된 데이터의 규모와 적용할 수 있는 제품과 관련하여 매우 독특한 상황에 처해 있습니다. 그러나 장기적으로 소규모 출판사, 특히 대규모 디지털 아카이브를 보유한 출판사를 위한 기회가 열릴 것이라고 믿습니다. Anytown Gazette가 100년 간의 신문 기록 보관소와 방대한 시/군/주 문서 컬렉션 및 손에 넣을 수 있는 기타 모든 로컬 데이터 소스에 대해 AI를 훈련시키는 것을 상상해 보십시오.

물론 블룸버그가 도달할 수 있는 것과는 근본적으로 다른 규모이며 공개적으로 사용하는 것보다 내부 도구로 더 유용할 수 있습니다. 그러나 지난 XNUMX년 동안 놀라운 AI ​​발전 속도를 감안할 때 생각보다 빨리 가치 있는 아이디어가 될 수 있습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://www.fintechnews.org/what-if-chatgpt-was-trained-on-decades-of-financial-news-and-data-bloomberggpt-aims-to-be-a-domain-specific-ai-for-business-news/