Помощь в тонкой настройке

На DevDay в ноябре прошлого года мы объявило программа Custom Model, предназначенная для обучения и оптимизации моделей для конкретной области в сотрудничестве со специальной группой исследователей OpenAI. С тех пор мы встретились с десятками клиентов, чтобы оценить потребности их индивидуальных моделей и усовершенствовали нашу программу для дальнейшего максимизации производительности.

Сегодня мы официально объявляем о нашем предложении по тонкой настройке в рамках программы Custom Model. Помощь в тонкой настройке — это совместная работа наших технических специалистов по использованию методов, выходящих за рамки API тонкой настройки, таких как дополнительные гиперпараметры и различные методы эффективной тонкой настройки параметров (PEFT) в более широком масштабе. Это особенно полезно для организаций, которым нужна поддержка в настройке эффективных конвейеров обучающих данных, систем оценки, а также индивидуальных параметров и методов для максимизации производительности модели для их варианта использования или задачи.

Например, SK Telecom, телекоммуникационный оператор, обслуживающий более 30 миллионов абонентов в Южной Корее, хотел адаптировать модель, чтобы стать экспертом в области телекоммуникаций и изначально сосредоточиться на обслуживании клиентов. Они работали с OpenAI над тонкой настройкой GPT-4, чтобы улучшить его производительность в телекоммуникационных разговорах на корейском языке. В течение нескольких недель SKT и OpenAI добились значительного улучшения производительности при выполнении задач по обслуживанию клиентов телекоммуникаций: повышение качества обобщения разговоров на 35 %, точность распознавания намерений на 33 %, а также повышение оценки удовлетворенности с 3.6 до 4.5 (на 5 %). из 4) при сравнении доработанной модели с GPT-XNUMX. 

Специально обученная модель

В некоторых случаях организациям необходимо с нуля обучить специально созданную модель, которая понимает их бизнес, отрасль или сферу деятельности. Полностью специально обученные модели привносят новые знания из конкретной области, изменяя ключевые этапы процесса обучения модели с использованием новых методов промежуточного и постобучения. Организации, которые добиваются успеха с помощью полностью индивидуально обученной модели, часто имеют большие объемы собственных данных — миллионы примеров или миллиарды токенов — которые они хотят использовать для обучения модели новым знаниям или сложному, уникальному поведению для весьма специфических случаев использования. 

Например, Харви, юридический инструмент на основе искусственного интеллекта для адвокатов, созданный в партнерстве с OpenAI для создать специально обученную большую языковую модель для прецедентного права. Хотя модели-основатели были сильны в рассуждениях, им не хватало обширных знаний истории судебных дел и других знаний, необходимых для юридической работы. После тестирования оперативного проектирования, RAG и тонкой настройки Харви вместе с нашей командой работал над добавлением глубины контекста, необходимой для модели — эквивалента данных на сумму 10 миллиардов токенов. Наша команда изменила каждый этап процесса обучения модели: от промежуточного обучения с учетом специфики предметной области до настройки процессов после обучения и учета отзывов экспертов-юристов. Полученная модель позволила увеличить количество фактических ответов на 83 %, и адвокаты в 97 % случаев предпочли результаты адаптированной модели GPT-4.