Generative Data Intelligence

AI

Найкращі практики створення генеративних додатків ШІ на AWS | Веб-сервіси Amazon

Перевидав Платон
Перевидав Платон

Дата:

переглядів: 0

Генеративний ШІ додатки, що керуються фундаментальними моделями (FM), дають змогу організаціям мати значну бізнес-цінність у сфері обслуговування клієнтів, продуктивності, оптимізації процесів та інновацій. Однак прийняття цих FM передбачає вирішення деяких ключових проблем, включаючи якість результату, конфіденційність даних, безпеку, інтеграцію з даними організації, вартість і навички надання послуг.

У цій публікації ми досліджуємо різні підходи, до яких можна застосувати під час створення програм, які використовують генеративний ШІ. Зі стрімким розвитком FM настав захоплюючий час, щоб використати їх потужність, але також важливо зрозуміти, як правильно використовувати їх для досягнення бізнес-результатів. Ми надаємо огляд ключових генеративних підходів штучного інтелекту, включно з оперативним проектуванням, розширеною генерацією пошуку (RAG) і налаштуванням моделі. Застосовуючи ці підходи, ми обговорюємо ключові міркування щодо потенційних галюцинацій, інтеграції з даними підприємства, якості результату та вартості. Наприкінці ви матимете надійні рекомендації та корисну блок-схему для визначення найкращого методу розробки власних програм на базі FM-радіо, заснованих на прикладах із реального життя. Незалежно від того, створюєте чат-бота чи інструмент узагальнення, ви можете формувати потужні FM-повідомлення відповідно до своїх потреб.

Генеративний ШІ з AWS

Поява FM створює як можливості, так і проблеми для організацій, які прагнуть використовувати ці технології. Ключовим завданням є забезпечення високоякісних узгоджених результатів, які відповідають потребам бізнесу, а не галюцинаціям чи неправдивій інформації. Організації також повинні ретельно керувати конфіденційністю даних і ризиками безпеки, які виникають внаслідок обробки конфіденційних даних за допомогою FM. Навичок, необхідних для належної інтеграції, налаштування та перевірки FM в рамках існуючих систем і даних, бракує. Створення великих мовних моделей (LLM) з нуля або налаштування попередньо навчених моделей вимагає значних обчислювальних ресурсів, експертів із обробки даних і місяців інженерної роботи. Лише обчислювальні витрати можуть легко досягати мільйонів доларів для навчання моделей із сотнями мільярдів параметрів на величезних наборах даних за допомогою тисяч GPU або TPU. Крім апаратного забезпечення, очищення та обробка даних, проектування архітектури моделі, налаштування гіперпараметрів і розробка конвеєра навчання вимагають спеціальних навичок машинного навчання (ML). Наскрізний процес є складним, трудомістким і надзвичайно дорогим для більшості організацій без необхідної інфраструктури та інвестицій у кадри. Організації, які не справляються з цими ризиками належним чином, можуть зіткнутися з негативним впливом на репутацію свого бренду, довіру клієнтів, діяльність і доходи.

Amazon Bedrock – це повністю керований сервіс, який пропонує вибір високоефективних базових моделей (FM) від провідних компаній штучного інтелекту, таких як AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI та Amazon через єдиний API. Завдяки безсерверному досвіду Amazon Bedrock ви можете швидко розпочати роботу, конфіденційно налаштувати FM за допомогою власних даних, а також інтегрувати та розгорнути їх у своїх програмах за допомогою інструментів AWS без необхідності керувати будь-якою інфраструктурою. Amazon Bedrock відповідає HIPAA, і ви можете використовувати Amazon Bedrock відповідно до GDPR. З Amazon Bedrock ваш вміст не використовується для покращення базових моделей і не надається стороннім постачальникам моделей. Ваші дані в Amazon Bedrock завжди зашифровані під час передавання та зберігання, і ви можете за бажанням шифрувати ресурси за допомогою власних ключів. Ви можете використовувати AWS PrivateLink за допомогою Amazon Bedrock, щоб встановити приватне з’єднання між вашими FM-станціями та вашим VPC, не піддаючи ваш трафік Інтернету. с Бази знань для Amazon Bedrock, ви можете надавати менеджерам з управління та агентам контекстну інформацію з приватних джерел даних вашої компанії для RAG, щоб надавати більш релевантні, точні та індивідуальні відповіді. Ви можете приватно налаштувати FM за допомогою власних даних через візуальний інтерфейс без написання коду. Як повністю керований сервіс Amazon Bedrock пропонує простий досвід розробника для роботи з широким спектром високопродуктивних FM.

Створена в 2017, Amazon SageMaker це повністю керований сервіс, який спрощує створення, навчання та розгортання моделей ML. Все більше клієнтів створюють власні FM за допомогою SageMaker, зокрема Stability AI, AI21 Labs, Hugging Face, Perplexity AI, Hippocratic AI, LG AI Research та Technology Innovation Institute. Щоб допомогти вам швидко розпочати роботу, Amazon SageMaker JumpStart пропонує центр ML, де ви можете досліджувати, тренувати та розгортати широкий вибір загальнодоступних FM, таких як моделі Mistral, моделі LightOn, RedPajama, Mosiac MPT-7B, FLAN-T5/UL2, GPT-J-6B/Neox-20B і Bloom/BloomZ, використовуючи спеціально створені інструменти SageMaker, такі як експерименти та конвеєри.

Поширені генеративні підходи ШІ

У цьому розділі ми обговорюємо загальні підходи до впровадження ефективних генеративних рішень ШІ. Ми досліджуємо популярні методи швидкої інженерії, які дозволяють вам досягати більш складних і цікавих завдань з FM. Ми також обговорюємо, як такі методи, як RAG і налаштування моделі, можуть ще більше розширити можливості FM і подолати такі проблеми, як обмежені дані та обчислювальні обмеження. За допомогою правильної техніки ви можете створювати потужні та ефективні генеративні рішення ШІ.

Швидка інженерія

Підказка — це практика ретельного проектування підказок для ефективного використання можливостей FM. Це передбачає використання підказок, які є короткими фрагментами тексту, які спрямовують модель для створення більш точних і відповідних відповідей. Завдяки швидкому розробці ви можете покращити продуктивність FM і зробити їх більш ефективними для різноманітних застосувань. У цьому розділі ми досліджуємо такі методи, як «нульовий» і «нечисленний» підказки, які швидко адаптують FM до нових завдань лише за допомогою кількох прикладів, а також підказки за ланцюгом думок, які розбивають складні міркування на проміжні кроки. Ці методи демонструють, як оперативне проектування може зробити FM більш ефективними у складних завданнях, не вимагаючи перенавчання моделі.

Підказка нульового пострілу

Техніка підказки з нульовим ударом вимагає від FM генерувати відповідь без надання будь-яких явних прикладів бажаної поведінки, покладаючись виключно на своє попереднє навчання. На наступному знімку екрана показано приклад підказки нульового знімка з моделлю Anthropic Claude 2.1 на консолі Amazon Bedrock.

У цих інструкціях ми не наводимо жодних прикладів. Однак модель може зрозуміти завдання та створити відповідний результат. Підказки Zero-shot є найпростішою технікою підказок для початку під час оцінки FM для вашого випадку використання. Однак, незважаючи на те, що ФМ чудово підказує з нульовим ударом, це не завжди може дати точні або бажані результати для більш складних завдань. Якщо підказки з нульовим ударом не вдаються, рекомендується надати кілька прикладів у підказці (підказки з кількома випадками).

Кілька пострілів підказки

Техніка підказок із кількома випадками дає змогу фахівцям із підказки навчатися в контексті на основі прикладів у підказках і виконувати завдання більш точно. За допомогою лише кількох прикладів ви можете швидко адаптувати FM до нових завдань без великих наборів тренувань і направляти їх до бажаної поведінки. Нижче наведено приклад підказки за допомогою моделі Cohere Command на консолі Amazon Bedrock.

У попередньому прикладі FM зміг ідентифікувати сутності з вхідного тексту (відгуків) і витягнути пов’язані настрої. Кілька підказок є ефективним способом вирішення складних завдань, надаючи кілька прикладів пар введення-виведення. Для простих завдань ви можете навести один приклад (1-шаблон), тоді як для більш складних завдань ви повинні навести від трьох (3-шаблонів) до п’яти (5-шаблонів) прикладів. Мін та ін. (2022) опублікував висновки про навчання в контексті, яке може підвищити ефективність техніки підказок кількох дій. Ви можете використовувати декілька підказок для різноманітних завдань, таких як аналіз настроїв, розпізнавання об’єктів, відповіді на запитання, переклад і генерація коду.

Підказка по ланцюжку думок

Незважаючи на свій потенціал, короткочасні підказки мають обмеження, особливо коли ви маєте справу зі складними логічними завданнями (такими як арифметичні чи логічні завдання). Ці завдання вимагають розбиття проблеми на кроки, а потім її вирішення. Вей та ін. (2022) запровадив техніку підказок ланцюга думок (CoT) для вирішення складних проблем міркування за допомогою проміжних кроків міркування. Ви можете поєднати CoT із підказками кількох дій, щоб покращити результати складних завдань. Нижче наведено приклад логічного завдання з використанням підказок CoT з кількома кадрами з моделлю Anthropic Claude 2 на консолі Amazon Bedrock.

Kojima та ін. (2022) запровадив ідею нульового розрахунку CoT, використовуючи невикористані можливості FMs. Їхні дослідження вказують на те, що нульовий режим CoT, використовуючи той самий шаблон одноразової підказки, значно перевершує показники нульового розрахунку FM у різноманітних еталонних завданнях міркування. Ви можете використовувати нульову підказку CoT для простих завдань на міркування, додавши «Давайте подумаємо крок за кроком» до оригінальної підказки.

ReAct

Підказки CoT можуть покращити здатність експертів міркувати, але вони все ще залежать від внутрішніх знань моделі та не враховують будь-яку зовнішню базу знань чи середовище для збору додаткової інформації, що може призвести до таких проблем, як галюцинації. Підхід ReAct (міркування та дії) усуває цю прогалину, розширюючи CoT і дозволяючи динамічне міркування за допомогою зовнішнього середовища (наприклад, Вікіпедії).

інтеграцією

ФМ мають здатність розуміти запитання та давати відповіді, використовуючи свої попередньо набуті знання. Однак їм бракує спроможності відповідати на запити, що вимагають доступу до особистих даних організації, або здатності автономно виконувати завдання. RAG і агенти — це методи підключення цих генеративних додатків на основі штучного інтелекту до корпоративних наборів даних, що дозволяє їм надавати відповіді, які враховують організаційну інформацію, і дозволяють виконувати дії на основі запитів.

Доповнена генерація пошуку

Retrieval Augmented Generation (RAG) дозволяє вам налаштувати відповіді моделі, коли ви хочете, щоб модель враховувала нові знання або актуальну інформацію. Коли ваші дані часто змінюються, як-от запаси чи ціни, непрактично налаштовувати й оновлювати модель, поки вона обслуговує запити користувачів. Щоб забезпечити FM актуальною закритою інформацією, організації звертаються до RAG, техніки, яка передбачає отримання даних із джерел даних компанії та збагачення підказки цими даними для надання більш актуальних і точних відповідей.

Є кілька випадків використання, коли RAG може допомогти покращити продуктивність FM:

  • Відповідь на запитання – Моделі RAG допомагають програмам із відповідями на запитання знаходити та інтегрувати інформацію з документів або джерел знань для створення високоякісних відповідей. Наприклад, програма для відповідей на питання може отримати уривки про тему перед тим, як створити підсумкову відповідь.
  • Чат-боти та розмовні агенти – RAG дозволяє чат-ботам отримувати доступ до відповідної інформації з великих зовнішніх джерел знань. Це робить відповіді чат-бота більш обізнаними та природними.
  • Допомога в написанні – RAG може запропонувати відповідний вміст, факти та теми для обговорення, щоб допомогти вам ефективніше писати документи, такі як статті, звіти та електронні листи. Отримана інформація надає корисний контекст та ідеї.
  • Узагальнення – RAG може знаходити релевантні вихідні документи, уривки або факти, щоб покращити розуміння теми моделлю узагальнення, дозволяючи їй генерувати кращі узагальнення.
  • Творче письмо та оповідання – RAG може черпати сюжетні ідеї, персонажів, налаштування та творчі елементи з існуючих історій, щоб надихнути на створення моделей історії AI. Це робить вихід більш цікавим і обґрунтованим.
  • Переклад – RAG може знайти приклади того, як певні фрази перекладаються між мовами. Це забезпечує контекст для моделі перекладу, покращуючи переклад неоднозначних фраз.
  • Втілення – У чат-ботах і додатках для рекомендацій RAG може використовувати особистий контекст, як-от минулі розмови, інформацію про профіль і налаштування, щоб зробити відповіді більш персоналізованими та актуальними.

Використання RAG-фреймворку має кілька переваг:

  • Зменшення галюцинацій – Отримання відповідної інформації допомагає обґрунтувати згенерований текст фактами та реальними знаннями, а не галюцинованим текстом. Це сприяє більш точним, фактичним і надійним відповідям.
  • покриття – Отримання дозволяє FM охоплювати ширший спектр тем і сценаріїв, окрім навчальних даних, залучаючи зовнішню інформацію. Це допомагає вирішити проблеми обмеженого покриття.
  • Ефективність – Пошук дозволяє моделі зосередити свою генерацію на найбільш релевантній інформації, а не генерувати все з нуля. Це підвищує ефективність і дозволяє використовувати більші контексти.
  • Безпека – Отримання інформації з необхідних і дозволених джерел даних може покращити управління та контроль над створенням шкідливого та неточного вмісту. Це сприяє більш безпечному усиновленню.
  • масштабованість – Індексування та отримання з великих корпусів дозволяє краще масштабувати підхід порівняно з використанням повного корпусу під час створення. Це дає вам змогу використовувати FM в середовищах з обмеженими ресурсами.

RAG дає якісні результати завдяки розширенню контексту конкретного випадку використання безпосередньо з векторизованих сховищ даних. Порівняно з швидкою технікою, це дає значно кращі результати з дуже низькими шансами галюцинацій. Ви можете створювати програми на базі RAG на корпоративних даних за допомогою Амазонка Кендра. RAG має більшу складність, ніж оперативне проектування, тому що для реалізації цього рішення вам потрібні навички кодування та архітектури. Однак бази знань для Amazon Bedrock надають повністю керований досвід RAG і найпростіший спосіб розпочати роботу з RAG в Amazon Bedrock. Бази знань для Amazon Bedrock автоматизують наскрізний робочий процес RAG, включаючи прийом, отримання та оперативне доповнення, усуваючи необхідність писати спеціальний код для інтеграції джерел даних і керування запитами. Керування контекстом сеансу вбудовано, щоб ваша програма могла підтримувати багаточергові розмови. Відповіді бази знань містять посилання на джерело, щоб покращити прозорість і мінімізувати галюцинації. Найпростіший спосіб створення генеративного помічника на основі ШІ – це використання Amazon Q, який має вбудовану систему RAG.

RAG має найвищий ступінь гнучкості, коли йдеться про зміни в архітектурі. Ви можете змінювати модель вбудовування, векторне сховище та FM незалежно з мінімальним або помірним впливом на інші компоненти. Щоб дізнатися більше про підхід RAG з Служба Amazon OpenSearch і Amazon Bedrock, див Створюйте масштабовані та безсерверні робочі процеси RAG за допомогою векторної системи для моделей Amazon OpenSearch Serverless і Amazon Bedrock Claude. Щоб дізнатися, як застосувати RAG за допомогою Amazon Kendra, див Використання потужності корпоративних даних за допомогою генеративного штучного інтелекту: аналіз Amazon Kendra, LangChain і великих мовних моделей.

Агенти

ФМ можуть розуміти та відповідати на запити на основі своїх попередньо навчених знань. Однак вони не можуть самостійно виконати будь-які реальні завдання, як-от бронювання авіаквитка чи обробка замовлення. Це пов’язано з тим, що такі завдання вимагають специфічних для організації даних і робочих процесів, які зазвичай потребують спеціального програмування. Рамки як LangChain і певні FM, такі як моделі Claude, надають можливості виклику функцій для взаємодії з API та інструментами. однак, Агенти Amazon Bedrock, нова повністю керована функція штучного інтелекту від AWS, спрямована на те, щоб розробникам було легше створювати програми за допомогою FM наступного покоління. Лише кількома клацаннями миші він може автоматично розбивати завдання та генерувати необхідну логіку оркестровки без необхідності кодування вручну. Агенти можуть безпечно підключатися до баз даних компанії через API, отримувати та структурувати дані для машинного споживання, а також доповнювати їх контекстними деталями для створення точніших відповідей і виконання запитів. Завдяки інтеграції та інфраструктурі агенти для Amazon Bedrock дозволяють повністю використовувати генеративний ШІ для бізнес-випадків. Тепер розробники можуть зосередитись на своїх основних програмах, а не на рутинних сантехнічних роботах. Автоматизована обробка даних і виклики API також дозволяють FM надавати оновлені, адаптовані відповіді та виконувати фактичні завдання, використовуючи власні знання.

Налаштування моделі

Базові моделі надзвичайно потужні та створюють чудові програми, але ваш бізнес допоможе розвивати генеративний штучний інтелект, який знає, що важливо для ваших клієнтів, продуктів і компанії. А це можливо лише тоді, коли ви заряджаєте моделі своїми даними. Дані є ключем до переходу від загальних додатків до індивідуальних генеративних додатків штучного інтелекту, які створюють реальну цінність для ваших клієнтів і вашого бізнесу.

У цьому розділі ми обговорюємо різні методи та переваги налаштування ваших FM. Ми розповідаємо, як налаштування моделі передбачає подальше навчання та зміну ваги моделі для підвищення її продуктивності.

Тонка настройка

Тонка настройка — це процес взяття попередньо навченого FM, наприклад Llama 2, і подальшого навчання його на наступному завданні з набором даних, специфічним для цього завдання. Попередньо навчена модель надає загальні лінгвістичні знання, а тонке налаштування дозволяє їй спеціалізуватися та покращувати ефективність виконання певного завдання, наприклад класифікації тексту, відповіді на запитання чи генерування тексту. За допомогою точного налаштування ви надаєте позначені набори даних, які анотовані додатковим контекстом, щоб навчити модель виконувати певні завдання. Потім ви можете адаптувати параметри моделі для конкретного завдання на основі свого бізнес-контексту.

Ви можете виконати точне налаштування на FM за допомогою Amazon SageMaker JumpStart і Amazon Bedrock. Для отримання додаткової інформації див Розгортайте та налаштовуйте базові моделі в Amazon SageMaker JumpStart за допомогою двох рядків коду та Налаштуйте моделі в Amazon Bedrock за допомогою власних даних за допомогою точного налаштування та постійного попереднього навчання.

Продовження попередньої підготовки

Постійне попереднє навчання в Amazon Bedrock дає змогу навчати попередньо навчену модель на додаткових даних, подібних до вихідних даних. Це дозволяє моделі отримати більш загальні лінгвістичні знання, а не зосереджуватися на одній програмі. Постійно пройшовши попереднє навчання, ви можете використовувати свої немарковані набори даних або необроблені дані, щоб підвищити точність базової моделі для вашого домену шляхом налаштування параметрів моделі. Наприклад, медична компанія може продовжувати попереднє навчання своєї моделі, використовуючи медичні журнали, статті та дослідницькі роботи, щоб краще знати галузеву термінологію. Для отримання додаткової інформації див Досвід розробника Amazon Bedrock.

Переваги кастомізації моделі

Налаштування моделі має кілька переваг і може допомогти організаціям у наступному:

  • Предметно-спеціальна адаптація – Ви можете використовувати ФМ загального призначення, а потім додатково навчити його на даних із певної області (наприклад, біомедичної, юридичної чи фінансової). Це адаптує модель до словникового запасу, стилю тощо домену.
  • Точне налаштування для конкретного завдання – Ви можете взяти попередньо підготовлений FM і точно налаштувати його на даних для конкретного завдання (наприклад, аналіз настроїв або відповіді на запитання). Це спеціалізує модель для конкретного завдання.
  • Втілення – Ви можете налаштувати FM на даних особи (електронна пошта, тексти, документи, які вони написали), щоб адаптувати модель до її унікального стилю. Це може увімкнути більш персоналізовані програми.
  • Налаштування мови з низьким ресурсом – Ви можете перенавчити лише верхні рівні багатомовного FM на мову з низьким ресурсом, щоб краще адаптувати його до цієї мови.
  • Виправлення недоліків – Якщо в моделі виявлено певну небажану поведінку, налаштування відповідних даних може допомогти оновити модель, щоб зменшити ці недоліки.

Налаштування моделі допомагає подолати наступні проблеми впровадження FM:

  • Адаптація до нових областей і завдань – ФМ, попередньо навчені загальним текстовим корпусам, часто потребують точного налаштування даних, що стосуються конкретних завдань, щоб добре працювати для подальших програм. Тонке налаштування адаптує модель до нових областей або завдань, яким її спочатку не навчали.
  • Подолання упередженості – ФМ можуть виявляти упередження щодо своїх первинних даних навчання. Налаштування моделі на нових даних може зменшити небажані зміщення в результатах моделі.
  • Підвищення ефективності обчислень – Попередньо підготовлені ФМ часто дуже великі та обчислювально дорогі. Налаштування моделі може дозволити зменшити модель шляхом скорочення неважливих параметрів, що робить розгортання більш можливим.
  • Робота з обмеженими цільовими даними – У деяких випадках для цільового завдання доступні обмежені реальні дані. Налаштування моделі використовує попередньо підготовлені вагові коефіцієнти, отримані на більших наборах даних, щоб подолати цей дефіцит даних.
  • Поліпшення виконання завдань – Тонка настройка майже завжди покращує продуктивність цільових завдань порівняно з використанням оригінальних попередньо навчених ваг. Така оптимізація моделі для використання за призначенням дозволяє успішно розгортати FM в реальних програмах.

Налаштування моделі є більш складним, ніж оперативне проектування та RAG, оскільки вага та параметри моделі змінюються за допомогою сценаріїв налаштування, для чого потрібна наука про дані та досвід ML. Однак Amazon Bedrock робить це простим, надаючи вам керований досвід для налаштування моделей тонка настройка or продовження попередньої підготовки. Налаштування моделі забезпечує високоточні результати з результатами, порівнянними з RAG. Оскільки ви оновлюєте вагові коефіцієнти моделі на основі даних, що стосуються домену, модель створює більше контекстних відповідей. Порівняно з RAG якість може бути дещо кращою залежно від варіанту використання. Тому важливо провести компромісний аналіз між двома методами. Ви потенційно можете реалізувати RAG за допомогою спеціальної моделі.

Перенавчання або навчання з нуля

Створення власної базової моделі штучного інтелекту, а не використання лише попередньо навчених загальнодоступних моделей, забезпечує кращий контроль, покращення продуктивності та налаштування відповідно до конкретних випадків використання та даних вашої організації. Інвестиції у створення адаптованого FM можуть забезпечити кращу адаптивність, оновлення та контроль над можливостями. Розподілене навчання забезпечує масштабованість, необхідну для навчання дуже великих FM на масивних наборах даних на багатьох машинах. Це розпаралелювання робить можливими моделі із сотнями мільярдів параметрів, навчених на трильйонах токенів. Більші моделі мають більшу здатність до навчання та узагальнення.

Навчання з нуля може дати високоякісні результати, оскільки модель навчається на конкретних даних використання з нуля, ймовірність галюцинацій рідкісна, а точність результату може бути однією з найвищих. Однак, якщо ваш набір даних постійно розвивається, ви все одно можете зіткнутися з проблемами галюцинацій. Найвищу складність реалізації та вартість має навчання з нуля. Це потребує найбільших зусиль, оскільки вимагає збору великої кількості даних, їх кураторства та обробки, а також навчання досить великого FM, що вимагає глибокої науки про дані та експертизи ML. Цей підхід потребує багато часу (зазвичай це може тривати від тижнів до місяців).

Вам слід подумати про навчання FM з нуля, якщо жоден із інших підходів вам не підходить, і у вас є можливість створити FM за допомогою великої кількості добре підібраних токенізованих даних, складного бюджету та команди висококваліфікованих експертів з ML. . AWS надає найдосконалішу хмарну інфраструктуру для навчання та запуску LLM та інших FM на базі графічних процесорів і спеціального навчального чіпа ML, AWS Trainium, і прискорювач логічного висновку, AWS Inferentia. Додаткову інформацію про навчання магістрів права на SageMaker див Навчання великих мовних моделей на Amazon SageMaker: найкращі практики та SageMaker HyperPod.

Вибір правильного підходу до розробки генеративних додатків ШІ

Розробляючи генеративні програми штучного інтелекту, організації повинні ретельно розглянути кілька ключових факторів, перш ніж вибрати модель, яка найбільше відповідає їхнім потребам. Необхідно враховувати різноманітні аспекти, такі як вартість (щоб забезпечити відповідність обраної моделі бюджетним обмеженням), якість (щоб надати узгоджений і фактично точний результат), повна інтеграція з поточними корпоративними платформами та робочими процесами, а також зменшення галюцинацій або генерування неправдивої інформації . Оскільки доступно багато варіантів, приділення часу для ретельної оцінки цих аспектів допоможе організаціям вибрати генеративну модель ШІ, яка найкраще відповідає їхнім конкретним вимогам і пріоритетам. Слід уважно вивчити такі фактори:

  • Інтеграція з корпоративними системами – Щоб FM були справді корисними в контексті підприємства, вони повинні інтегруватися та взаємодіяти з існуючими бізнес-системами та робочими процесами. Це може включати доступ до даних із баз даних, планування ресурсів підприємства (ERP) і управління взаємовідносинами з клієнтами (CRM), а також ініціювання дій і робочих процесів. Без належної інтеграції FM ризикує стати ізольованим інструментом. Такі корпоративні системи, як ERP, містять ключові бізнес-дані (клієнти, продукти, замовлення). FM потрібно підключити до цих систем, щоб використовувати корпоративні дані, а не працювати над власним графіком знань, який може бути неточним або застарілим. Це забезпечує точність і єдине джерело правди.
  • Галюцинації – Галюцинації – це коли програма штучного інтелекту створює неправдиву інформацію, яка виглядає правдивою. Їх необхідно ретельно розглянути, перш ніж ФМ будуть широко прийняті. Наприклад, медичний чат-бот, розроблений для надання пропозицій щодо діагнозу, може отримати галюцинації подробиць про симптоми або історію хвороби пацієнта, що змусить його запропонувати неточний діагноз. Запобігання шкідливим галюцинаціям, подібним до цих, за допомогою технічних рішень і контролю наборів даних буде критично важливим для того, щоб переконатися, що цим FM можна довіряти для таких конфіденційних програм, як охорона здоров’я, фінанси та право. Ретельне тестування та прозорість щодо навчальних даних FM та залишкових недоліків повинні супроводжувати розгортання.
  • Навички та ресурси – Успішне впровадження FM значною мірою залежатиме від наявності відповідних навичок і ресурсів для ефективного використання технології. Організаціям потрібні співробітники з сильними технічними навичками, щоб належним чином впроваджувати, налаштовувати та підтримувати FM відповідно до їхніх конкретних потреб. Вони також потребують достатніх обчислювальних ресурсів, таких як вдосконалене апаратне забезпечення та можливості хмарних обчислень для запуску складних FM. Наприклад, команда маркетингу, яка бажає використовувати FM для створення рекламних текстів і публікацій у соціальних мережах, потребує кваліфікованих інженерів для інтеграції системи, креативників для надання підказок і оцінки якості результату, а також достатню потужність хмарних обчислень для економічно ефективного розгортання моделі. Інвестиції в розвиток досвіду та технічної інфраструктури дозволять організаціям отримати реальну комерційну цінність від застосування FM.
  • Вихідна якість – Якість результату, створеного FM, матиме вирішальне значення для визначення їх прийняття та використання, особливо в програмах, орієнтованих на споживачів, таких як чат-боти. Якщо чат-боти на основі FM надають неточні, безглузді або недоречні відповіді, користувачі швидко розчаруються та перестануть з ними спілкуватися. Таким чином, компанії, які хочуть розгорнути чат-ботів, повинні ретельно перевірити FM, які керують ними, щоб переконатися, що вони постійно генерують високоякісні відповіді, які є корисними, релевантними та відповідними для забезпечення хорошої взаємодії з користувачем. Якість результату охоплює такі фактори, як релевантність, точність, узгодженість і відповідність, які сприяють загальному задоволенню користувачів і сприятимуть або перешкоджатимуть прийняттю FM, як ті, що використовуються для чат-ботів.
  • Коштувати – Висока обчислювальна потужність, необхідна для навчання та запуску великих моделей ШІ, таких як FM, може призвести до значних витрат. Багатьом організаціям може бракувати фінансових ресурсів або хмарної інфраструктури, необхідної для використання таких масивних моделей. Крім того, інтеграція та налаштування FM для конкретних випадків використання збільшує інженерні витрати. Значні витрати, необхідні для використання FM, можуть перешкоджати широкому застосуванню, особливо серед невеликих компаній і стартапів з обмеженими бюджетами. Оцінка потенційної рентабельності інвестицій і зважування витрат і вигод від FM має вирішальне значення для організацій, які розглядають їх застосування та корисність. Економічна ефективність, ймовірно, буде вирішальним фактором у визначенні того, чи можна і як можна реалізувати ці потужні, але ресурсомісткі моделі.

Дизайнерське рішення

Як ми вже розповідали в цій публікації, наразі доступно багато різних методів штучного інтелекту, таких як оперативне проектування, RAG і налаштування моделі. Цей широкий діапазон вибору ускладнює для компаній визначення оптимального підходу для конкретного випадку використання. Вибір правильного набору методів залежить від різних факторів, у тому числі доступу до зовнішніх джерел даних, каналів даних у реальному часі та специфіки домену передбачуваної програми. Щоб допомогти визначити найбільш підходящу техніку на основі варіанта використання та залучених міркувань, ми пройдемося по наступній блок-схемі, яка окреслює рекомендації щодо узгодження конкретних потреб і обмежень із відповідними методами.

Щоб отримати чітке розуміння, давайте розглянемо блок-схему рішення про проектування на кількох наочних прикладах:

  • Пошук підприємства – Працівник хоче подати заявку на відпустку у своїй організації. Щоб надати відповідь, узгоджену з кадровою політикою організації, керівникові відділу кадрів потрібно більше контексту, що виходить за межі його власних знань і можливостей. Зокрема, FM вимагає доступу до зовнішніх джерел даних, які надають відповідні керівні принципи та політику щодо кадрів. Враховуючи цей сценарій запиту працівника, який потребує звернення до зовнішніх доменно-спеціальних даних, рекомендованим підходом відповідно до блок-схеми є швидке проектування за допомогою RAG. RAG допоможе надати відповідні дані із зовнішніх джерел даних як контекст для FM.
  • Корпоративний пошук із вихідними даними для конкретної організації – Припустімо, у вас є інженерні креслення, і ви хочете отримати з них специфікацію матеріалів, відформатувавши вихідні дані відповідно до галузевих стандартів. Для цього можна використати техніку, яка поєднує оперативне проектування з RAG і точно налаштовану мовну модель. Тонко налаштована модель буде навчена створювати перелік матеріалів, якщо їй надано технічні креслення як вхідні дані. RAG допомагає знайти найбільш релевантні інженерні креслення з джерел даних організації для подачі в контекст для FM. Загалом, цей підхід витягує специфіки матеріалів із інженерних креслень і структурує вихідні дані відповідно до інженерної області.
  • Загальний пошук – Уявіть, що ви хочете знайти 30-го президента Сполучених Штатів. Ви можете використати оперативну техніку, щоб отримати відповідь від FM. Оскільки ці моделі тренуються на багатьох джерелах даних, вони часто можуть надати точні відповіді на подібні фактичні запитання.
  • Загальний пошук з останніми подіями – Якщо ви хочете визначити поточну ціну акцій Amazon, ви можете скористатися підходом швидкого інжинірингу з агентом. Агент надасть FM останню ціну акцій, щоб він міг отримати фактичну відповідь.

Висновок

Generative AI пропонує організаціям величезний потенціал для впровадження інновацій і підвищення продуктивності в різноманітних програмах. Однак успішне впровадження цих нових технологій штучного інтелекту вимагає вирішення ключових питань щодо інтеграції, якості результату, навичок, вартості та потенційних ризиків, таких як шкідливі галюцинації або вразливі місця в безпеці. Організаціям необхідно застосувати системний підхід до оцінки своїх вимог і обмежень у сценаріях використання, щоб визначити найбільш прийнятні методи адаптації та застосування FM. Як було зазначено в цій публікації, оперативне проектування, RAG і ефективні методи налаштування моделі мають свої сильні та слабкі сторони, які підходять для різних сценаріїв. Зіставляючи бізнес-потреби з можливостями штучного інтелекту за допомогою структурованої структури, організації можуть подолати перешкоди на шляху впровадження та почати отримувати переваги від FM, а також створювати захист для управління ризиками. Завдяки продуманому плануванню, заснованому на реальних прикладах, компанії в кожній галузі можуть отримати величезну користь від цієї нової хвилі генеративного ШІ. Дізнатися про генеративний ШІ на AWS.

Про авторів

Автор - JayRaoДжей Рао є головним архітектором рішень в AWS. Він зосереджується на технологіях штучного інтелекту та ML із великим інтересом до Generative AI та комп’ютерного зору. В AWS йому подобається надавати технічні та стратегічні вказівки клієнтам і допомагати їм розробляти та впроваджувати рішення, які сприяють досягненню бізнес-результатів. Він є автором книг (Комп’ютерне бачення на AWS), регулярно публікує блоги та приклади коду, а також виступав з доповідями на технічних конференціях, таких як AWS re:Invent.

Бабу Каріяден Парамбат є старшим спеціалістом зі штучного інтелекту та ML в AWS. В AWS йому подобається працювати з клієнтами, допомагаючи їм визначити правильний бізнес-випадок використання з бізнес-цінністю та вирішити його за допомогою рішень і послуг AWS AI/ML. До того, як приєднатися до AWS, Бабу був проповідником штучного інтелекту з 20-річним досвідом роботи в різноманітних галузях, забезпечуючи клієнтам цінність бізнесу, керованого штучним інтелектом.

spot_img

Остання розвідка

spot_img

Авторські права @ 2024 Plato Technologies Inc.