Microsoft представила набор возможностей Azure AI Studio для решения множества проблем, включая галлюцинации ИИ, отравление и быстрое внедрение.
Новые инструменты призваны сделать генеративный ИИ более безопасным и надежным для пользователей после того, как чат-боты столкнулись с ложью, выдумывающей всякую всячину, что сейчас широко известно как галлюцинации ИИ.
Возвращаясь к чертежным доскам
Появление моделей ИИ, предлагающих неправильные или вредные реакции, заставило разработчиков вернуться к чертежным доскам, но для этого требуется больше финансирования. Технологическая отрасль, по мнению Регистр пытается приручить дикие модели вместо того, чтобы придумать гораздо более безопасные и этичные инструменты искусственного интеллекта.
Microsoft, пришлось признать, что технология искусственного интеллекта сопряжена с рисками, и устранение некоторых из них невозможно переоценить. Сара Бёрд, директор по продуктам ответственного ИИ в Microsoft, сказала, что новые функции безопасности будут просты в использовании для клиентов Azure, «которые нанимают группы красных команд для тестирования созданных ИИ-сервисов».
По ее словам, эти инструменты могут обнаруживать потенциальные угрозы и отслеживать их галлюцинаций. Они также могут в режиме реального времени блокировать любые вредоносные запросы от клиентов Azure AI.
«Мы знаем, что не все клиенты обладают глубокими знаниями в области оперативных атак или разжигания ненависти, поэтому система оценки генерирует подсказки, необходимые для имитации этих типов атак», — она заявил The Verge в интервью.
«Затем клиенты смогут получить оценку и увидеть результаты».
Инструменты
По данным технологической компании, три особенности – Оперативная защита, оценка безопасности, а также мониторинг рисков и безопасности теперь доступны в предварительной версии в службах Azure AI и OpenAI. Проворные щиты, по данным компании, блокирует вредоносные подсказки из внешних документов, которые предписывают моделям игнорировать свое обучение.
Мониторинг рисков и безопасности помогает «понять, какие входные и выходные данные модели и конечные пользователи активируют фильтры контента для информирования о мерах по снижению рисков».
Оценка безопасности оценивает уязвимость модели к атакам с помощью джейлбрейка и создает риск контента.
Microsoft не останавливается только на этом. Компания сообщила, что в ближайшее время будут выпущены еще две функции. Они предназначены для направления моделей к безопасному выводу, а также для отслеживания подсказок, «чтобы отметить потенциально проблемных пользователей».
«Благодаря этим дополнениям Azure AI продолжает предоставлять нашим клиентам инновационные технологии для защиты их приложений на протяжении всего жизненного цикла генеративного ИИ», — сказал Бёрд в своем блоге.
По словам Берда, обнаружение заземления — это функция, разработанная для выявления текстовых галлюцинаций. Это дает клиентам возможность выбора при обнаружении ложного заявления, включая «отправку сообщения обратно на доработку, прежде чем его можно будет отобразить».
По словам компании, система безопасности сообщает моделям пользователей, направляя их к безопасным и ответственным результатам.
Читайте также: Токены AI AGIX, FET и OCEAN растут на переговорах о слиянии
Управление рисками против инноваций
Далее Берд объяснил в своем блоге, как руководители предприятий пытаются найти баланс между инновациями и управлением рисками. Они хотят использовать генеративный ИИ, «не будучи им укушенными».
«Атаки с быстрым внедрением стали серьезной проблемой, когда злоумышленники пытаются манипулировать системой искусственного интеллекта, чтобы она делала что-то, выходящее за рамки ее предполагаемой цели, например, создавая вредоносный контент или кража конфиденциальных данных», — объяснил Берд.
Она добавила, что помимо снижения рисков компании также обеспокоены качеством и надежностью.
«Они хотят быть уверенными, что их системы искусственного интеллекта не генерируют ошибок и не добавляют информацию, не подтвержденную источниками данных приложения, что может подорвать доверие пользователей», — сказала она.
Проблемы рынка
Бёрд признался, что есть опасения Microsoft и другие компании, занимающиеся искусственным интеллектом, хотят показать людям, что следует считать уместным, а что нет.
Однако ее команда, по ее словам, добавила для клиентов Azure возможность «переключать фильтрацию разжигания ненависти или насилия, которые модель видит и блокирует».
Что касается Гугл Близнецы, который недавно наделал шума из-за своих возмутительных изображений, фильтры, призванные уменьшить предвзятость, привели к непредвиденным эффектам.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://metanews.com/microsoft-unveils-features-to-tackle-ai-hallucinations/
