Microsoft a annoncé plusieurs nouvelles fonctionnalités dans Azure AI Studio qui, selon la société, devraient aider les développeurs à créer des applications d'IA générative plus fiables et plus résilientes contre la manipulation malveillante de modèles et d'autres menaces émergentes.

Dans un article de blog du 29 mars, Sarah Bird, directrice des produits pour l'IA responsable chez Microsoft, a souligné les inquiétudes croissantes concernant les acteurs malveillants utilisant attaques par injection rapide faire en sorte que les systèmes d’IA se comportent de manière dangereuse et inattendue en tant que principal facteur déterminant des nouveaux outils.

« Les organisations sont également soucieux de la qualité et de la fiabilité, » Oiseau a dit. « Ils veulent s'assurer que leurs systèmes d'IA ne génèrent pas d'erreurs ou n'ajoutent pas d'informations non étayées par les sources de données de l'application, ce qui pourrait éroder la confiance des utilisateurs. »

Azure IA Studio est une plateforme hébergée que les organisations peuvent utiliser pour créer des assistants d'IA, des copilotes, des robots, des outils de recherche et d'autres applications personnalisés, fondés sur leurs propres données. Annoncée en novembre 2023, la plateforme héberge les modèles d'apprentissage automatique de Microsoft ainsi que des modèles issus de plusieurs autres sources dont OpenAI. Meta, Hugging Face et Nvidia. Il permet aux développeurs d’intégrer rapidement des capacités multimodales et des fonctionnalités d’IA responsable dans leurs modèles.

D’autres acteurs majeurs tels qu’Amazon et Google se sont précipités sur le marché avec des offres similaires au cours de l’année écoulée pour exploiter l’intérêt croissant pour les technologies d’IA dans le monde. Une récente étude commandée par IBM a révélé que 42% d'organisations avec plus de 1,000 XNUMX employés, ils utilisent déjà activement l’IA d’une manière ou d’une autre, nombre d’entre eux prévoyant d’augmenter et d’accélérer leurs investissements dans cette technologie au cours des prochaines années. Et pas tous nous disions à l'informatique au préalable sur leur utilisation de l’IA.

Se protéger contre l'ingénierie rapide

Les cinq nouvelles fonctionnalités que Microsoft a ajoutées (ou ajoutera bientôt) à Azure AI Studio sont : Prompt Shields ; détection de mise à la terre ; messages du système de sécurité ; évaluations de sécurité; et surveillance des risques et de la sécurité. Les fonctionnalités sont conçues pour répondre à certains défis importants que les chercheurs ont découverts récemment – ​​et continuent de découvrir régulièrement – ​​en ce qui concerne l'utilisation de grands modèles de langage et d'outils d'IA générative.

Boucliers d'invite par exemple, il s'agit de l'atténuation de Microsoft pour ce que l'on appelle les attaques indirectes et les jailbreaks. La fonctionnalité s’appuie sur les atténuations existantes dans Azure AI Studio contre le risque de jailbreak. Dans attaques d'ingénierie rapides, les adversaires utilisent des invites qui semblent inoffensives et pas ouvertement nuisibles pour tenter d'orienter un modèle d'IA vers la génération de réponses nuisibles et indésirables. L'ingénierie rapide est l'une des plus dangereuses dans une classe croissante d'attaques qui tentent de Modèles d'IA de jailbreak ou les amener à se comporter d'une manière incompatible avec les filtres et les contraintes que les développeurs auraient pu y intégrer.  

Des chercheurs ont récemment montré comment des adversaires peuvent lancer des attaques d’ingénierie rapides pour faire fonctionner des modèles d’IA génératifs. divulguer leurs données d'entraînement, pour divulguer des informations personnelles, générer de la désinformation et du contenu potentiellement dangereux, comme des instructions sur la façon de connecter une voiture à chaud.

Avec Prompt Shields, les développeurs peuvent intégrer des fonctionnalités dans leurs modèles qui aident à faire la distinction entre les entrées système valides et potentiellement non fiables ; définir des délimiteurs pour aider à marquer le début et la fin du texte saisi et utiliser le marquage des données pour marquer les textes saisis. Prompt Shields est actuellement disponible en mode aperçu dans Azure AI Content Safety et sera bientôt disponible pour tous, selon Microsoft.

Atténuations des hallucinations des modèles et du contenu préjudiciable

Parallèlement, avec la détection de l'ancrage, Microsoft a ajouté une fonctionnalité à Azure AI Studio qui, selon lui, peut aider les développeurs à réduire le risque d'« hallucination » de leurs modèles d'IA. L'hallucination de modèle est une tendance des modèles d'IA à générer des résultats qui semblent plausibles mais qui sont entièrement inventés et non basés sur les données d'entraînement. Les hallucinations LLM peuvent être extrêmement problématiques si une organisation devait considérer les résultats comme factuels et agir en conséquence d'une manière ou d'une autre. Dans un environnement de développement logiciel par exemple, les hallucinations LLM pourraient amener les développeurs à introduire potentiellement du code vulnérable dans leurs applications.

Le nouveau d'Azure AI Studio détection de mise à la terre Cette capacité consiste essentiellement à aider à détecter, de manière plus fiable et à plus grande échelle, les résultats de l’IA générative potentiellement non fondés. L'objectif est de donner aux développeurs un moyen de tester leurs modèles d'IA par rapport à ce que Microsoft appelle des mesures d'ancrage, avant de déployer le modèle dans le produit. La fonctionnalité met également en évidence les déclarations potentiellement non fondées dans les sorties LLM, afin que les utilisateurs sachent qu'il faut vérifier la sortie avant de l'utiliser. La détection de la mise à la terre n'est pas encore disponible, mais devrait l'être dans un avenir proche, selon Microsoft.

Le nouveau système d’ cadre de messages système offre aux développeurs un moyen de définir clairement les capacités de leur modèle, son profil et ses limites dans leur environnement spécifique. Les développeurs peuvent utiliser la capacité de définir le format de sortie et de fournir des exemples de comportement prévu, afin qu'il devienne plus facile pour les utilisateurs de détecter les écarts par rapport au comportement prévu. C'est une autre nouvelle fonctionnalité qui n'est pas encore disponible mais qui devrait l'être bientôt.

Azure AI Studio récemment annoncé évaluations de sécurité capacité et son surveillance des risques et de la sécurité Les fonctionnalités sont toutes deux actuellement disponibles en état d'aperçu. Les organisations peuvent utiliser le premier pour évaluer la vulnérabilité de leur modèle LLM aux attaques de jailbreak et à la génération de contenu inattendu. La capacité de surveillance des risques et de la sécurité permet aux développeurs de détecter les entrées du modèle qui sont problématiques et susceptibles de déclencher un contenu halluciné ou inattendu, afin qu'ils puissent mettre en œuvre des mesures d'atténuation.

« L'IA générative peut être un multiplicateur de force pour chaque département, entreprise et secteur », a déclaré Bird de Microsoft. « Dans le même temps, les modèles de base introduisent de nouveaux défis en matière de sécurité et de sûreté qui nécessitent de nouvelles mesures d’atténuation et un apprentissage continu. »

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai