Microsoft ha introducido un conjunto de herramientas supuestamente para ayudar a que los modelos de IA sean más seguros de usar en Azure.

Desde que el negocio de la nube y el código comenzó a inyectar fondos en OpenAI y a infundir a su imperio de software capacidades de chatbot (un drama representado con igual fervor por sus rivales en medio de grandiosas promesas sobre productividad), Microsoft ha tenido que reconocer que la IA generativa conlleva riesgos.

El peligros son ampliamente conocidos y a veces alegremente ignorados. Hace una década, Elon Musk advirtió que la IA podría simplemente destruir a la humanidad. Sin embargo, esa preocupación no le impidió hacer que la IA estuviera disponible en carros, sobre su megáfono de redes sociales, y tal vez pronto en los robots.

La aparición de grandes modelos de lenguaje que alucinan y ofrecen respuestas incorrectas o dañinas ha llevado a volver a la mesa de dibujo, pero a la sala de juntas para obtener más financiación. En lugar de producir un producto seguro y ético, la industria tecnológica está tratando de domesticar los modelos salvajes, o al menos mantenerlos lo suficientemente lejos de los clientes que pueden volverse locos sin lastimar a nadie.

Y si eso no funciona, siempre hay indemnización de reclamaciones legales, sujetas a ciertos términos, de proveedores.

Los compromisos de la industria con la seguridad de la IA coinciden con las correspondientes demandas gubernamentales. El jueves en Estados Unidos, la Oficina de Gestión y Presupuesto (OMB) de la Casa Blanca emitido su primera política a nivel gubernamental para abordar los riesgos de la IA.

La política exige que las agencias federales “implementen salvaguardias concretas cuando utilicen la IA de una manera que pueda afectar los derechos o la seguridad de los estadounidenses” antes del 1 de diciembre. Eso significa evaluaciones de riesgos, pruebas y monitoreo, esfuerzos para limitar la discriminación y los prejuicios, y promover transparencia para las aplicaciones de IA en materia de salud, educación, vivienda y empleo.

Así, Microsoft informa de sus últimas medidas de seguridad de la IA a través de Sarah Bird, directora de producto de IA responsable, un título que implica la existencia de una IA irresponsable, si se puede imaginar eso.

Bird dice que los líderes empresariales están tratando de equilibrar la innovación y la gestión de riesgos, para permitirles utilizar la IA generativa sin verse afectados por ella.

"Los ataques de inyección rápida se han convertido en un desafío importante, donde actores maliciosos intentan manipular un sistema de inteligencia artificial para que haga algo fuera de su propósito previsto, como producir contenido dañino o filtrar datos confidenciales", explica Bird en un del blog.

“Además de mitigar estos riesgos de seguridad, las organizaciones también se preocupan por la calidad y la confiabilidad. Quieren asegurarse de que sus sistemas de inteligencia artificial no generen errores ni agreguen información que no esté respaldada en las fuentes de datos de la aplicación, lo que puede erosionar la confianza del usuario”.

Dado que la seguridad y la precisión no están incluidas en la tarifa de suscripción a la IA, Microsoft ve una oportunidad para venderlos como complemento.

Los clientes que utilizan Azure AI Studio para ayudarles a crear aplicaciones de IA generativa pueden esperar cuatro nuevas herramientas.

Primero, hay Escudos rápidos, que prometen ayudar a defenderse contra ataques de inyección rápida. Anteriormente conocido como Detección de riesgo de fuga y ahora en versión preliminar pública, es una forma de mitigar el riesgo de intromisión directa e indirecta en los modelos básicos.

Los ataques directos implican indicaciones (entradas) diseñadas para hacer que el modelo ignore su entrenamiento de seguridad. Los ataques indirectos se refieren a esfuerzos por introducir información en un modelo. Una forma de hacerlo podría ser incluir texto oculto en un correo electrónico sabiendo que un modelo de IA que actúa en nombre del destinatario a través de, por ejemplo, Copilot en Outlook, analizará el mensaje, interpretará el texto oculto como un comando y, con suerte, siga las instrucciones, haciendo algo como responder silenciosamente con datos confidenciales.

Segundo es Detección de conexión a tierra, un sistema para detectar cuando los modelos de IA alucinan o inventan cosas. Proporciona a los clientes varias opciones cuando se detecta un reclamo falso, incluido enviar la respuesta para revisarla antes de mostrarla. Microsoft dice que ha logrado esto mediante la creación de un modelo de lenguaje personalizado que evalúa afirmaciones sin fundamento basadas en documentos fuente. Entonces, como habrás adivinado, la respuesta a la seguridad del modelo de IA es otro modelo.

Aunque este es un paso maravilloso hacia una IA confiable, el problema aún no se ha resuelto.

Tercero, tenemos Evaluaciones de seguridad asistidas por IA en AI Studio, que proporciona un marco de prueba para presentar plantillas y parámetros rápidos para el modelo que prueba varias interacciones adversas con la aplicación del cliente. Nuevamente, es IA para probar la IA.

Y finalmente, hay “Seguimiento de riesgos y seguridad”, una característica del servicio Azure OpenAI que proporciona métricas de contenido dañino.

Vinu Sankar Sadasivan, estudiante de doctorado de la Universidad de Maryland que ayudó a desarrollar el Ataque de la BESTIA en LLM, dijo El registro que si bien es emocionante ver a Azure crear herramientas para hacer que la IA sea más segura, agregar más modelos a la combinación amplía la superficie de ataque potencial.

"Las evaluaciones de seguridad y las herramientas de monitoreo de riesgos y seguridad de Azure son importantes para investigar la confiabilidad de los modelos de IA", dijo. “Aunque este es un paso maravilloso hacia una IA confiable, el problema aún no está resuelto. Por ejemplo, los Prompt Shields que introducen presumiblemente utilizan otro modelo de IA para detectar y bloquear ataques indirectos. Este modelo de IA puede ser vulnerable a amenazas como ataques adversarios.

“Los adversarios podrían aprovechar estas vulnerabilidades para eludir Prompt Shields. Aunque los mensajes del sistema de seguridad han demostrado ser efectivos en algunos casos, los ataques existentes como BEAST pueden atacar a los modelos de IA para liberarlos en poco tiempo. Si bien es beneficioso implementar defensas para los sistemas de IA, es esencial ser conscientes de sus posibles inconvenientes”. ®

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://go.theregister.com/feed/www.theregister.com/2024/03/29/microsoft_azure_safety_tools/