IA Generativa: Seguridad desde la perspectiva del CISO

Por Jeff Marraccini | Director de seguridad de la información en Altair

Sé que estoy diciendo lo obvio, pero la inteligencia artificial generativa (IA) está de moda. Ha atraído la atención de casi todos: empresas, gobiernos, medios de comunicación y el público por igual. Sin duda, es una tecnología sumamente intrigante, que probablemente indique algunos cambios importantes en la forma en que vivimos, trabajamos y jugamos. También es un tema muy complejo, especialmente desde el punto de vista de la seguridad. 

La IA generativa ciertamente tiene el potencial de ser una de esas tecnologías transformadoras para nuestro equipo y nuestros clientes, pero no está exenta de riesgos de seguridad. Y si bien la seguridad generativa de la IA no es el lado más llamativo del tema, sin duda es uno de los más importantes. 

Modelos de lenguajes grandes o Large Language Models (LLMs): hacer funcionar la IA generativa

No explicaré detalladamente el funcionamiento interno de la IA generativa, pero una comprensión básica de cómo funciona la IA generativa nos ayudará a empezar. La base de la IA generativa y los procesos de aprendizaje automático son los datos de entrenamiento. Muchas herramientas populares de IA generativa se entrenan utilizando grandes modelos de lenguaje (LLM), que son redes neuronales artificiales capaces de procesar grandes cantidades de datos. Gran parte de estos datos se extraen de Internet. 

En general, cuando analizo los LLM, utilizo dos categorizaciones principales: las que son «públicas» y las que están destinadas a un uso más «a nivel empresarial». Esta es una imagen básica, pero sirve a nuestros objetivos. Se puede acceder a las herramientas de IA generativa entrenadas a través de LLM públicos a través de navegadores web o aplicaciones simples. Estas herramientas pueden hacer muchas cosas excelentes en texto, imágenes, audio, etc. Los LLM empresariales agregan otra capa además de estos datos que especializa la herramienta de IA generativa para una organización específica. Un ejemplo de este tipo de soluciones es Microsoft 365 Copilot ; Google y OpenAI también tienen soluciones similares. También hay algunos LLM de código abierto que pueden conectarse con Microsoft OneDrive o repositorios de documentos que también podrían clasificarse como LLM empresariales. 

LLM e IA generativa: consideraciones generales de seguridad

Los LLM son creaciones imperfectas. Su estructura inherente significa que existen varias preocupaciones desde el punto de vista de la seguridad. Por supuesto, también existen varias preocupaciones legales y éticas que surgen con la IA generativa, pero dejaré que otros cubran ese tema. Exploremos algunas de las principales preocupaciones de seguridad de la IA generativa que cualquier organización debe considerar. 

La primera y más apremiante preocupación para muchas organizaciones que están pensando en implementar o experimentar con herramientas de IA generativa gira, como era de esperar, en torno a la seguridad de los datos. Es incomprensible la cantidad de datos que puede analizar un LLM. Naturalmente, las personas y las organizaciones quieren asegurarse de que sus datos confidenciales no terminen sin darse cuenta como material para LLM no autorizados y soluciones de inteligencia artificial generativa. Algunas de las principales preguntas que (deberían) surgir al pensar en la seguridad de los datos en relación con la IA generativa deberían ser:

• ¿A dónde van mis datos y cómo se utilizan?
• ¿Cuánto tiempo permanecerán mis datos? 
• ¿Se utilizarán mis datos para entrenar generaciones posteriores de LLM/herramientas de IA generativa?
• ¿Cómo puedo asegurarme de que mis datos no sean susceptibles a un rastreo no deseado?

Las respuestas a estas preguntas están cada vez más cubiertas por proyectos de código abierto como el recientemente anunciado eSentire LLM Gateway. Los navegadores web actuales también incluyen perfiles que permiten a individuos y organizaciones «separar» el uso personal de la web del uso organizacional, y es posible configurar un perfil organizacional separado cuando se usa IA generativa en los navegadores para evitar el uso accidental de contenido de sitios web anteriores. sesiones.

La siguiente preocupación más apremiante es la tendencia de la IA generativa a alucinar. Las «alucinaciones» de la IA se refieren a respuestas seguras de una IA que no están justificadas por sus datos de entrenamiento. Las alucinaciones no son exclusivas de la IA. Los humanos han estado «alucinando» desde el principio de los tiempos; a menudo se le llama «cometer un error» o simplemente «estar equivocado». Lo que hace que las alucinaciones de IA sean tan complicadas es que las herramientas de IA pueden ser muy convincentes e inventar justificaciones lógicas aparentemente extensas para su resultado que son esencialmente inventadas. Las alucinaciones son especialmente peligrosas cuando la IA interviene en el ecosistema de seguridad. Por ejemplo, las alertas generativas impulsadas por IA y los informes de seguridad pueden identificar erróneamente problemas de seguridad graves (falsos positivos) o pasarlos por alto por completo. Además, los delincuentes también pueden aprovechar estas herramientas para crear alertas e informes convincentes.

También existen otras preocupaciones de seguridad. Las herramientas de IA generativa actuales no son tan «explicables» como muchas otras herramientas heredadas de IA y aprendizaje automático, lo que significa que puede ser difícil determinar qué datos utilizó una IA para llegar a un resultado determinado. Muchas veces, los LLM rastrean datos que se atribuyen incorrectamente o no se atribuyen en absoluto. Si escribiera en algún lugar que «Todo el mundo es un escenario, y todos los hombres y mujeres meros actores» sin darle a Shakespeare la atribución adecuada, un LLM podría pensar que se me ocurrió esa frase histórica en lugar del legendario dramaturgo inglés que murió más hace más de 400 años. Estos problemas de atribución, cuando se amplían al tamaño de poderosos LLM, pueden ser mucho más problemáticos y plantear una serie de cuestiones tecnológicas y legales.

El panorama de seguridad de la IA generativa 

Al observar el panorama actual de seguridad de la IA generativa, las empresas han adoptado una variedad de enfoques con respecto al uso de la IA generativa dentro de sus filas. Algunos, como JPMorgan Chase, han bloqueado completamente el acceso a herramientas populares de inteligencia artificial generativa como ChatGPT por temor a fugas de datos. Puedo entender totalmente este enfoque. La IA generativa no es una herramienta que sea prudente que las grandes organizaciones «utilicen primero y hagan preguntas después». La gente necesita generar confianza en estas tecnologías y eso llevará tiempo.

Por ejemplo, en Altair, hemos optado por permitir que nuestros colaboradores utilicen IA generativa y hemos emitido una guía cuidadosa y detallada sobre cómo utilizar estas tecnologías de manera segura que no ponga en peligro nuestros datos ni los de nuestros clientes. Como mencioné, veo mi papel a través del lente del empoderamiento; Mi equipo y yo queremos hacer todo lo que esté a nuestro alcance para garantizar que los altairianos puedan aprovechar la última tecnología. 

Monitoreamos el panorama de seguridad de la IA generativa las 24 horas del día, los 7 días de la semana, y nos mantenemos siempre actualizados con las últimas mejores prácticas de la industria. Como CISO, sé que las tecnologías emergentes (especialmente aquellas como la IA generativa) siempre conllevarán algún elemento de riesgo. Las empresas de tecnología líderes en la industria como Altair no existen, ni nunca han existido, en un panorama 100% seguro; casi nadie lo hace. La tecnología moderna es sumamente compleja y, al parecer, cada día presenta más piezas móviles. Dicho esto, mi equipo y yo confiamos en nuestra orientación y nuestro enfoque.

A medida que la tecnología de IA generativa madure, las mejores prácticas de seguridad cambiarán inevitablemente. Desde el funcionamiento interno de la tecnología misma hasta las reglas y regulaciones externas sobre su uso y alcance, muchos factores afectarán la forma en que las organizaciones pueden mantener a los usuarios seguros y al mismo tiempo empoderarlos para aprovechar todo el poder de la tecnología.  En la IA generativa, como en todo, debemos actuar con cautela y cuidado. Debemos implementar estas herramientas de manera considerada. Hacerlo nos permitirá a nosotros y a nuestros clientes hacer cosas maravillosas no sólo ahora, sino también en el futuro.