Riesgos del uso de ChatGPT y la necesidad de políticas de uso.

Cada vez es más extenso el uso por parte de las empresas y sus empleados de herramientas como el más que conocido ChatGPT, Bard ( Si hablamos de Google ), PaLM, Copilot ( Microsoft ) y otros modelos de Inteligencia Artificial Generativa ( Conocida como GenAI ) o de lenguaje extenso (LLM), lo que esta haciendo que las empresas estén trabajando rapidamente para identificar y evaluar los riesgos de ciberseguridad relevantes.

GenAI, en particular ChatGPT, ha ganado popularidad entre las empresas, como herramienta poderosa para agilizar la comunicación, escribir código, generar imágenes, audio y video , mejorar el servicio al cliente, redactar documentos y realizar investigaciones iniciales, entre otras muchísimas cosas.

Sin embargo, como ocurre con cualquier tecnología, el uso de GenAI también conlleva riesgos, amenazas e impactos de seguridad que las organizaciones deben considerar detenidamente.

La IA generativa es «un punto de inflexión en la humanidad superior a la imprenta o la fisión nuclear» – José María Álvarez-Pallete

Esto hace que los responsable de ciberseguridad, se planteen cuestiones clave ante la nueva avalancha tecnológica existente entorno a la IA, que podría arrancar con la que para mi es la principal de ellas:

¿Quiénes son en mi organización los usuarios de la tecnología  y con qué propósito la emplean?

Pregunta que cataliza directamente sobre otras muchas e igual de preocupantes:

¿Cómo puedo salvaguardar la información empresarial cuando los empleados interactúan con herramientas como ChatGPT?

Como resultado y como punto u objetivo final, ya que el intentar parar la tecnología es como poner barreras al campo, debemos buscar ( Intentaremos ver en el post cómo )  el equilibrio entre nuestras obligaciones de ciberseguridad con el valor que la tecnología nos ofrece.

A lo largo del post analizaremos los posibles riesgos y amenazas asociados al uso de herramientas GenAI como ChatGPT en entornos corporativos, e intentaremos buscar recomendaciones prácticas de su integración e inclusión dentro de las políticas de la organización.

Como decía antes, es inevitable parar la tecnología y su uso, y por ello, las organizaciones que inicialmente implementaron políticas de cero uso en GenAI, recientemente han estado reconsiderando sus posiciones y levantando prohibiciones, ya que tomaron la decisión, principalmente sin tener en cuenta el futuro beneficio que esta traería a la compañía.

Crecimiento record

Como ejemplo de su rápida adopción, ChatGPT alcanzó los 100 millones de usuarios en tan solo dos meses, superando ampliamente a cualquier tecnología anterior en términos de velocidad de crecimiento. En comparación con las tecnologías de IA/ML tradicionales, GenAI es considerablemente más fácil de utilizar:

Interacción intuitiva y generación de contenido novedosa: GenAI combina un enfoque innovador de IA con un sistema de chat interactivo que produce resultados refinados. Los usuarios finales tienen la capacidad de editar en tiempo real los resultados en una interfaz de chat, lo que facilita enormemente mejorar la precisión futura en comparación con plataformas anteriores.

Accesible para todos: muchas de las tecnologías de GenAI son gratuitas o de bajo costo, y están disponibles para el público en general, siendo accesibles para cualquier persona con conexión a Internet.

Facilidad de uso: las tecnologías de GenAI están diseñadas para ser intuitivas y fáciles de utilizar, sin importar el puesto o la función de los usuarios. Permiten interactuar de manera natural, como si se estuviera conversando con otra persona.

Velocidad y agilidad: el sistema puede generar información, código fuente y datos de forma más rápida que nunca, superando a la búsqueda manual, las consultas y la indexación. Puede sintetizar millones de páginas de información en un solo párrafo.

Integración con aplicaciones de terceros: muchas aplicaciones comunes en nuestro día a día, como las herramientas y complementos de navegador de Microsoft Office 365, están adaptándose para aprovechar la presencia cada vez más omnipresente de GenAI en nuestras vidas.

Nuevos riesgos de la GenIA ( ChatGPT )

Comprender la gama de posibles riesgos, amenazas e impactos de GenAI en un entorno corporativo se ha convertido en una prioridad y debe ser analizado cuidadosamente. Estos riesgos se pueden dividir en extensiones de riesgos existentes, riesgos legales y normativos, y algunos riesgos completamente nuevos.

Por ejemplo, las organizaciones deberían decidir , si los datos se envían a una plataforma de servicios GenAI de terceros, optar por no utilizar la información proporcionada por el usuario para entrenar modelos futuros y aceptar la política de retención de datos de 30 días (como en el caso de OpenAI) y si estas son lo suficientemente seguras para nuestras necesidades y cumple con su tolerancia al riesgo marcado por el negocio. O por el contrario, podemos decidir declarar una Excepción de Riesgo y aceptar el riesgo, o explorar una alternativa en las instalaciones propias.

NOTA: Es posible que categoriceis los niveles de riesgo con una criticidad distinta a la que se expone en el artículo, todo ello, siempre es dependiente del negocio u entorno en el que lo analicemos.

Privacidad y confidencialidad de los datos

Nivel de riesgo estimado : ALTO

El uso a nivel empresarial de la Inteligencia Artificial Generativa, conlleva un riesgo de acceso y procesamiento de información confidencial importante, propiedad intelectual, código fuente, secretos comerciales o incluso datos sensibles, ya sea a través de la entrada directa del usuario o mediante su procesamiento por API.

Enviar datos confidenciales y privados fuera de los servidores de la organización, al igual que cuando pasó con el movimiento cloud, podría provocar una exposición legal y de cumplimiento normativo además de una probable exposición de información. Esta exposición puede derivar de obligaciones contractuales o regulaciones como la GDPR o incluso, estoy convencido llegaremos a verlo en el próximo ENS (tenemos uno recientito).

Si bien los datos enviados a tecnologías GenAI en este caso ChatGPT , han sido confiados eficazmente a un proveedor de servicios SaaS de terceros, es decir, OpenAI, actualmente no se incorporan en tiempo real al LLM y, por lo tanto, no serán vistos por otros usuarios (De momento al menos). Las plataformas de GenAI pueden optar por utilizar la entrada del usuario para entrenar modelos futuros, pero eso no parece ser el caso en este momento, aunque yo creo que esto llegará a pasar, casi con total seguridad.

Si algo es gratis. El producto eres tu.

Según la documentación de OpenAI, el contenido enviado a su API no se conserva por más de 30 días y, de manera predeterminada, se elige no compartirse, mientras que en el propio uso de ChatGPT se elige esta «participación» de manera predeterminada en cuentas gratuitas , mientras que por su contrario, será «no participativa» si disponemos de una cuenta de pago. Sin embargo, la información enviada siempre está sujeta a riesgos de almacenamiento y procesamiento. Sin embargo, esto puede afectar el apetito por el riesgo de diferentes organizaciones … ¿acepto este posible futuro riesgo?¿ si / no ?

Ciberseguridad  de terceros y Software as a Services

Nivel de riesgo estimado : ALTO

Debido a la amplia adopción y a la proliferación de integraciones en aplicaciones de terceros, existe una amplia preocupaciones de que los datos se compartan con terceros con mucha más frecuencia que en el pasado y potencialmente siguiendo patrones menos predecibles.

En este enlace, podremos ver con mas detenimiento que datos recopila ChatGPT, con que fin , y con quien los comparte.

Si los sistemas y la infraestructura propios de la plataforma GenAI no son seguros, pueden producirse brechas de datos potenciales, como la reciente con OpenAI (creadores de ChatGPT), que podrían dar lugar a la exposición de información sensible, como datos de clientes, información financiera e información empresarial propietaria.

GenAI y específicamente ChatGPT se están integrando rápidamente en muchas plataformas de terceros, como Microsoft Azure OpenAPI, así como aplicaciones, desde la suite de herramientas de Microsoft Office 365 hasta complementos del navegador, lo que representan un objetivo de alto valor para los actores maliciosos. Por lo tanto, se introduce una concentración del riesgo y se incrementa este en general.

Riesgos legales y regulatorios

Nivel de riesgo estimado : ALTO

Cuando se utiliza GenAI en el ámbito empresarial, es importante cumplir con las regulaciones de privacidad de datos, como el GDPR, LOPD e incluso considerar entidades públicas o empresas que brinden servicios a las mismas, como el ENS. Un ejemplo de cómo estas regulaciones impactan es el caso de la agencia de protección de datos de Italia, que ha prohibido temporalmente el uso específico de ChatGPT (aunque otras tecnologías GenAI o instancias privadas de ChatGPT, como las de Microsoft Office 365, no han sido prohibidas). Esta prohibición ha generado cierta atención, e incluso Alemania está considerando abordar este asunto. En mi opinión, esta prohibición es contraproducente, y abogaría por una regulación racional en su lugar.

De igual forma, es importante tener en cuenta las consideraciones regulatorias al utilizar GenAI en casos de uso que involucren comunicaciones dirigidas al consumidor, ya sea para interacciones directas o para producir materiales orientados al consumidor, como notificaciones informativas. Las leyes y regulaciones pueden imponer requisitos y generar responsabilidad que la tecnología puede pasar por alto.

El uso de ChatGPT , como un servicio de chatbot podría dar lugar a una exposición legal o regulatoria. Por ejemplo, una empresa podría enfrentarse a acciones regulatorias o incluso demandas por no revelar a los clientes que están interactuando con un servicio de chatbot, si esto no se comunica previamente.

Derechos de autor y propiedad intelectual

Nivel de riesgo estimado : MEDIO

Los modelos de Inteligencia Artificial Generativa se entrenan utilizando diferentes datos, y es posible que incluyan material patentado y con derechos de autor. Tenemos el ejemplo perfecto con MusicLM. Ya que google se plantea interrogantes sobre quién es el propietario y cómo se licencia esa información entre la empresa y otras partes cuyos datos se utilizaron para entrenar el modelo ( Esta cuestión, creo que será una de las que mas nos planteemos si optamos por crear nuestra GenAI Corporativa)

Algunos informes indican que algunos modelos GenAI utilizaron contenido creado por terceros en su entrenamiento inicial, como código, texto, imágenes y más. Esto aumenta los riesgos de violar los derechos de propiedad intelectual e incluso de cometer plagio. Además, podría haber varias partes que generaron el mismo contenido potencialmente. Por ello, el uso de los resultados de GenAI podría dar lugar a reclamaciones por violación de derechos de autor, ya que algunos modelos se entrenaron con contenido protegido por derechos de autor sin obtener el permiso adecuado de los propietarios de los datos, como hemos visto con MusicLM.

Actualmente, existe una falta de jurisprudencia definitiva en este ámbito que proporcione una guía clara para las políticas legales. Por lo tanto, las políticas deben desarrollarse teniendo en cuenta los principios actuales de propiedad intelectual. Y ya no solo una falta de jurisprudencia, si no que estamos en una fase de indefinición muy compleja , en la que veremos distintas propuestas, y posiblemente muy dispares entre si. Por ejemplo, la Oficina de derechos de autor de EE. UU.  se ha pronunciado, publicando una guía que niega la protección de derechos de autor para las obras producidas por GenAI. Esto podría interpretarse como que cualquier persona puede copiar y utilizar libremente los resultados del software de GenAI, totalmente contrario, a lo que comentabamos que esta pasando en Italia o Alemania … Creo que nos quedan varios años de esta indefinición, algo que no sabemos si podremos asumir, viendo el creciente uso de la tecnología de Inteligencia Artificial Generativa.

Generación de código inseguro

Nivel de riesgo estimado : MEDIO

El código generado por GenAI corre el riesgo de ser utilizado e implementado sin una auditoría de seguridad adecuada o una revisión exhaustiva para detectar componentes vulnerables o maliciosos ( Un ejemplo : GitHub Copilot ). Esto podría resultar en la propagación de código vulnerable en otros sistemas de la organización y podría considerarse como una «ground truth» en el aprendizaje de modelos futuros.

En inteligencia artificial, «ground truth» (verdad absoluta) se refiere a los datos de referencia o etiquetas correctas que se utilizan para entrenar y evaluar modelos de aprendizaje automático. Es la información confiable y precisa que se considera para una determinada tarea.

El «ground truth» es fundamental en el proceso de entrenamiento y evaluación de modelos de IA, ya que se utiliza como punto de referencia para comparar las predicciones del modelo y medir su precisión. Por ejemplo, en el reconocimiento de imágenes, el «ground truth» serían las etiquetas correctas asociadas a cada imagen en el conjunto de entrenamiento.

Obtener un conjunto de datos de «ground truth» preciso y representativo es crucial para desarrollar modelos de IA confiables y efectivos. Sin embargo, puede ser un desafío en algunos casos, ya que la creación de datos de referencia precisos puede requerir una labor intensiva de etiquetado manual o la utilización de expertos para proporcionar las respuestas correctas.

Información incorrecta

Nivel de riesgo estimado : MEDIO

Los riesgos asociados con GenAI produciendo resultados incorrectos, dañinos, sesgados , pueden llegar a tener un impacto significativo en la reputación de una organización. Es importante además, tener en cuenta las consideraciones de seguridad que surgen, como el doxing (divulgación no autorizada de información personal) o por ejemplo posibles «discursos de odio». Esto plantea un desafío en términos de la confiabilidad de los resultados generados por estos modelos.

Cuando los resultados de IA se incorporan en los productos de trabajo, la comunicación o la investigación de una organización sin verificar su precisión, se corre el riesgo de publicar declaraciones e información incorrectas. Esto puede tener consecuencias negativas para la credibilidad de la organización y socavar la confianza de los clientes, socios y el público en general. Una credibilidad que dificilmente se lebantará como en el caso de este abogado 🙂 .

Es esencial establecer mecanismos adecuados para verificar la precisión de los resultados generados por GenAI antes de utilizarlos en situaciones críticas. Esto puede incluir el uso de conjuntos de datos de prueba de alta calidad, pruebas rigurosas y una revisión exhaustiva por parte de expertos humanos para garantizar la precisión y confiabilidad de los resultados generados.

Riesgo de vulnerabilidades

Nivel de riesgo estimado : MEDIO

Como cualquier otra aplicación, las aplicaciones internas y de terceros que utilizan GenAI deben mantenerse actualizadas y protegidas mediante controles adecuados para mitigar las vulnerabilidades clásicas del software, así como las nuevas formas en que pueden interactuar con las vulnerabilidades de la IA en constante evolución.

Es importante tener en cuenta que cualquier sistema GenAI está expuesto a los mismos riesgos que cualquier otro sistema de software convencional. Además, las vulnerabilidades del software pueden interactuar con las vulnerabilidades de la IA, lo que puede generar un riesgo adicional.

Por ejemplo, una vulnerabilidad en el front-end de una aplicación podría permitir la inyección rápida de código malicioso en el modelo de back-end. Alternativamente, en casos donde la salida del modelo se utiliza programáticamente, los atacantes pueden intentar manipular dicha salida para atacar sistemas posteriores. Por ejemplo, podrían generar texto que cause una inyección SQL cuando se agregue a una consulta SQL.

Para mitigar estos riesgos, es fundamental implementar medidas de seguridad sólidas, como la aplicación de procesos de parcheados regulares, pruebas de ciberseguridad exhaustivas y el uso de buenas prácticas de codificación y revisión de código.

Otros riesgos asociados

Nivel de riesgo estimado : BAJO

El riesgo operacional, no es exclusivo de GenAI, ya que cualquier nuevo servicio o software que se implemente puede implicar un riesgo operativo potencial. Sin embargo, el uso de GenAI puede introducir riesgos adicionales relacionados con la disponibilidad y la infraestructura.

Es importante considerar los posibles riesgos de tiempo de inactividad del sistema, problemas de rendimiento y errores del usuario al utilizar GenAI. Estos riesgos deben ser parte del modelado de amenazas y la planificación de la arquitectura. Además, se deben establecer procedimientos sólidos de respaldo y recuperación ante desastres para minimizar el impacto en caso de fallos, especialmente cuando GenAI ha sido integrado en procesos críticos de la empresa.

Es esencial implementar un Plan de Continuidad del Negocio (PCN) en todas las empresas para abordar estos riesgos y garantizar la disponibilidad y funcionalidad del sistema, incluso en situaciones adversas. Esto asegurará que la empresa esté preparada para hacer frente a cualquier interrupción en el funcionamiento de GenAI y en especial su interactuación con el usuario, y pueda mantener la continuidad de sus operaciones sin problemas.

Por otra parte, y no sé si considerarlo un riesgo como tal, el uso de la IA está ganando cada vez más atención en relación con los principios éticos de la IA, que abarcan aspectos como la seguridad, la protección, la equidad, la transparencia, la explicabilidad y los requisitos generales de responsabilidad.

Aunque estos principios aún no tienen carácter vinculante ( Y vemos relevantes personajes públicos abogando por ello ), algunos de ellos se están incorporando en marcos legales y reguladores existentes. Por lo tanto, es recomendable realizar una evaluación inicial para determinar si existe algún riesgo de impacto en estos principios y cómo se podrían considerar medidas de mitigación específicas, en caso de ser necesario.

Políticas de ciberseguridad en el uso de GenAI de forma corporativa.

Vamos a centrarnos en el caso concreto de ChatGPT en particular.

Los riesgos de GenAI se pueden gestionar mediante la aplicación de las siguientes estrategias:

• Identificar riesgos relevantes y sus impactos en su organización.
• Establecer políticas organizativas sobre cómo y quién puede usar estas herramientas de manera que mitigue los riesgos anteriores a niveles aceptables.
• Elegir proveedores de GenAI adecuados en función de su seguridad y personalización de políticas ofrecida a los clientes, por ejemplo, la exclusión voluntaria y la retención de datos ( Microsoft ya trabaja en M365 Copilot y Google con Bart )

¿Necesitamos una política específica para GenAI o ChatGPT? – ¡Sí!

Es necesaria una política específicas para GenAI, siempre y cuando las políticas existentes no sean suficientes para cubrir estos nuevos aspectos.
El alcance de una política para IA puede cubrir varios tipos de tecnologías, y necesitamos comprender cuáles se están abordando al redactar nuestras políticas para obtener un modelo de mitigación de riesgos más preciso (Parece obvio, pero es imprescindible conocer bien la tecnología para poder hacer una polícia exitosa ):

1. ChatGPT como un servicio específico, debido a su popularidad actual.
2. GenAI en general, incluidos sistemas como Bard, PaLM y Copilot.
3. Productos y servicios de terceros que utilizan tecnologías de GenAI.
4. Aplicaciones corporativas que utilizan tecnologías de GenAI en las instalaciones o en la nube en desarrollo interno.
5. Productos y servicios de terceros que utilizan tecnologías de IA
6. Desarrollo interno de modelos y aplicaciones de IA.

Las empresas de todas las industrias están avanzando con políticas dedicadas, y parece que ese enfoque se está convirtiendo en la mejor práctica de la industria.

Revisar políticas existentes VS Desarrollar nuevas políticas

La mayoría de los riesgos relacionados con la IA deben estar cubiertos por las políticas corporativas existentes. Si bien cada empresa tiene requisitos únicos, estos deben incorporarse de manera apropiada en su marco normativo y político interno existente.

Por ejemplo, las políticas para escribir correos electrónicos comerciales, compartir datos con terceros o utilizar proyectos de código de terceros ya deberían estar bien establecidas y deberíamos disponer de ellas, por lo que estos documentos deben revisarse y actualizarse para cubrir esta nueva demanda.

La llegada de GenAI y ChatGPT también genera la necesidad de implementar nuevas políticas y controles, especialmente en aquellos casos donde la tecnología GenAI ha tenido un impacto significativo en el comportamiento de los usuarios y los sistemas.

Para ilustrar esto de manera más clara, algunos usuarios solían utilizar servicios en cloud para corregir la ortografía, lo cual podría haber expuesto datos confidenciales a terceros. Sin embargo, esto no implica que hayan modificado por completo su flujo de trabajo para la producción de contenido, ni que hayan proporcionado datos sin procesar para su uso en la generación automatizada de texto, como una presentación creada con GenAI a partir de documentos cargados.

La creciente incorporación de ChatGPT y otros sistemas GenAI en aplicaciones de terceros, como las herramientas de Microsoft Office 365 y los complementos de los navegadores, está ocurriendo de manera generalizada y contribuye a la rápida expansión de los riesgos asociados, lo que tal vez, si nos haga crear una política específica, dejando sin lugar a duda el uso especifico de esta tecnología al usuario final.

Conclusiones

Se pueden tomar decisiones informadas sobre riesgos al proporcionar claridad y dirección con respecto a las consideraciones mencionadas anteriormente. Dependiendo de nuestra tolerancia al riesgo, nuestra entidad puede permitir que los empleados compartan ciertos datos con una plataforma GenAI de terceros.

Por ejemplo, si la empresa considera permitir el uso de herramientas desarrolladas y alojadas por OpenAI, debería considerar la implementación de ciertas medidas de ciberseguridad y principios administrativos:

• Seleccionar la opción de exclusión voluntaria de la información de solicitud de usuario que se utiliza para entrenar modelos futuros, ya que actualmente es una opción disponible en la política de OpenAI.
• Aceptar la política actual de retención de datos de 30 días de OpenAI.
• Exigir a los usuarios que cumplan con la Política de uso aceptable y que reciban capacitación de concientización sobre riesgos en GenIA en general o incluso ChatGPT en particular.
• Implementar otras salvaguardias, como controles técnicos adicionales. No está claro en qué medida estos y otros controles son posibles en esta etapa, pero algo podriamos llegar a hacer.

Otro enfoque para abordar los riesgos podría ser declarar una excepción de riesgo permanente y permitir que los empleados utilicen un Servicio GenAI tal como está, o una Aceptación de riesgo temporal con la intención de reevaluar la decisión en el futuro.

Otra forma de gestionar los riesgos asociados a GenAI es alojar la tecnología en las instalaciones ( Me parece una gran opción, aunque lo dificil viene como siempre de trasladarlo al ROI ), donde el equipo de ciberseguridad de la empresa tiene un control total sobre las configuraciones de protección y privacidad.

Estamos actualmente muy poco maduros , ante una tecnología que crece de una forma abismal como os trasladaba anteriormente y en la que necesitamos a empezar a «agarrar por los cuernos» y no a obviarla como venimos haciendo.