La evolución de la inteligencia artificial está haciendo que los sistemas sean capaces de ejecutar tareas cada vez más complejas de forma autónoma. Esta capacidad ofrece importantes oportunidades para las empresas, pero también plantea nuevos riesgos cuando los modelos pueden interactuar con Internet, sistemas informáticos y datos reales.
Un reciente incidente relacionado con Gemini, la inteligencia artificial de Google, vuelve a poner el foco sobre estos riesgos. Durante una prueba de ciberseguridad realizada en mayo de 2026, el modelo terminó accediendo a sistemas pertenecientes a tres empresas reales que no formaban parte del ejercicio.
¿Qué ocurrió durante la prueba de Gemini?
El ejercicio fue organizado por Irregular, una empresa especializada en evaluar la seguridad de sistemas de inteligencia artificial. El objetivo era comprobar las capacidades de Gemini dentro de un entorno controlado mediante una prueba de tipo capture the flag.
El modelo debía interactuar con una empresa ficticia creada específicamente para la evaluación y obtener determinada información de sus sistemas. En principio, el entorno debía permanecer aislado y Gemini no tenía que disponer de acceso a Internet.
Sin embargo, durante la prueba se produjo un fallo en la configuración que permitió al modelo acceder a Internet. A partir de ese momento, Gemini pudo buscar información fuera del entorno de evaluación y comenzó a interactuar con sistemas que no formaban parte del ejercicio.
Uno de los problemas fue que algunas de las empresas ficticias utilizadas en las pruebas compartían nombre con compañías reales. Al buscar información en Internet, el modelo encontró esas empresas y terminó accediendo a sus sistemas.
El modelo llegó a utilizar credenciales reales
El incidente resulta especialmente relevante desde el punto de vista de la ciberseguridad porque Gemini no se limitó a consultar información pública. En uno de los casos, el modelo consiguió acceder a un sistema protegido después de probar contraseñas hasta encontrar una válida.
En otros dos casos, encontró credenciales expuestas en repositorios públicos y las utilizó para acceder a sistemas pertenecientes a empresas reales.
Según la información facilitada por Google, el modelo detuvo su actividad cuando identificó que había accedido a compañías reales y que estas no formaban parte del ejercicio. Las empresas afectadas fueron informadas posteriormente y Google trabajó con Irregular para modificar los procedimientos utilizados en las evaluaciones.
El verdadero problema: cuando la IA sale del entorno controlado
Más allá de las circunstancias concretas del incidente, el caso muestra uno de los principales retos asociados al desarrollo de agentes de inteligencia artificial con capacidad para actuar de forma autónoma.
Un modelo que únicamente genera texto puede presentar determinados riesgos relacionados con la información que procesa. Sin embargo, cuando un sistema puede navegar por Internet, utilizar herramientas, ejecutar acciones o acceder a servicios externos, el alcance de un error puede ser considerablemente mayor.
La diferencia fundamental está en que el agente deja de limitarse a proponer una acción y puede llegar a ejecutarla directamente.
En este contexto, una configuración incorrecta, unas credenciales expuestas o una identificación equivocada del objetivo pueden convertirse en un incidente de seguridad.
¿Tu empresa está incorporando herramientas de inteligencia artificial?
Es importante analizar cómo afectan estas tecnologías al tratamiento de datos personales y qué medidas deben aplicarse para reducir los riesgos.
Conoce el servicio de Protección de Datos de FORLOPD y descubre cómo podemos ayudarte a adaptar el uso de la IA a las obligaciones de protección de datos.
La seguridad de los entornos de prueba también es crítica
El caso de Gemini pone de manifiesto otra cuestión importante: un entorno de pruebas debe estar realmente aislado de los sistemas y datos que no forman parte del ejercicio.
Utilizar empresas ficticias con nombres que coinciden con compañías reales, mantener conexiones externas disponibles o permitir que un agente pueda acceder a información pública puede generar escenarios que no estaban contemplados inicialmente.
Las pruebas de seguridad de sistemas de IA deberían aplicar, por tanto, medidas de aislamiento, control de las conexiones externas, gestión estricta de credenciales, supervisión de las acciones del modelo y mecanismos capaces de detener automáticamente determinadas operaciones.
Un nuevo escenario para la ciberseguridad empresarial
El incidente también permite anticipar un escenario que las empresas tendrán que tener cada vez más en cuenta: los sistemas de IA pueden convertirse tanto en herramientas defensivas como en nuevos vectores de riesgo.
Un agente con acceso a herramientas corporativas podría, por ejemplo, consultar bases de datos, enviar comunicaciones, modificar documentos, acceder a aplicaciones o ejecutar determinadas acciones en nombre de un usuario. Si sus permisos no están correctamente definidos, un error de interpretación o una instrucción manipulada podría tener consecuencias sobre información empresarial o datos personales.
Por este motivo, la incorporación de inteligencia artificial a los procesos empresariales no debería limitarse a evaluar su funcionalidad. También es necesario analizar qué información puede consultar, qué sistemas puede utilizar, qué acciones puede ejecutar y qué controles existen para supervisar su comportamiento.
IA, protección de datos y seguridad de la información
Cuando los sistemas de inteligencia artificial tienen acceso a información que contiene datos personales, el análisis debe incorporar también las obligaciones derivadas del RGPD y la normativa española de protección de datos.
La organización debe conocer qué datos utiliza el sistema, con qué finalidad se procesan, quién puede acceder a ellos y qué medidas de seguridad se aplican. También resulta necesario determinar los riesgos derivados de integrar herramientas de IA con otros sistemas corporativos.
En determinados escenarios, la evaluación puede requerir un análisis de riesgos específico o incluso una Evaluación de Impacto relativa a la Protección de Datos (EIPD), especialmente cuando el tratamiento pueda implicar un riesgo elevado para los derechos y libertades de las personas.
La experiencia de Gemini demuestra que la seguridad de la inteligencia artificial no depende únicamente de la capacidad del modelo. También depende de cómo se configura, qué permisos recibe, a qué recursos puede acceder y qué controles existen alrededor de él.
La autonomía de la IA obliga a reforzar los controles
El desarrollo de agentes capaces de actuar de forma autónoma abre una nueva etapa en la utilización empresarial de la inteligencia artificial. Las organizaciones tendrán que pasar de preguntarse únicamente qué puede hacer una IA a analizar también qué puede hacer por sí misma y hasta dónde puede llegar si algo falla.
El caso de Gemini no demuestra que una inteligencia artificial tenga voluntad de atacar una empresa. Sí demuestra, en cambio, que un error en el entorno de ejecución puede permitir que un sistema automatizado actúe sobre objetivos reales de una forma que sus responsables no habían previsto.
Por ello, la seguridad debe formar parte del diseño y la implantación de cualquier sistema de IA desde el principio, especialmente cuando este dispone de acceso a Internet, aplicaciones corporativas, información confidencial o datos personales.
La IA necesita límites y supervisión
La automatización puede mejorar numerosos procesos empresariales, pero también modifica la forma en que deben gestionarse los riesgos. Cuando una herramienta de IA tiene capacidad para consultar información, conectarse con otros servicios o ejecutar acciones, sus permisos deben estar definidos de forma proporcional a las funciones que realmente necesita.
El caso de Gemini pone de manifiesto la importancia de establecer entornos aislados, controles de acceso, supervisión humana y mecanismos de prevención que permitan limitar las consecuencias de un comportamiento inesperado.
La inteligencia artificial puede convertirse en una herramienta estratégica para las organizaciones, pero su implantación debe ir acompañada de una adecuada gestión de la seguridad y de la protección de los datos personales.
¿Necesitas revisar cómo está utilizando tu empresa la inteligencia artificial y qué implicaciones tiene para la protección de datos?
Contacta con FORLOPD y nuestro equipo analizará contigo las necesidades de tu organización para ayudarte a utilizar la IA con mayores garantías de seguridad y cumplimiento.
Fuente: ABC
