¿Puede una IA tomar decisiones peligrosas? El caso que preocupa a la industria

El debate sobre los alcances de la inteligencia artificial volvió a ocupar la agenda tecnológica luego de que un modelo de OpenAI realizara una cadena de acciones que comprometió infraestructura dentro de un entorno de pruebas. Para Samir Estefan, consultor en tecnología, el episodio evidencia la evolución de los sistemas de IA y la necesidad de fortalecer las medidas de seguridad frente a herramientas cada vez más autónomas.

Durante una entrevista en Sala de Prensa, Estefan explicó que los modelos más recientes han sido entrenados para comprender y escribir código, lo que también les permite detectar vulnerabilidades en otros sistemas. En ese contexto, aseguró que el modelo "había encontrado vulnerabilidades adicionales en sus sistemas y vulnerabilidades adicionales en los sistemas de Hugging Face, y que habían logrado penetrar los sistemas de Hugging Face para sacar la información de ese reto".

El experto señaló que lo más preocupante fue la capacidad del sistema para enlazar diferentes fallas de seguridad con el fin de alcanzar un objetivo específico. "Lo que hizo el algoritmo fue encadenar una serie de pequeñas vulnerabilidades que convirtieron todo en una vulnerabilidad grandísima", afirmó.

Inteligencia artificial agéntica y decisiones autónomas

Estefan explicó que el avance de la denominada inteligencia artificial agéntica implica que estos modelos ya no solo generan respuestas, sino que también pueden ejecutar acciones de manera autónoma. Según indicó, el principal desafío radica en que estos sistemas actúan con base en los parámetros con los que fueron entrenados.

"Si este modelo necesitara tomar acciones que van en contra de temas que para nosotros son éticos, pero que para ellos no existen porque no ha sido parte de su entrenamiento, pues lo va a tomar", manifestó.

Asimismo, advirtió que el mayor riesgo aparece cuando este tipo de capacidades se traslada a escenarios del mundo real, como robots o vehículos autónomos. "El riesgo son esas consecuencias inesperadas que todavía no hemos podido visualizar", sostuvo.

Responsabilidad de las empresas tecnológicas

Consultado sobre quién debe asumir la responsabilidad por este tipo de situaciones, Estefan fue enfático al señalar que "en este caso creo que es OpenAI". No obstante, también planteó que el episodio podría tener implicaciones en la percepción del mercado sobre el liderazgo tecnológico de la compañía.

Más allá del caso puntual, el consultor afirmó que gobiernos, empresas e instituciones deben prepararse para un escenario en el que los ataques informáticos incorporan cada vez más componentes de inteligencia artificial. "Tenemos que estar pensando que cuando nos enfrentamos a ciberdelincuentes, ya no solo nos estamos enfrentando a ciberdelincuentes que utilizan herramientas de forma manual, sino que utilizan esto", indicó.

Finalmente, al abordar la regulación de las plataformas digitales y las restricciones para menores de edad en redes sociales, el especialista respaldó que las compañías tecnológicas asuman un papel más activo. "Creo que el pasar la responsabilidad es interesante", afirmó, al considerar que las plataformas deben reforzar los mecanismos para verificar la edad de los usuarios y garantizar medidas efectivas de protección para niños y adolescentes.

Escuche la entrevista completa acá: