Una sesión de preguntas y respuestas con Luis Rojas, docente e investigador en materias de ciberseguridad y auditoría de sistemas, y que recientemente ha participado en ISSA Chile ilustrándonos sobre sobre los desafíos de la ciberseguridad en sistemas de inteligencia artificial.
¿Cuál es su opinión personal sobre la relevancia de la norma ISO/IEC 42001 en la gestión de sistemas de inteligencia artificial?
Es una buena pregunta. Hace unos años atrás no teníamos marcos de referencia o estándares totalmente definidos y específicos para los sistemas de inteligencia artificial; las guías de referencia han sido básicamente observar la presencia y evolución de algunos estatutos legislativos para la IA en algunas partes del mundo, regulaciones específicas para el tratamiento de datos personales manejados por IA o bien, algunos frameworks (como por ejemplo el NIST AI RMF) que al día de hoy ya están publicados y disponibles, sin embargo, la aparición de la ISO/IEC 42001 en el año 2023 creo que marcó un punto crucial en el comienzo de normalización más homogénea y transversal para todos los tipos de sistemas de inteligencia artificial. Esta norma aporta a los sistemas de IA un marco robusto para la gestión de riesgos y oportunidades, uso responsable de la IA, transparencia y confiabilidad en todo su ciclo de vida y la implementación y mantenimiento de un sistema de gestión de la inteligencia artificial (SGIA) basado en el ciclo de mejora continua. Lo relevante es, que su aparición está marcando un hito para que las empresas que utilizan y proveen servicios de IA en su core business comiencen desde ya con su implementación de forma temprana y proactiva, con el fin de anticiparse a la llegada de marcos regulatorios y de compliance que puedan afectar a la continuidad de su negocio y, por otro lado, puedan posicionarse ventajosamente en el mercado.
¿Cómo cree que la implementación de ISO/IEC 42001 puede influir en el desarrollo y uso ético de la inteligencia artificial?
Desde un punto de vista pragmática, puede influir a través de una correcta implementación de un SGIA (Sistema de Gestión de Inteligencia Artificial), la cual entrega una orientación y enfoque estructurado especialmente en el riesgo, capacidad, transparencia y fiabilidad para los sistemas de IA. La ISO/IEC 42001 posee una estructura de alto nivel de controles basada en 4 anexos (2 de ellos normativos) en donde existen guías de implementación de controles muy específicos para el desarrollo (ciclo de vida) y uso ético de la IA. Al igual que otras normas, podemos auditar estos procesos y medir nuestro estado de madurez de nuestros sistemas de Inteligencia Artificial. Esto va a depender también de cómo la organización evalúe el impacto y riesgo sobre el desarrollo, cumplimiento y ética en los sistemas que utilice o provea según las regulaciones existentes en cada país y es, en este punto, donde la norma juega un rol importante, como por ejemplo, para la futura Ley de IA a implementarse en Chile.
En su opinión, ¿cuáles son los principales desafíos que enfrenta la inteligencia artificial en la sociedad actual?
Creo que los principales desafíos son los asuntos éticos y regulatorios que en esencia son los pilares que dan forma a la naturaleza de una sociedad estructurada y al día de hoy, existe muy poca conciencia y educación sobre estos temas. Sin regulación, el uso de IA puede generar diversos problemas que a mi parecer influyen negativamente en el sesgo de información, soberanía de datos, desarrollo no regulado de algoritmos, y mal uso de datos y gestión de información de identificación personal (PII). Así mismo, organizaciones que no comprenden adecuadamente la implementación de IA en sus procesos de negocio, ponen en riesgo la seguridad de sus sistemas y datos al no implementar controles adecuados.
¿Cómo pueden las empresas asegurarse de que sus desarrollos en inteligencia artificial sean responsables y beneficiosos para la sociedad?
Esto es muy interesante, ya que va sujeto al resultado de la adopción de la filosofía, cultura de compromiso y liderazgo de la organización en utilizar un marco y norma de referencia para cumplir con las regulaciones existentes y adoptar buenas prácticas. Por ejemplo, la ISO/IEC 42001 permite a las organizaciones implementar políticas y procedimientos para la IA (sistema robusto de gobernanza para la IA), además de procesos de auditoría interna y externa para verificar si se encuentran cumpliendo con los requisitos esenciales que permiten adoptar el desarrollo responsable y de utilidad para quien utiliza el producto o servicio.
¿Puede compartir algún ejemplo de cómo una empresa ha adoptado ISO/IEC 42001 y ha mejorado sus prácticas de IA?
Si bien la norma ISO/IEC 42001 es relativamente nueva (2023) ya existen empresas que han logrado la certificación en el continente europeo para cumplir con las regulaciones existentes (Ley IA UE). Por otro lado, empresas como Google, Apple y Microsoft, han implementado principios alineados a la norma ISO/IEC 42001 sobre el uso responsable y ético de la IA y esto creo que ha sido un factor fundamental para mantener sus procesos de negocio en el mercado.
¿Qué impacto cree que tendrá la inteligencia artificial en el futuro del trabajo y en las industrias tradicionales?
Hemos visto por ejemplo, algunos insights en estudios de mercado de Gartner sobre cómo se está proyectando la implementación e incorporación de IA en el desarrollo de software; por ejemplo, para el 2026, se espera que más del 70% de los proveedores de software independientes incorporen IA generativa en sus aplicaciones, y por otro lado, se espera un crecimiento anual de un 19% en el mercado de software con IA. Estas cifras demuestran que las empresas están incorporando cada vez más el uso de IA para fortalecer y automatizar sus procesos de negocio y que a mi parecer, tendrán un impacto significativo en la optimización de recursos, como por ejemplo, el reemplazo de ciertas labores repetitivas ya están siendo reemplazadas por sistemas que incorporan algoritmos de operación mas eficientes y exactos. Un estudio de Our World In Data (2023) demuestra cómo la IA ha superado el desempeño humano en diversas capacidades, como por ejemplo, reconocimiento de imagen, del habla, escritura, comprensión lectora, etc. Esto último demuestra que la adopción de la IA en un futuro no muy lejano, superará en demasía algunas actividades rutinarias. Sin embargo, tal y como lo hemos visto anteriormente, debemos prestar atención a este avance exponencial, que sin regulación podría transformarse en un gran problema.
¿Cuáles son las principales preocupaciones éticas que la inteligencia artificial plantea, y cómo podemos abordarlas de manera efectiva?
Las principales preocupaciones éticas que he observado en distintos estudios son generalmente asuntos de falta de transparencia en el uso de IA y neutralidad, como también el sesgo en los datos y desarrollo de algoritmos no seguros. Esto ha generado desde sanciones económicas a grandes compañías por parte de la GDPR, como también vulneraciones y mal uso de la IA por organizaciones criminales utilizándo deepfake. Este es un escenario complejo donde tenemos a diversos actores y creo que una forma efectiva de abordar esta problemática es a través de regulaciones transversales con leyes que se adapten a cada región y la correcta adopción de las buenas prácticas adoptadas a través de frameworks y estándares.
¿Qué rol deben jugar los gobiernos y las instituciones en la regulación y supervisión del desarrollo de la inteligencia artificial?
Tal y como ocurre con la ciberseguridad, los gobiernos e instituciones relevantes en cada región, deben implementar leyes que se adapten a la realidad de cada país, pero que también sean compatibles con el escenario global. Es un asunto complejo y requiere una fuerte adopción de una filosofía de compromiso proactivo. Creo que el escenario actual y geopolítico dificulta en algunos aspectos la adopción rápida y eficiente de leyes y políticas para el desarrollo responsable de la IA y este es un gran desafío; velar por el bien común.
En su experiencia, ¿qué tan receptivas han sido las empresas a adoptar normativas como ISO/IEC 42001?
Creo que las organizaciones se encuentran en una etapa de madurez temprana; están incorporando fuertemente la IA en sus procesos de negocio, pero que sin embargo, desconocen aún la existencia de la normativa. Esto es un problema significativo, ya que la adquisición de servicios o productos basados en IA, así como también el desarrollo de IA sin una mirada y enfoque en el riesgo, puede generar problemas significativos que no están siendo visualizados, como por ejemplo la reputación, seguridad, falta de cumplimiento y transparencia, sólo por nombrar algunos. Las organizaciones deben comprender que la adquisición de esta tecnología, debe ser correctamente analizada y estudiada bajo todas las aristas de gobernanza, técnicas y estratégicas del negocio con el fin de minimizar los riesgos.
