En abril de 2021, la Comisión Europea publicó la propuesta de un marco regulatorio que busca proveer a las empresas y equipos que trabajan con datos de una serie de requisitos y obligaciones respecto a los proyectos de Inteligencia Artificial. El objetivo principal es que los ciudadanos europeos puedan confiar en las aplicaciones de Inteligencia Artificial que están desarrollando las compañías e instituciones sin que ello supongo perjuicio alguno o vulnere sus derechos. Aunque aún no es de obligado cumplimiento, se espera que en la segunda mitad de 2022 comience un período de transición donde se desarrollarán los estándares y estructuras de gobernanza que conviertan estos requerimientos en algo operativo y real en las organizaciones.

En esta propuesta de marco regulatorio se establece una aproximación basada en el riesgo potencial que tienen los sistemas de Inteligencia Artificial:

• Riesgo inaceptable: se prohíbe expresamente cualquier desarrollo de IA que pueda ser considerado una amenaza a la seguridad, a la subsistencia de las personas o, directamente, a sus derechos humanos. Se cita como un ejemplo, cualquier aplicación de reconocimiento facial en espacios públicos o social scoring, en una alusión directa a los proyectos que China está haciendo con IA.
• Riesgo alto: cualquier aplicación de la IA que tenga impacto en infraestructuras críticas, acceso a educación, seguridad de componentes y productos, empleo y recruiting, servicios esenciales, requisitos legales, control de fronteras e inmigración o administración de justicia. Se hace un especial énfasis en que cualquier sistema de reconocimiento biométrico se considera de alto riesgo.
• Riesgo limitado: cualquier sistema de IA que tenga una interacción con los ciudadanos y se requerirá que se informe que esa interacción está siendo realizada con un bot o un algoritmo de IA.
• Riesgo mínimo: por lo general, cualquier otra aplicación que no caiga en las categorías anteriores.

Impacto en la industria fintech e insurtech del marco regulatorio europeo en IA

Las empresas del sector fintech e insurtech basan gran parte de su propuesta de valor en la automatización de procesos que son más eficientes que sus competidores tradicionales gracias a no depender de sistemas legacy, poder aplicar nuevas tecnologías y, en particular, la capacidad de aplicar la Inteligencia Artificial para la toma de decisiones inteligentes o para ayudar a los responsables de dichas decisiones a tomarlas de forma más eficiente e informada.

Sin embargo, esta búsqueda de innovación y eficiencia debe estar sujeta al mismo marco regulatorio y, por tanto, las empresas fintech e insurtech deben tomar medidas proactivamente para garantizar una serie de requisitos, sobre todo en sus proyectos con potencial riesgo alto o medio. Entre ellas, estas medidas pueden ser las siguientes:

1. Sistemas adecuados de evaluación y mitigación de riesgos
2. Alta calidad de los conjuntos de datos que alimentan el sistema para minimizar los riesgos y los resultados discriminatorios
3. Trazabilidad de resultados
4. Documentación de los sistemas
5. Información clara hacia el usuario final
6. Medidas apropiadas de supervisión humana

Estos grandes objetivos involucran a personas, que deben ser conscientes de su aplicación, procesos, ya que las compañías tienen que desarrollar un modelo de gobierno sobre sus proyectos de IA y tecnología, utilizando de forma proactiva herramientas y recursos que ya existen para abordar cada uno de los puntos anteriores.

Desde el punto de vista de la industria Data Science & Engineering, existen alternativas para conseguir que las organizaciones se acerquen a estos objetivos. Ponemos dos ejemplos:

• Es necesario no solamente anticipar los riesgos y prevenirlos, sino también medirlos de forma cuantitativa cuando pueden haber sucedido. En este sentido, existen distintas técnicas que nos permiten evaluar si los modelos que tenemos en nuestra compañía toman decisiones basadas en variables sensibles y también técnicas para mitigar este efecto. Es todo un campo de estudio y aplicación dentro de la IA desarrollar modelos que cumplan con la fairness (justicia) necesaria e involucra tanto equipos técnicos, como sociólogos o filósofos en establecer unos criterios que se alineen con nuestros valores comunes. Además, los datos, que no son más un reflejo del pasado de las acciones y decisiones que han tomado las organizaciones, también contienen sesgos y debemos ser conscientes de ellos para reducirlos y ser justos con todos los ciudadanos que puedan interactuar con un modelo entrenado con estos datos.
• La mejora de la calidad de los conjuntos de datos proviene de una correcta gestión de la información y el conocimiento que las compañías generan en torno a ellos lo que se consigue aplicando modelos de Gobierno del Dato en las organizaciones. Además, cada vez más frecuentemente, las compañías buscan reutilizar aquellos datos confiables, tanto datos que proceden de orígenes de información como generados por procesos automáticos, ya sea desarrollando un único punto de acceso a la información en un repositorio analítico, como un Data Lake, o utilizando herramientas de versionado y almacenamiento de variables (Feature Store).
• La trazabilidad de los resultados es esencial para conocer en qué circunstancias se entrenaron los modelos de Inteligencia Artificial o en qué condiciones un modelo generó una predicción u otra. Hoy en día, existen herramientas en el mercado que permiten llevar a cabo esta trazabilidad: herramientas como MLFlow permiten a los equipos de datos gestionar toda la historia de los modelos y sus artefactos asociados mientras que otras herramientas como Datenea proveen visibilidad a todos los entregables y productos generados durante el proceso completo de un proyecto de datos, desde la captura inicial hasta su puesta en producción.

En definitiva, generar mayor negocio y hacer más eficientes sus operaciones son los objetivos de cualquier organización que busca explotar el valor que tienen sus datos, pero debemos ser conscientes del impacto que esto genera en la ciudadanía ya que necesitamos su confianza para que esta industria siga creciendo y tomar medidas adecuadas para respetar los derechos de todos, especialmente de las minorías o colectivos vulnerables.

 Alejandro Llorente, co-fundador de PiperLab