El día 19 de julio del 2024 el director de Lucentia Research, Juan Carlos Trujillo, asistió al IV Encuentro Unidad Mixta de Investigación, donde profesionales y académicos del sector de la inteligencia artificial tuvieron, una oportunidad única, compartir los últimos avances en inteligencia artificial y sentar las bases para futuras colaboraciones. Este evento tuvo lugar en la Universidad Politécnica de Valencia.
Durante el encuentro, Juan Carlos Trujillo, presentó los innovadores avances del Grupo Lucentia Research en inteligencia artificial, concretamente el trabajo titulado: “Understanding Large Language Models via Mechanistic Interpretability” cuyos autores son el estudiante de doctorado Jorge García y sus directores Alejandro Maté y Juan Carlos Trujillo.
Juan Carlos Trujillo, destacó cómo los modelos grandes del lenguaje (LLM) como GPT o LLaMA han causado una gran revolución debido al rendimiento que tienen en una gran cantidad de tareas como la generación y revisión de código o resumir textos de gran tamaño entre otros. De la misma manera, Juan Carlos Trurjillo remarcó los factores que permiten este tipo de rendimiento, como:
- El número de parámetros
- La cantidad de datos con los que se ha entrenado el modelo.
- El tiempo de entrenamiento de la inteligencia artificial.
Dentro del marco de la presentación, Juan Carlos Trujillo, destacó los siguientes avances del grupo Lucentia Research. Concretamente el brillante trabajo de unos de los miembros del grupo, Jorge García, cuyo trabajo consistió en identificar y comprender las componentes que realizan una tarea de predicción de múltiples tokens como la predicción de acrónimos utilizando GPT-2 Small. Además, este trabajo se extendió para permitir la detección y comprensión de vulnerabilidades en los sistemas de IA Generativa.
Este último aspecto fue claramente destacado por Juan Carlos Trujillo, debido a su importancia para la detección de fugas de seguridad a través de técnicas como la Interpretabilidad Mecanística, que permite una interpretación del funcionamiento de las LLM por parte del ser humano. De esta forma, los expertos pueden entender qué está causando estas vulnerabilidades y paliar el problema de seguridad de forma controlada.
Dado el factor limitante que suponen las vulnerabilidades en la aplicación de la inteligencia artificial en muchos campos donde resulta imposible su uso por el riesgo que conllevan estas fugas de seguridad, este trabajo supone un avance significativo en el desarrollo del campo de la inteligencia artificial.