Resumen informativo
- El uso de la inteligencia artificial (IA) se ha generalizado, pero la falta de explicabilidad de estos sistemas sigue siendo una cuestión crítica.
- La forma en que los sistemas de IA llegan a respuestas y soluciones suele ser ambigua, lo que plantea importantes desafíos en materia de rendición de cuentas.
- Los científicos cuánticos han propuesto un nuevo cambio de paradigma en la explicabilidad de la IA, apoyándose en gran medida en los principios de la teoría de categorías.
- Imagen: Procesamiento de esta investigación basado en IA que sin duda carece de interpretabilidad.
La inteligencia artificial (IA) ha experimentado un enorme auge en las aplicaciones, pero la falta de explicabilidad de estos sistemas sigue siendo un problema crítico y una preocupación creciente. El complejo funcionamiento de las redes neuronales, como las que impulsan los grandes modelos de lenguaje (LLM), como ChatGPT o Claude, suele ser opaco, lo que plantea importantes desafíos en áreas que requieren responsabilidad, como los sectores financiero, sanitario y jurídico.
Estas vagas recomendaciones de IA pueden parecer inicialmente en gran medida técnicas y académicas, pero tienen implicaciones en el mundo real. Por ejemplo, la falta de interpretabilidad puede poner en peligro la seguridad del paciente, mientras que en finanzas, la opaca calificación crediticia de la IA puede generar sesgos y problemas de cumplimiento normativo.
Con la IA cuántica en el horizonte, la explicabilidad puede convertirse en un problema mayor, ya que la complejidad de los modelos cuánticos podría oscurecer aún más los procesos de toma de decisiones sin marcos sólidos.
Reportando en la empresa Entrada en el blog Y comoPaper cholarly en el servidor de preimpresión ArXivinvestigadores en Cantidad -que incluye un grupo de distinguidos científicos de inteligencia artificial- propuso un nuevo cambio de paradigma en la interpretabilidad de la inteligencia artificial, aprovechando los principios de la mecánica cuántica y la teoría de categorías.
Ilyas Khan, fundador y director de producto de Quantinuum, quien también fue autor de este artículo, proporciona el contexto del trabajo en Compartir LinkedIn: “Cuando fabricamos un automóvil, un avión o incluso unas tijeras, entendemos cómo funcionan, componente por componente. Cuando las cosas no funcionan, sabemos por qué no funcionan o podemos resolverlo. sistemáticamente también construimos sistemas en campos críticos como la atención médica, donde sabemos qué tan conectadas están las entradas y salidas. Esta construcción simple es necesaria si realmente queremos difundir la IA y el LLM en toda la sociedad para nuestro beneficio. Esta falta de «seguridad» es. De hecho, no es una preocupación nueva.» XAI» como un movimiento («inteligencia artificial explicable») de este interés. En nuestra nueva investigación, analizamos de manera muy rigurosa y detallada cómo (y por qué) deben ser los sistemas de IA. «Explicable» y «explicable» por diseño, no por algunos métodos posteriores oscuros, costosos y sólo parcialmente efectivos.
El documento es bastante detallado, pero lo que sigue es un desglose que esperamos resuma las ideas principales del equipo.
Problema de interpretación
Según los investigadores, el problema fundamental de muchos modelos actuales de IA es su naturaleza de “caja negra”. Estos modelos, especialmente las redes neuronales de aprendizaje profundo, destacan en las tareas pero proporcionan poca información sobre sus procesos de toma de decisiones. Esta opacidad es un inconveniente importante en campos de alto riesgo donde comprender cómo se extraen las conclusiones es crucial para garantizar la seguridad y el uso ético.
La Inteligencia Artificial Explicable (XAI) ha surgido como respuesta a este problema. XAI utiliza técnicas «post hoc», que intentan explicar el comportamiento de modelos previamente entrenados. Se utilizan métodos como mapas de prominencia, valores de Shapley e interpretaciones contrafactuales para hacer que estos modelos sean más transparentes. Sin embargo, estas técnicas suelen proporcionar interpretaciones aproximadas y, a veces, poco fiables.
Un nuevo enfoque con la teoría de categorías.
Los investigadores de Quantinum han proporcionado una nueva perspectiva sobre la explicabilidad de la inteligencia artificial mediante la aplicación de la teoría de categorías, un marco matemático que describe procesos y sus combinaciones. La teoría de categorías se utiliza hoy en día en campos como la informática, donde ayuda a diseñar y comprender programas a través de lenguajes como Haskell, y en matemáticas, donde la teoría guía la conexión de diferentes ideas mostrando cómo se relacionan entre sí. También ayuda a los físicos a diseñar y comprender sistemas complejos en campos como la mecánica cuántica.
Este enfoque de teoría de categorías se detalla en profundidad en un artículo reciente de arXiv, en el que el equipo presenta un marco teórico integral para identificar modelos de IA y analizar su interpretabilidad.
«En Quantinuum, continuamos trabajando en el desarrollo de nuevos modelos en IA y al mismo tiempo perfeccionamos las herramientas teóricas y fundamentales que nos permiten a todos evaluar la interpretabilidad de un modelo determinado», escribieron los investigadores en su publicación de blog. demostrar cuán útil puede ser un modelo de IA «. Estructura compositiva clara y significativa.
En el centro del enfoque Quantinum se encuentra el concepto de modelos sintéticos. Estos modelos están diseñados con estructuras claras y significativas desde el principio, lo que los hace inherentemente interpretables. A diferencia de las redes neuronales tradicionales, los modelos compositivos permiten una comprensión clara de cómo interactúan los diferentes componentes y contribuyen al proceso general de toma de decisiones.
Sean Toole, coautor del artículo, ofreció su opinión sobre la importancia de este desarrollo en esta publicación: “En el mejor de los casos, estos modelos intrínsecamente interpretables ni siquiera requerirían métodos XAI, sino que servirían como su propia explicación y una de las más profundas”. tipo.
Utilizando la teoría de categorías, los investigadores desarrollaron un cálculo gráfico que captura la estructura compositiva de los modelos de IA. Este método no sólo allana el camino para la interpretación de los modelos clásicos, sino que también se extiende a los modelos cuánticos. El equipo escribe que este enfoque proporciona un marco preciso y matemáticamente definido para evaluar la explicabilidad de los sistemas de IA.
Resultados prácticos
Las implicaciones de esta investigación, si se demuestra que son válidas, son profundas y de largo alcance. Por ejemplo, si bien se ha demostrado que los transformadores, que son una parte integral de modelos como ChatGPT, no son interpretables, los modelos más simples, como los modelos lineales y los árboles de decisión, son inherentemente interpretables. En otras palabras, al identificar y analizar la estructura compositiva de los modelos de IA, el marco Quantinuum permite el desarrollo de sistemas interpretables a través del diseño.
Para ver cómo esto podría afectar el uso de la IA en el mundo real, la investigación podría brindar a los desarrolladores una mejor capacidad para lidiar con un problema persistente que enfrentan las personas que usan MBA: las falsas «alucinaciones» de estos modelos. Durante estas alucinaciones, la IA produce información incorrecta, a menudo muy grave. Al aplicar la teoría de categorías para desarrollar modelos de IA inherentemente explicables, los investigadores pueden comprender y controlar mejor los procesos de toma de decisiones de estos modelos. Esta interpretabilidad mejorada puede ayudar a identificar y mitigar los casos en los que los LLM generan información incorrecta o sin sentido, reduciendo así la incidencia de alucinaciones.
El uso de la teoría de categorías y los diagramas de cuerdas proporciona varias formas de explicaciones esquemáticas del comportamiento del modelo. Estas explicaciones, que incluyen restricciones de influencia y ecuaciones gráficas, proporcionan una comprensión más profunda de los sistemas de IA, mejorando su transparencia y confiabilidad.
“Un problema fundamental en el campo de la Síntesis de modelos de inteligencia artificial.
Futuras tendencias
El enfoque de Quantinum allana el camino para una mayor exploración de los modelos compositivos y sus aplicaciones. El equipo imagina un futuro en el que los modelos de IA no sólo sean potentes, sino también transparentes y responsables. Su investigación en curso tiene como objetivo mejorar estas herramientas teóricas y aplicarlas a sistemas de IA tanto clásicos como cuánticos, lo que en última instancia conducirá a aplicaciones de IA más seguras y confiables.
«Este trabajo es parte de nuestra estrategia más amplia de IA, que incluye el uso de IA para mejorar la computación cuántica, el uso de computadoras cuánticas para mejorar la IA y, en este caso, el uso de la teoría de categorías y herramientas de composición para mejorar la IA», enfatizaron los investigadores en su blog. . Ayúdanos a comprender mejor la inteligencia artificial”.
Además de Toole y Khan, el equipo de Quantinum incluye a Robin Lorenz, Stephen Clarke y Bob Cockey.
Para una inmersión técnica más profunda en la investigación, puede acceder al documento completo en arXiv aquí.
«Fanático del café. Amable aficionado a los zombis. Devoto practicante de la cultura pop. Malvado defensor de los viajes. Organizador típico».