El etiquetado transparente de los datos de entrenamiento puede ser ruidoso

UNIVERSITY PARK, Pensilvania — Los datos visuales introducidos en los sistemas de inteligencia artificial (IA) correctamente etiquetados pueden hacer que las personas confíen más en la IA, según los investigadores. El equipo agregó que los hallazgos pueden allanar el camino para ayudar a los científicos a medir mejor la relación entre la credibilidad, el rendimiento de la IA y la confianza.

En un estudio, los investigadores encontraron que el etiquetado de imágenes de alta calidad llevó a las personas a percibir los datos de entrenamiento como confiables y a confiar más en el sistema de IA. Sin embargo, cuando el sistema muestra otros signos de sesgo, algunos aspectos de su confianza caen mientras que otros permanecen en un nivel alto.

Para que los sistemas de IA aprendan, primero deben ser entrenados utilizando información que a menudo es etiquetada por humanos. Sin embargo, la mayoría de los usuarios nunca ven cómo se clasifican los datos, lo que genera dudas sobre la precisión y el sesgo de estas etiquetas, según S. Shyam SundarJames B. Jimirro es Catedrático de Media Effects Facultad de Comunicación Donald B Bellisario y codirector de Laboratorio de investigación de efectos de medios en estado de pensilvania.

Sundar, quien también es afiliado de Instituto Penn State de Ciencias Computacionales y de Datos. Solo puede suceder si la IA está entrenada en una buena muestra de datos. En última instancia, gran parte de la preocupación sobre la confianza en la IA tiene que ser una preocupación real sobre nuestra confianza en los datos de entrenamiento en los que se basa esta IA. Sin embargo, fue difícil transferir la calidad de los datos de entrenamiento a la persona promedio”.

Según los investigadores, una forma de expresar confianza es dar a los usuarios un vistazo a los datos del etiquetado.

“El proceso de etiquetado a menudo no se revela a los usuarios, por lo que nos preguntamos qué pasaría si divulgáramos la información de los datos de entrenamiento, especialmente la precisión del etiquetado”, dijo Chris (Cheng) Chen, profesor asociado de comunicación y diseño en la Universidad de Elon. Autor del estudio. «Queríamos ver si esto daría forma a la percepción de las personas sobre la confiabilidad de los datos de entrenamiento y afectaría aún más su confianza en el sistema de IA».

Los investigadores reclutaron un total de 430 participantes para el estudio en línea. Se pidió a los participantes que interactuaran con un sitio web prototipo de Emotion Reader AI, que se presentó como un sistema diseñado para detectar expresiones faciales en imágenes de redes sociales. Los investigadores informaron a los participantes que el sistema de IA fue entrenado en un conjunto de datos de casi 10 000 imágenes de rostros etiquetados, marcando cada imagen como una de siete emociones: alegría, tristeza, ira, miedo, sorpresa, asco o neutralidad. También se informó a los participantes que más de 500 personas habían participado en la clasificación de datos para el conjunto de datos. Sin embargo, los investigadores manipularon el etiquetado, por lo que en un caso las etiquetas describían con precisión las emociones, mientras que en la otra mitad de las imágenes faciales estaban mal etiquetadas.

Para estudiar el rendimiento de un sistema de IA, los investigadores asignaron aleatoriamente a los participantes a uno de tres estados experimentales: sin rendimiento, rendimiento sesgado y rendimiento imparcial. En las condiciones sesgadas e imparciales, a los participantes se les mostraron ejemplos del desempeño de la IA que involucraban calificar las emociones expresadas por dos sujetos negros y dos blancos. En la condición de rendimiento sesgado, el sistema de IA calificó todas las imágenes de personas blancas con un 100 % de precisión y todas las imágenes de personas negras con un 0 % de precisión, lo que indica un fuerte sesgo racial en el rendimiento de la IA.

Según los investigadores, la confianza de los participantes se desplomó cuando percibieron que el rendimiento del sistema estaba sesgado. Sin embargo, su apego emocional al sistema y el deseo de utilizarlo en el futuro no disminuyó después de ver un desempeño sesgado.

La fiabilidad de los datos de entrenamiento.

Los investigadores acuñaron el término «confiabilidad de los datos de entrenamiento» para describir si un usuario percibe los datos de entrenamiento como confiables, confiables y confiables.

Sugieren que los desarrolladores y diseñadores pueden medir la confianza en la IA mediante la creación de nuevas formas de evaluar la percepción del usuario sobre la confiabilidad de los datos de entrenamiento, como permitir que los usuarios revisen una muestra de datos etiquetados.

“También es éticamente importante que las empresas muestren a los usuarios cómo categorizar los datos de capacitación, para que puedan decidir si es de alta o baja calidad”, dijo Chen.

Sundar agregó que los desarrolladores de IA deberán idear formas innovadoras de compartir información de datos de capacitación con los usuarios, pero sin abrumarlos ni confundirlos.

Sundar, quien también es director, dijo Centro de Penn State para la Inteligencia Artificial Socialmente Responsable, o CSRAI. «Al defender formas transparentes de mostrar etiquetas de calidad, queremos diseños de interfaz que informen y hagan pensar a los usuarios en lugar de convencerlos de que confíen ciegamente en un sistema de IA».

Los investigadores presentaron sus hallazgos hoy (24 de abril) en el Conferencia ACM CHI sobre factores humanos en sistemas informáticosy lo citó en sus deliberaciones, la primera publicación de investigación sobre la interacción humano-computadora.

Descargo de responsabilidad: AAAS y Eurek Alert! No es responsable de la exactitud de los boletines enviados en EurekAlert! A través de organizaciones colaboradoras o por utilizar cualquier información a través del sistema EurekAlert.