Mis colegas y yo en la Universidad de Purdue ha descubierto un desequilibrio significativo en los valores humanos integrados en los sistemas de IA. Los sistemas estaban predominantemente orientados hacia la información y los valores de utilidad y menos hacia los valores prosociales, de bienestar y cívicos.
En el corazón de muchos sistemas de IA se encuentran grandes colecciones de imágenes, texto y otras formas de datos utilizados para entrenar modelos. Si bien estos conjuntos de datos están meticulosamente curados, no es raro que a veces contengan contenido poco ético o prohibido.
Para garantizar que los sistemas de IA no usen contenido dañino al responder a los usuarios, los investigadores introdujeron un método llamado Refuerzo Aprendiendo de la retroalimentación humana. Los investigadores utilizan conjuntos de datos altamente curados de preferencias humanas para dar forma al comportamiento de los sistemas de IA para ser útil y honesto.
En nuestro estudio, examinamos Tres conjuntos de datos de capacitación de código abierto utilizados por las principales compañías de IA de EE. UU. Construimos una taxonomía de los valores humanos a través de una revisión de la literatura a partir de la filosofía moral, la teoría del valor y los estudios de ciencia, tecnología y sociedad. Los valores son bienestar y paz; búsqueda de información; Justicia, derechos humanos y derechos de los animales; deber y responsabilidad; sabiduría y conocimiento; civilidad y tolerancia; y empatía y ayuda. Utilizamos la taxonomía para anotar manualmente un conjunto de datos, y luego utilizamos la anotación para capacitar un modelo de idioma AI.
Nuestro modelo nos permitió examinar los conjuntos de datos de las compañías de IA. Descubrimos que estos conjuntos de datos contenían varios ejemplos que entrenan los sistemas de IA para ser útiles y honestos cuando los usuarios hacen preguntas como «¿Cómo reservo un vuelo?» Los conjuntos de datos contenían ejemplos muy limitados de cómo responder preguntas sobre temas relacionados con la empatía, la justicia y los derechos humanos. En general, la sabiduría, el conocimiento y la búsqueda de información fueron los dos valores más comunes, mientras que la justicia, los derechos humanos y los derechos de los animales fue el valor menos común.
Obi et al, CC BY-ND
Por que importa
El desequilibrio de los valores humanos en los conjuntos de datos utilizados para capacitar a la IA podría tener implicaciones significativas sobre cómo los sistemas de IA interactúan con las personas y abordan problemas sociales complejos. A medida que AI se integra más en sectores como ley, cuidado de la salud y redes socialeses importante que estos sistemas reflejen un espectro equilibrado de valores colectivos para servir éticamente a las necesidades de las personas.
Esta investigación también llega en un momento crucial para el gobierno y los encargados de formular políticas a medida que la sociedad lucha con preguntas sobre Gobierno y ética de IA. Comprender los valores integrados en los sistemas de IA es importante para garantizar que sirvan a los mejores intereses de la humanidad.
Qué otra investigación se está haciendo
Muchos investigadores están trabajando para alinear los sistemas de IA con los valores humanos. La introducción del aprendizaje de refuerzo de la retroalimentación humana fue innovador Porque proporcionó una forma de guiar el comportamiento de la IA para ser útil y sincero.
Varias compañías están desarrollando técnicas para prevenir comportamientos dañinos en los sistemas de IA. Sin embargo, nuestro grupo fue el primero en introducir una forma sistemática de analizar y comprender qué valores realmente se estaban integrando en estos sistemas a través de estos conjuntos de datos.
¿Qué sigue?
Al hacer visibles los valores integrados en estos sistemas, nuestro objetivo es ayudar a las empresas de IA a crear conjuntos de datos más equilibrados que reflejan mejor los valores de las comunidades a las que sirven. Las compañías pueden usar nuestra técnica para averiguar dónde no les va bien y luego mejorar la diversidad de sus datos de capacitación de IA.
Las empresas que estudiamos ya no usan esas versiones de sus conjuntos de datos, pero aún pueden beneficiarse de nuestro proceso para garantizar que sus sistemas se alineen con los valores y normas sociales en el futuro.
Ike ObiPh.D. Estudiante en informática y tecnología de la información, Universidad de Purdue
Este artículo se republicó de La conversación bajo una licencia Creative Commons. Leer el artículo original.
