Discriminación oculta y cómo contrarrestarla

• Un estudio reciente muestra que las herramientas de selección de currículums de IA a menudo favorecen a candidatos blancos y masculinos, lo que apunta a la posibilidad de prácticas de contratación discriminatorias no intencionadas.
• Los investigadores sugieren cinco pasos prácticos para evitar el sesgo de la IA en el lugar de trabajo. Esto incluye auditorías periódicas de las herramientas de inteligencia artificial, transparencia de los datos, evitar una dependencia excesiva de la automatización, adoptar descripciones de trabajo integrales e implementar salvaguardias basadas en datos.

En un importante estudio presentado en la conferencia de octubre de la Asociación para el Avance de la Inteligencia Artificial/Asociación para Maquinaria Informática (AAAI/ACM) sobre IA, Ética y Sociedad, las investigadoras Kyra Wilson y Aylin Caliskan descubrieron sesgos preocupantes, que existen en varias de las principales fuentes de código abierto. Soluciones de modelos de IA para la selección de currículums.

El estudio utilizó 554 currículums y 571 descripciones de puestos, analizando más de 3 millones de combinaciones de diferentes nombres y roles. Los investigadores intercambiaron los nombres en los currículums y utilizaron 120 nombres generalmente asociados con personas masculinas, femeninas, negras o blancas. Se presentaron currículums para puestos que iban desde gerente general hasta representante de ventas.

Los resultados fueron inquietantes. Los currículums con nombres asociados con personas blancas fueron seleccionados para el siguiente paso de contratación el 85% de las veces, mientras que los currículums con nombres asociados con personas negras fueron preferidos solo el 9% de las veces. Además, se seleccionaron currículums con nombres masculinos el 52% de las veces, incluso para puestos con una alta representación femenina tradicionalmente. Lo preocupante es que los hombres negros estaban en mayor desventaja, con sus currículums 100% ignorados en favor de otros candidatos.

Los investigadores atribuyen estos resultados sesgados a los datos utilizados para entrenar los modelos de IA. Los sistemas de IA reflejan inherentemente los patrones presentes en sus conjuntos de datos de entrenamiento. Si estos conjuntos de datos provienen de fuentes con desigualdades históricas o sociales, es probable que el sistema de IA reproduzca o incluso refuerce estas desigualdades, lo que conducirá a una toma de decisiones sesgada. El fenómeno conocido como “basura que entra, basura que sale” advierte que las herramientas de inteligencia artificial que no prestan suficiente atención a la diversidad y la equidad en sus datos de capacitación corren el riesgo de convertirse en guardianes automatizados de la discriminación y poner en desventaja sistemática a candidatos calificados de grupos subrepresentados.

Los empleadores que utilizan la IA en la contratación deben ser conscientes de los riesgos legales, éticos y de reputación asociados con resultados potencialmente sesgados. Las prácticas de contratación discriminatorias pueden dar lugar a costosas demandas o investigaciones regulatorias. Incluso la discriminación involuntaria puede tener un resultado negativo y no es del todo justificable. El gobierno ha indicado que los empleadores no pueden eludir sus responsabilidades culpando a los proveedores de IA si la tecnología discrimina a los solicitantes o empleados. Además, al descartar candidatos que no entran en la categoría de hombres blancos, las empresas pierden talento diverso y calificado que puede fortalecer sus bases. Las acusaciones de sesgo de la IA también podrían generar publicidad perjudicial, impactar negativamente los esfuerzos de reclutamiento y retención, y dañar la reputación ante los clientes.

Para combatir el sesgo de la IA en la contratación, los investigadores sugieren cinco mejores prácticas. Se deben realizar auditorías periódicas de las herramientas de IA para detectar sesgos raciales, de género e interseccionales. Los empleadores deben asegurarse de que los datos utilizados para entrenar sus modelos sean equilibrados y representativos y priorizar los modelos con transparencia incorporada. Se debe evitar una dependencia excesiva de las decisiones automatizadas y se debe integrar la supervisión humana en las decisiones de IA. Las descripciones de puestos y los criterios de selección deben ser neutrales y completos, eliminando criterios innecesarios que podrían perjudicar injustamente a ciertos candidatos. Por último, implementar protecciones basadas en datos analizando periódicamente los resultados de las herramientas de detección de IA y comparando los resultados demográficos puede ayudar a identificar y eliminar cualquier sesgo.

Si bien la tecnología de inteligencia artificial promete eficiencia, es importante ser conscientes de su potencial para perpetuar sesgos sin darse cuenta y tomar medidas para garantizar la equidad en las prácticas de contratación.

Descubra más en HospitalityLawyer.com.