- Información clave: El uso de IA para seleccionar a los solicitantes de empleo, una práctica común entre los bancos y otras empresas, ha sido criticado por incluir tácitamente en una lista negra a candidatos calificados.
- Lo que está en juego: Las brechas en la transparencia laboral pueden generar costos legales, de reputación y de cumplimiento para los empleadores.
- Cita de experto: «El empleo de IA debe seguir las leyes existentes sobre equidad y transparencia». —David Seligman, Hacia la justicia.
Erin Kistler tiene una licenciatura en informática de la Universidad Estatal de Ohio, fue directora de programas en Microsoft durante casi seis años y tiene 19 años de experiencia en gestión de productos, incluida la inteligencia artificial, los sistemas de gestión de datos y la tecnología de experiencia del usuario.
Pero en los últimos cuatro años, recibió rechazos automáticos cuando solicitó puestos para los que estaba calificada en PayPal, Microsoft, Netflix y otros empleadores.
Procesamiento de contenido
«He solicitado cientos de puestos de trabajo, pero siento como si una fuerza invisible estuviera impidiendo que me dieran una consideración justa», dijo Kistler. «Es desalentador y sé que no soy el único que se siente así».
Cada vez que Kistler recibía un rechazo automático, se le pedía que enviara una solicitud a través de un enlace que incluía «eightfold.ai/careers». Se dio cuenta de que todos los empleadores potenciales estaban trabajando con una empresa llamada Eightfold AI que ofrece servicios de reclutamiento y contratación basados en IA.
Kistler es uno de los dos demandantes en una demanda presentada la semana pasada contra Eightfold en un tribunal de California. Eightfold proporciona verificaciones de antecedentes y crédito basadas en inteligencia artificial. Tres de sus clientes de la industria financiera son BNY, Morgan Stanley y PayPal, ninguno de los cuales respondió a una solicitud de comentarios sobre la demanda.
El caso pone de relieve los riesgos que enfrentan los bancos cuando dejan que la IA haga parte del arduo trabajo de examinar grandes cantidades de solicitudes de empleo.
Es cierto que los empleadores eran conscientes de esto.
Según la nueva demanda, presentada por la firma de abogados sin fines de lucro Towards Justice, Eightfold «utiliza tecnología de inteligencia artificial oculta para recopilar información sensible y a menudo inexacta sobre solicitantes de empleo desprevenidos y calificarlos de 0 a 5 para empleadores potenciales en función de su supuesta ‘probabilidad de éxito’ en el trabajo».
La tecnología de Eightfold acecha en el fondo de las solicitudes de empleo, según la denuncia, «para miles de solicitantes que tal vez ni siquiera sepan que Eightfold existe, y mucho menos que Eightfold recopila datos personales, como perfiles de redes sociales, datos de ubicación, actividad de Internet y dispositivos, cookies y otros seguimientos, para crear un perfil del comportamiento, actitudes, inteligencia y otras características de los solicitantes que los solicitantes nunca incluyeron en las solicitudes que nunca incluyeron sus solicitudes».
Los solicitantes de empleo no tienen una oportunidad significativa de revisar o cuestionar el informe generado por IA de Eightfold antes de tomar una decisión sobre si obtienen o no el trabajo, alega la demanda.
«El hecho de que esta empresa utilice tecnología de inteligencia artificial sofisticada y esté respaldada por capital de riesgo no significa que esté por encima de la ley. Esto no es el salvaje oeste», dijo David Seligman, director ejecutivo de Towards Justice. «Los sistemas de inteligencia artificial como Eightfold están tomando decisiones que cambian vidas sobre quién consigue trabajo, quién obtiene vivienda, quién recibe atención médica, y tenemos que tomar una decisión: ¿vamos a permitir que ellos y sus inversionistas nos engañen y se apropien de nuestro mercado? ¿O vamos a asegurarnos de que sigan las leyes escritas y proporcionen las cosas más básicas, como transparencia, como qué son la justicia y la transparencia?»
Un portavoz de Eightfold dijo que las acusaciones de la demanda carecen de fundamento.
«La plataforma de Eightfold funciona con datos que los candidatos comparten intencionalmente o los proporcionan nuestros clientes», dijo. Eightfold no acecha ni extrae el historial web personal o las redes sociales para crear archivos secretos, dijo. «Estamos profundamente comprometidos con la inteligencia artificial responsable, la transparencia y el cumplimiento de las leyes laborales y de protección de datos aplicables».
Eightfold utiliza información que los candidatos eligen enviar sobre sus habilidades, experiencia y educación, así como datos aprobados por sus clientes, dijo.
Pero las propias declaraciones de Eightfold sugieren que la compañía obtiene información de Internet, según Rachel Dempsey, abogada de Towards Justice.
«Nuestras afirmaciones se basan en el argumento de que crearon este LLM que tomó toda esta información de varios lugares de Internet», dijo Dempsey a American Banker. «Uno de sus grandes puntos de venta es que dicen que tienen más de mil millones de datos que van al LLM, lo que en última instancia da como resultado estas evaluaciones».
Los solicitantes de empleo tienen la oportunidad de ver y, si es necesario, corregir los datos que Eightfold ha recopilado, dijo un portavoz de Eightfold.
«Este es uno de los muchos diferenciadores de nuestra plataforma», dijo. «Eightfold respalda una experiencia dedicada donde los candidatos pueden ver la información del currículum utilizada por nuestro sistema, corregir imprecisiones y representar con precisión sus habilidades».
Sin embargo, según Dempsey, los demandantes en este caso nunca tuvieron la oportunidad de revisar los datos que llevaron a su rechazo automático o de corregir cualquier inexactitud.
En el centro de la demanda hay una simple cuestión de privacidad, dijo Dempsey.
«A medida que avanzamos, creo que el miedo realmente queda atrapado en esta caja negra en la que sientes que estas empresas de selección de empleo te han incluido en la lista negra y simplemente no sabes por qué», dijo.
En cuanto a Kistler, en ningún momento durante el proceso de solicitud se le notificó que se obtendría un informe del consumidor basado en su información personal con el fin de evaluar su solicitud de empleo, según la demanda.
Tampoco recibió un resumen de sus derechos como consumidora, ni información sobre el nombre, dirección, número de teléfono, dirección del sitio web y prácticas de privacidad de Eightfold, ni otra información requerida por las leyes federales y estatales, dice.
Durante el proceso de solicitud de empleo, Kistler alega que no tuvo la oportunidad de negarse a la recopilación y evaluación de datos sobre sus consumidores con fines laborales. Eightfold utilizó información de informes de consumidores que recopiló para evaluar la solicitud de Kistler con datos de otros solicitantes, alega la demanda.
«Tenemos derecho a tener ciertos tipos de control sobre la información pública sobre nosotros», dijo Dempsey. «Parte de eso también es fundamentalmente un problema de IA, donde una de las cosas que hace Eightfold es perfilar a los individuos a través de este LLM que hace predicciones serias sobre ellos. Y esas predicciones pueden no siempre ser precisas, y pueden estar informadas por información discriminatoria, y sin ningún acceso a comprender cómo se toman esas decisiones, de qué está hablando este LLM y cómo lo dice».
Según la Ley de Informes Crediticios Justos, la falta de visibilidad sobre el origen de los datos del modelo y la incapacidad de corregirlos es en sí misma un perjuicio, según Ka Pravda.
Eightfold dice que utiliza lo que llama Match Score para determinar si un candidato a un puesto es adecuado para un puesto.
«No es una puntuación universal o transferible que sigue a un candidato a través de empresas o roles no relacionados, y no se crea fuera del contexto de un rol», dijo un portavoz de Eightfold.
El modelo de IA de Eightfold es «útil… pero no rechaza a un candidato», dijo. «Es importante destacar que el modelo es sólo una parte del sistema: los resultados de las coincidencias son impulsados por la forma en que los empleadores definen sus requisitos y criterios laborales, y la IA evalúa el ajuste con esos datos».
El modelo de Eightfold está entrenado en conjuntos de datos grandes y diversos que reflejan habilidades, experiencia y atributos relacionados con el trabajo, dijo un portavoz de la compañía. «Como todos los sistemas de IA modernos, nuestro modelo aprende patrones de datos históricos, pero están diseñados explícitamente para no replicar sesgos pasados. Aplicamos anonimización, pruebas de equidad rigurosas, técnicas de mitigación de sesgos y monitoreo continuo para garantizar que los resultados sean independientes de las características protegidas, y nuestra tecnología se utiliza para respaldar la toma de decisiones humana, no para reemplazarla, cómo la IA es responsable y justa. Sus modelos».
La empresa ofrece herramientas como el enmascaramiento de candidatos, que oculta información personal como el nombre o el sexo, según un portavoz de la empresa. «Esto garantiza que los reclutadores se centren en las cualificaciones del candidato a la hora de tomar decisiones de contratación».
La compañía también está sujeta a pruebas periódicas de sesgo interno y externo, incluidas auditorías de sesgo de terceros independientes, como las requeridas por la Ley Local 144 de la Ciudad de Nueva York, dijo el portavoz. Realiza un análisis de efectos dispares para medir si los resultados del sistema son significativamente diferentes para un grupo frente a otro. Y realiza verificaciones de probabilidades iguales para confirmar que la precisión del modelo es consistente en diferentes grupos demográficos.
Kistler no quiso especular sobre por qué recibió tantos rechazos automáticos, pero Dempsey señaló que las demandantes en este caso son mujeres con experiencia en STEM, están calificadas para los trabajos que solicitaron y son rechazadas repetidamente.
«Ambos están ansiosos por trabajar, ansiosos por trabajar, ansiosos por compartir y desarrollar sus habilidades, y simplemente los echan sin saber por qué, y creo que eso es realmente doloroso», dijo Dempsey. «Estas herramientas de selección de empleo de IA son una gran parte del motivo».
El Tribunal Superior de Contra Costa en California tendrá que determinar si Eightfold violó alguna ley. Mientras tanto, la frustración que siente la gente cuando un sistema automatizado les rechaza un trabajo es real, ya sea un modelo de IA o no.
Como señaló un observador de la industria: «Las personas de 20 años desconfían cada vez más de la IA, las falsificaciones profundas, etc., y consideran que la caja negra del proceso de solicitud de empleo es desalentadora y deshumanizante».
