Una empresa no necesariamente queda exenta de responsabilidad porque una decisión haya sido generada por un algoritmo. Cuando una organización utiliza inteligencia artificial para contratar, evaluar trabajadores, conceder créditos, segmentar clientes o determinar el acceso a determinados servicios, debe considerar los riesgos de discriminación, privacidad, transparencia y supervisión humana.
¿Qué es la discriminación algorítmica?
La discriminación algorítmica ocurre cuando un sistema automatizado produce resultados que perjudican de manera injustificada o desigual a determinadas personas o grupos, ya sea por utilizar datos sesgados, variables que funcionan como sustitutos de características protegidas, criterios inadecuados o modelos que reproducen patrones discriminatorios existentes.
El problema puede aparecer incluso cuando el algoritmo no recibe directamente información como sexo, edad, discapacidad, origen étnico o condición económica. Por ejemplo, determinadas variables aparentemente neutrales pueden estar correlacionadas con características personales y terminar generando resultados desiguales.
Una empresa utiliza un sistema de IA para seleccionar candidatos. El modelo fue entrenado con datos históricos de contrataciones y aprende que determinados perfiles aparecen con mayor frecuencia entre las personas contratadas. Si el sistema utiliza esos patrones para descartar automáticamente a candidatos con características diferentes, podría reproducir un sesgo existente en los datos históricos.
¿La IA puede discriminar aunque nadie haya programado una regla discriminatoria?
Sí. Un sistema de inteligencia artificial puede generar resultados discriminatorios sin que exista una instrucción explícita del tipo “rechazar a personas de determinado grupo”.
Esto puede suceder porque los modelos identifican correlaciones dentro de grandes cantidades de datos. Si los datos utilizados para entrenar o configurar el sistema contienen patrones históricos de desigualdad, el algoritmo puede aprenderlos y utilizarlos para realizar nuevas predicciones.
¿Qué dice la regulación peruana sobre la discriminación en sistemas de IA?
El marco peruano de inteligencia artificial establece expresamente el principio de no discriminación. El Reglamento de la Ley N.° 31814 señala que durante las fases de desarrollo, implementación y uso de sistemas basados en IA deben adoptarse medidas para prevenir, mitigar y corregir resultados discriminatorios o sesgados.
La regulación también vincula el uso de IA con principios como transparencia, explicabilidad, supervisión humana y rendición de cuentas. Esto es especialmente relevante para las empresas que implementan sistemas cuyos resultados pueden afectar derechos o intereses de las personas.
La automatización de una decisión no elimina automáticamente las obligaciones jurídicas de la organización que decidió utilizar el sistema. La empresa debe analizar qué sistema emplea, para qué finalidad, con qué datos, qué riesgos presenta y qué mecanismos de control mantiene.
¿Qué usos empresariales de IA presentan mayor riesgo?
No todas las aplicaciones de inteligencia artificial tienen el mismo nivel de riesgo. En Perú, la clasificación oficial considera de alto riesgo, entre otros, determinados usos relacionados con selección laboral, evaluación y contratación de trabajadores, condiciones de empleo, evaluación crediticia y acceso a determinados servicios.
| Uso empresarial | Posible riesgo | Ejemplo |
|---|---|---|
| Selección laboral | Discriminación en el acceso al empleo | IA que filtra automáticamente currículums. |
| Evaluación de trabajadores | Decisiones injustificadas sobre desempeño | Algoritmo que asigna puntuaciones a empleados. |
| Crédito | Tratamiento desigual de solicitantes | Modelo que determina el nivel de riesgo de un cliente. |
| Publicidad | Segmentación desigual | Sistema que muestra determinadas ofertas solamente a ciertos perfiles. |
| Atención al cliente | Trato diferenciado | Automatización que modifica respuestas según características del usuario. |
IA en procesos de selección de personal
Uno de los escenarios más sensibles es el uso de inteligencia artificial para contratar trabajadores. Una empresa puede utilizar algoritmos para ordenar currículums, identificar candidatos, analizar pruebas o recomendar quién debería pasar a una siguiente etapa.
En estos casos, el hecho de que el resultado haya sido generado automáticamente no significa que la organización pueda ignorarlo. La empresa sigue siendo quien decidió implementar la herramienta y utilizar su resultado dentro de un proceso empresarial.
Además, la legislación peruana ya establece que las ofertas de empleo y el acceso a determinados medios de formación educativa no pueden contener requisitos que constituyan discriminación, anulación o alteración de la igualdad de oportunidades o de trato.
Por ello, una empresa debería evaluar cuidadosamente cualquier herramienta de IA utilizada para selección, especialmente cuando el sistema descarta candidatos automáticamente.
¿Puede una empresa ser responsable por una decisión tomada por IA?
La respuesta depende del caso concreto y de la normativa aplicable. Sin embargo, la utilización de un algoritmo no convierte a la IA en un sujeto independiente que sustituya las responsabilidades jurídicas de la organización.
Una empresa podría enfrentar consecuencias si el uso del sistema genera una infracción de la legislación aplicable, por ejemplo, en materia de igualdad de trato, protección al consumidor, protección de datos personales, relaciones laborales u otras áreas dependiendo de la decisión adoptada.
La pregunta jurídica relevante no debería limitarse a “¿la IA tomó la decisión?”, sino también a “¿quién implementó el sistema, para qué lo utilizó, qué controles aplicó y qué impacto produjo?”
Responsabilidad empresarial: desarrollador, implementador y usuario
El Reglamento de la Ley 31814 diferencia los roles que participan en el ciclo de vida de los sistemas basados en inteligencia artificial. Esto permite analizar la responsabilidad de acuerdo con las funciones que realmente desempeña cada actor.
En la práctica, una empresa puede ocupar más de uno de estos roles. Por ejemplo, puede contratar una herramienta externa de selección de personal y al mismo tiempo definir cómo se utilizarán sus resultados para contratar trabajadores.
¿Qué ocurre si la empresa compró la IA a un proveedor?
Contratar una solución tecnológica externa no elimina necesariamente los riesgos jurídicos asociados con su utilización.
Antes de implementar una herramienta de IA que pueda afectar derechos o intereses de personas, la empresa debería conocer, como mínimo, su finalidad, las categorías de datos utilizadas, las condiciones de uso, las posibilidades de supervisión, los mecanismos de revisión y las medidas de seguridad disponibles.
Una cláusula contractual que diga que “el proveedor es responsable de cualquier decisión generada por la IA” no debería utilizarse como sustituto de una evaluación jurídica del caso concreto. La distribución contractual de responsabilidades entre empresas y proveedores no necesariamente determina por sí sola las obligaciones frente a trabajadores, consumidores, titulares de datos o autoridades.
La importancia de la supervisión humana
Uno de los elementos centrales del enfoque peruano sobre inteligencia artificial es la supervisión humana. La regulación establece que los sistemas basados en IA deben someterse a controles adecuados, particularmente cuando sus resultados pueden afectar derechos fundamentales.
La supervisión humana no debería consistir simplemente en que una persona haga clic en “aceptar”. Debe existir una capacidad real de revisar el resultado, identificar errores, solicitar información adicional y, cuando corresponda, modificar o detener el proceso automatizado.
Una supervisión humana efectiva debería permitir:
- Revisar decisiones potencialmente discriminatorias.
- Detectar resultados anómalos.
- Solicitar explicaciones sobre los criterios utilizados.
- Corregir información incorrecta.
- Impedir que una decisión automática produzca consecuencias injustificadas.
- Registrar las intervenciones realizadas.
¿Qué relación existe entre discriminación algorítmica y protección de datos?
Los problemas de discriminación pueden estar relacionados con la forma en que una empresa recopila, utiliza y analiza datos personales.
La Ley N.° 29733 protege el derecho fundamental a la protección de los datos personales y se aplica también al sector privado. Su reglamento vigente fue aprobado mediante el Decreto Supremo N.° 016-2024-JUS.
Cuando una empresa utiliza IA para analizar información de personas, debe considerar no solamente el resultado producido por el algoritmo, sino también la legalidad del tratamiento de los datos que alimentan el sistema.
¿Qué debería revisar una empresa antes de utilizar IA para tomar decisiones?
Checklist de prevención de discriminación algorítmica
¿Cómo puede una empresa reducir el riesgo de discriminación algorítmica?
1. Realizar una evaluación previa de riesgos
Antes de implementar la herramienta, la empresa debería identificar qué derechos o intereses podrían verse afectados y cuáles serían las consecuencias de un resultado incorrecto.
2. Evaluar la calidad de los datos
Los datos deben ser pertinentes para la finalidad perseguida y suficientemente representativos. Un modelo entrenado con información histórica problemática puede reproducir los mismos patrones.
3. Probar el sistema antes del despliegue
Las pruebas deberían considerar distintos perfiles de usuarios y comparar resultados para identificar posibles diferencias injustificadas.
4. Mantener supervisión humana
Las decisiones con impacto significativo no deberían depender exclusivamente de una salida automatizada sin mecanismos de revisión.
5. Documentar las decisiones
La empresa debería conservar información sobre qué herramienta utiliza, para qué finalidad, quién la administra y qué controles se aplican.
6. Establecer un procedimiento de reclamación
Las personas afectadas deberían contar con canales para solicitar revisión cuando consideren que una decisión automatizada fue incorrecta o injustificada.
¿Qué puede ocurrir si una IA discrimina a un consumidor?
El análisis cambia dependiendo del contexto. Si el sistema se utiliza para ofrecer productos, servicios, publicidad o condiciones comerciales, pueden entrar en juego las normas de protección al consumidor, además de las reglas específicas aplicables al tratamiento de datos personales.
Por ejemplo, una empresa debería analizar si un algoritmo está ofreciendo condiciones diferentes a personas en situaciones comparables sin una justificación válida o si está excluyendo injustificadamente a determinados consumidores.
La discriminación en el consumo tampoco debe analizarse únicamente desde la perspectiva técnica del algoritmo. Lo relevante jurídicamente puede ser el efecto concreto de la práctica y las circunstancias en las que se produjo.
¿Y si la IA discrimina a un trabajador?
En el ámbito laboral, el riesgo puede aparecer durante la contratación, evaluación, promoción, asignación de tareas, determinación de condiciones de trabajo o terminación de la relación laboral.
La utilización de inteligencia artificial puede complicar la identificación del origen del problema: el empleador podría argumentar que simplemente siguió la recomendación de un sistema, mientras que el trabajador podría cuestionar los criterios utilizados por dicho sistema.
Por eso resulta especialmente importante conservar registros, establecer mecanismos de revisión y evitar que la automatización se convierta en una forma de ocultar decisiones empresariales que podrían resultar discriminatorias.
Ejemplo práctico: IA para contratar trabajadores
Situación
Una empresa recibe 10.000 currículums y utiliza IA para seleccionar automáticamente los 500 perfiles que pasarán a una entrevista.
Problema
Después de varios meses se detecta que determinados grupos de candidatos son descartados con una frecuencia significativamente superior a otros grupos, aunque las diferencias no parecen estar justificadas por los requisitos del puesto.
¿Qué debería hacer la empresa?
- Suspender o revisar el criterio problemático.
- Analizar los datos utilizados por el sistema.
- Determinar qué variables influyeron en los resultados.
- Evaluar si existe un patrón discriminatorio.
- Revisar las decisiones afectadas cuando corresponda.
- Documentar las medidas correctivas.
- Reevaluar la herramienta antes de volver a utilizarla.
¿La empresa necesita una política interna de inteligencia artificial?
Para organizaciones que utilizan IA de manera habitual, una política interna puede ayudar a establecer reglas claras sobre qué herramientas están autorizadas, qué información puede introducirse en ellas, quién puede utilizarlas y qué decisiones requieren revisión humana.
Una política corporativa también puede establecer procedimientos para evaluar proveedores, registrar sistemas de IA, reportar incidentes, capacitar trabajadores y revisar periódicamente los riesgos.
¿Qué debería contener una política contra la discriminación algorítmica?
¿Puede una empresa decir que “la culpa fue de la IA”?
Desde una perspectiva jurídica, esa afirmación por sí sola no resuelve el problema. La IA es una herramienta tecnológica. La responsabilidad concreta debe analizarse considerando quién tomó las decisiones relevantes sobre su desarrollo, implementación y utilización, qué obligaciones legales resultaban aplicables y qué medidas de prevención y control fueron adoptadas.
Precisamente por ello, el Reglamento de la Ley 31814 incorpora el principio de rendición de cuentas: los actores involucrados en el desarrollo, implementación y uso de sistemas de IA deben contar con mecanismos que permitan identificar, evaluar y responder por los impactos generados.
Preguntas frecuentes sobre discriminación algorítmica
Sí. Variables aparentemente neutrales pueden estar correlacionadas con características personales y producir resultados diferenciados. Por eso la evaluación de sesgos no debe limitarse a revisar si el sistema contiene explícitamente una variable determinada.
No existe una regla general que permita afirmar que todo error de una IA genera automáticamente la misma responsabilidad jurídica. La evaluación depende del sistema utilizado, la actividad, el daño o afectación, las obligaciones aplicables, el comportamiento de la empresa y las circunstancias concretas del caso.
No. La supervisión humana es un mecanismo de control, pero no garantiza por sí sola que un sistema sea justo. Debe complementarse con calidad de datos, pruebas, documentación, monitoreo y mecanismos de corrección.
La clasificación oficial peruana incluye determinados procesos de selección laboral, evaluación, contratación y cese de trabajadores dentro de los usos de IA de riesgo alto.
Debe evaluar el impacto, identificar el origen del problema, aplicar medidas correctivas y documentar las acciones adoptadas. Si existen personas afectadas, también debería analizar si corresponde revisar las decisiones previamente tomadas.
Conclusión
La inteligencia artificial puede mejorar numerosos procesos empresariales, pero también puede reproducir o amplificar patrones discriminatorios. El hecho de que una decisión sea automatizada no significa que desaparezcan las obligaciones jurídicas de la organización que implementó y utiliza el sistema.
En Perú, el marco regulatorio de inteligencia artificial incorpora expresamente principios de no discriminación, transparencia, supervisión humana y rendición de cuentas. Para las empresas, esto implica que la gestión del riesgo algorítmico debe formar parte de la gobernanza tecnológica y jurídica de la organización.
En especial cuando la IA interviene en contratación laboral, evaluación de trabajadores, crédito, servicios o decisiones que pueden afectar derechos fundamentales, resulta recomendable documentar el sistema, evaluar sus datos y resultados, mantener supervisión humana y contar con procedimientos para detectar y corregir posibles decisiones discriminatorias.
Aviso: Este contenido tiene finalidad exclusivamente informativa y no constituye asesoría legal. La responsabilidad concreta derivada del uso de inteligencia artificial debe analizarse según las circunstancias de cada caso y la normativa aplicable.