En 2016, el Reglamento General de Protección de Datos de la Unión Europea tuvo que reconocer algo incómodo: el derecho de una persona a que una decisión automatizada no sea la última palabra sobre su vida. Ocho años después, el Reglamento Europeo de Inteligencia Artificial fue más lejos y exigió supervisión humana para los sistemas de alto riesgo.

Que haya hecho falta legislarlo dice más que cualquier informe de consultora. Poner a un ser humano al final de un proceso no garantiza que ese ser humano esté juzgando nada. Puede existir un responsable formal, una pantalla de confirmación, una firma, mientras la decisión real ya se tomó antes, cuando el sistema clasificó el caso y redactó la explicación que después se presenta como evidencia.

Santo Tomás de Aquino ya había trazado, en el siglo trece, la frontera exacta de este problema, con una precisión que buena parte del vocabulario contemporáneo sobre ética tecnológica todavía no alcanza. Distinguió la eficacia de la prudencia. Un sistema puede encontrar el medio más eficiente para reducir un costo o aumentar una conversión. Lo que no puede hacer por sí mismo es juzgar si el fin que persigue está bien elegido, si el sacrificio que exige es proporcional, si la métrica que usa para representar el bien es la correcta. Alguien puede razonar con enorme habilidad sobre un objetivo defectuoso y ser, en ese terreno, muy competente sin ser prudente. La inteligencia artificial optimiza dentro del mundo que le construimos. Cuando ese mundo contiene un fin mal formulado, más precisión no corrige el problema. Lo vuelve más veloz y menos visible.

León XIV llevó esa misma distinción al centro de su primera encíclica, Magnifica Humanitas, firmada en mayo de este año. Advierte que el uso de la inteligencia artificial nunca es un hecho puramente técnico, y que cuando interviene en el trabajo, el crédito o el acceso a oportunidades, puede terminar seleccionando quién es considerado digno sin que nadie asuma el peso de esa selección. No lo dice para exigir sentimentalismo en la empresa. Lo dice porque una persona puede exceder, legítimamente, la categoría con la que un sistema la describió, y ningún algoritmo está diseñado para reconocer esa excedencia.

Mary Parker Follett, que trabajó primero como asistente social en los barrios de inmigrantes de Boston antes de convertirse en una de las voces más originales del pensamiento sobre dirección, había anticipado la misma frontera un siglo antes desde otro ángulo. En 1926 sostuvo que la autoridad no reside en el cargo de quien manda, sino en la situación concreta que una orden pretende resolver. Propuso despersonalizar el mando, estudiar juntos esa situación particular, y obedecer lo que ella llamó la ley de la situación, no a la persona que la enuncia. Un sistema puede ayudar enormemente a entender mejor una situación. Lo que no puede hacer es descubrir esa ley en el sentido que Follett le daba a la expresión, porque no es un patrón estadístico. Es un juicio sobre qué exige, moralmente y no solo técnicamente, este caso singular, y ese juicio solo lo puede formular alguien capaz de responder por él.

En 2019, un equipo liderado por Ziad Obermeyer publicó en la revista Science algo que muestra este problema ya causando daño real, sin que nadie lo hubiera querido. Un algoritmo usado por hospitales y aseguradoras para priorizar pacientes, que influía en decisiones de salud de alrededor de doscientos millones de personas por año en Estados Unidos, usaba el gasto histórico como indicador de cuán enfermo estaba cada paciente. Parece razonable: gastar más suele correlacionar con necesitar más. El problema es que los pacientes negros, por barreras de acceso previas al algoritmo, generaban menos gasto que los blancos con el mismo nivel real de enfermedad. A igual puntaje de riesgo, estaban considerablemente más enfermos. Corregir el sesgo habría más que duplicado la proporción de pacientes negros identificados para recibir ayuda, de diecisiete a cuarenta y seis por ciento. Nadie programó ese prejuicio. El sistema heredó una desigualdad real y la convirtió en un número aparentemente neutral, y esa neutralidad aparente fue precisamente lo que le permitió reproducir el daño sin que hiciera falta ninguna intención discriminatoria.

Tomás distinguió eficacia de prudencia. León XIV advirtió que ningún algoritmo puede cargar el peso de decidir quién es digno. Follett mostró que la autoridad legítima nace de estudiar juntos una situación, no de un cargo ni de un cálculo. Los tres, separados por setecientos años y por vocabularios que no podrían ser más distintos, señalan la misma frontera exacta: hay un juicio sobre las personas que ninguna máquina puede formular en nombre de quien dirige, porque formularlo es, precisamente, la definición de dirigir.