Los nuevos señores de la red. El problema de la inteligencia artificial no es que se equivoque. Es que nadie responde cuando lo hace

«…la empatía sólo se encontraba en la comunidad humana». — Philip K. Dick, ¿Sueñan los androides con ovejas eléctricas? (1968)

En enero de este año, en Oregon, una ciudadana estadounidense fue detenida sin orden judicial. No la denunció un vecino ni la identificó un testigo. La señaló un programa. El sistema se llama ELITE, lo desarrolló Palantir por poco menos de treinta millones de dólares, cruza registros judiciales y migratorios, y produce mapas de dónde es probable que estén las personas que el Estado quiere encontrar. La mujer no podía apelar el mapa. No podía leerlo. No existía nadie a quien preguntarle por qué aparecía en él.

Esa es la escena que define nuestra época, y conviene mirarla con calma, porque tiene una estructura que se repite: una decisión con consecuencias graves, tomada por un sistema cerrado, sin un humano que la haya deliberado y sin un procedimiento que permita impugnarla.

Quiero ser claro de entrada sobre lo que no estoy diciendo. La inteligencia artificial no es una amenaza en sí misma, y sostener lo contrario sería ignorar la evidencia. AlphaFold resolvió en meses un problema —el plegamiento de proteínas— que había resistido cincuenta años de trabajo humano, y puso doscientos millones de estructuras a disposición de investigadores en ciento noventa países. Hay algoritmos identificando combinaciones de fármacos contra el cáncer de páncreas con tasas de validación experimental sobre el 80%. El Comité Nobel premió en 2024 tanto a los creadores de AlphaFold como a los fundadores del aprendizaje profundo. Esto es ciencia real y es buena noticia.

El problema es otro, y es político: esa potencia está operando en un vacío normativo que no es accidental. Es una posición ideológica, defendida explícitamente, y tiene autores con nombre y apellido.

Una ideología, no un descuido

La inteligencia artificial no se despliega en un vacío ideológico. Detrás hay una arquitectura intelectual precisa —el tecnolibertarismo radical— que concibe al Estado, a la democracia de masas y a los marcos regulatorios no como contrapesos legítimos, sino como anomalías que asfixian el progreso.

Su exponente de referencia es Peter Thiel: cofundador de PayPal, fundador de Palantir, primer inversionista de Facebook. En 2009 publicó un ensayo, The Education of a Libertarian, donde condensó su agenda en una frase que conviene leer despacio: «la libertad y la democracia ya no son compatibles». No fue un exabrupto ni una provocación de juventud. Fue la formulación más honesta de un programa que desde entonces ha sido consistente.

Lo que hace ese programa es instrumentalizar el valor público y científico de la IA —que es indiscutible— para justificar una autonomía absoluta. Fíjese en la operación: se invoca AlphaFold para blindar a Palantir. La desregulación no se plantea como un medio para potenciar bienes comunes o democratizar el bienestar, sino como un fin en sí mismo, cuyo objeto es independizar a las élites tecnológicas de la soberanía de los Estados.

De ahí sale el argumento que uno escucha en todas partes: que la alternativa a una IA sin controles es el «estancamiento total». Es un falso dilema, y es útil para quien lo formula, porque permite reclasificar los daños ya documentados —detenciones erróneas, exclusión financiera, perfilamientos— como costes colaterales del progreso. Es decir, como externalidades. Es decir, como algo que paga otro.

Así el libertarismo digital termina desviando el potencial emancipador de la tecnología hacia una tecnoplutocracia, donde el control predictivo de los datos reemplaza al debate deliberativo.

Hay aquí una contradicción que vale la pena nombrar. Las mismas empresas que impugnan la legitimidad del Estado construyen su monopolio sobre contratos multimillonarios con agencias estatales de seguridad, inteligencia y defensa. No quieren un Estado más chico. Quieren un Estado que compre y no fiscalice.

Es lo que la ciencia política empieza a llamar tecnofeudalismo: un orden donde el control de los algoritmos y las infraestructuras de datos funciona como el control de la tierra funcionaba en el feudo. Los señores son pocos y conocidos. Los vasallos somos todos, y pagamos con datos una renta que no negociamos.

El mito de la neutralidad

La defensa estándar de estos sistemas es que el cálculo no tiene prejuicios. Es falso, y hace años que sabemos por qué.

Un algoritmo se entrena con registros históricos. Si esos registros contienen décadas de sesgo policial, crediticio o judicial, el sistema no lo depura: lo aprende, lo formaliza y lo proyecta hacia adelante con una autoridad que el prejuicio humano nunca tuvo. Los sistemas comerciales de reconocimiento facial han registrado tasas de error de hasta 34,7% al identificar mujeres de piel oscura, frente a 0,8% en hombres de piel clara. Robert Williams, en Detroit, pasó treinta horas detenido en 2020 porque una máquina lo confundió con otro hombre negro.

Pero el sesgo más peligroso no está en el código. Está en nosotros. Cuando un juez, un policía o un ejecutivo de riesgo recibe un puntaje algorítmico, tiende a aceptarlo con una deferencia que jamás le concedería a un testigo o a un peritaje. Le exigiríamos credenciales a un perito. Al software no le exigimos nada, porque su apariencia de objetividad nos ahorra el trabajo de decidir. Ahí se produce la abdicación: el decisor humano sigue formalmente a cargo, pero ya no está valorando nada.

Y estos factores no actúan por separado. Se cruzan. La raza, la clase y el género se potencian entre sí en cada iteración del modelo, y penalizan dos y tres veces a quienes ya estaban en el margen. En América Latina, donde las brechas estructurales son más profundas y las defensas institucionales más débiles, esa multiplicación es especialmente cara.

Lo que ya nos está pasando

Conviene bajar esto a la región, porque la conversación sobre IA suele importarse entera desde el norte.

Plataformas de crédito digital que operan en Colombia, México y Perú construyen puntajes con variables que nada tienen que ver con la solvencia: hábitos de consumo, marca del teléfono, geolocalización. El resultado es predecible: comunidades indígenas y sectores desbancarizados quedan sistemáticamente excluidos, y nadie puede explicarles por qué.

La diferencia con Europa no es tecnológica, es jurídica. En 2023, la Gran Sala del Tribunal de Justicia de la Unión Europea resolvió en el caso SCHUFA que un puntaje automatizado que determina si te dan o no un crédito es, para efectos legales, una decisión individual vinculante, y que no puede tomarse sin intervención humana. El Reglamento de IA de 2024 fue más lejos y prohibió directamente la puntuación social y la vigilancia biométrica masiva. Antes, un tribunal de La Haya había declarado ilegal el sistema SyRI, que perfilaba a ciudadanos pobres bajo sospecha de fraude fiscal.

En América Latina no tenemos nada equivalente. No hay derecho efectivo a la explicabilidad, no hay auditoría obligatoria de sesgo, no hay vía real de impugnación. Tenemos los sistemas sin tener los contrapesos. Es el peor de los dos mundos.

Del error administrativo al disparo

Hasta aquí hablamos de daños reversibles. Un crédito negado se puede volver a pedir. Una detención errónea termina, tarde y mal, pero termina. Hay un punto, sin embargo, donde el error algorítmico deja de admitir reparación.

Antes de llegar ahí, un escalón intermedio. La IA generativa ha industrializado el deepfake, y su uso masivo no ha sido el fraude electoral que se anunciaba: ha sido la violencia de género digital. Imágenes sexuales falsas de mujeres y niñas, producidas en segundos, distribuidas sin costo, imposibles de retirar por completo. La víctima descubre que su rostro es ahora materia prima de libre disposición, y que el ordenamiento jurídico llegó tarde a decirle lo contrario.

El escalón final está en el campo de batalla. El Maven Smart System, desarrollado por Palantir e incorporado por ministerios de defensa de la OTAN, permite procesar información y fijar objetivos militares letales en lapsos de dos a tres minutos. Dos o tres minutos para identificar, clasificar y proponer un blanco humano.

Importa entender qué significa comprimir ese plazo. El tiempo no es un defecto del procedimiento militar: es donde ocurre la deliberación, la verificación, la duda razonable, la decisión de no disparar. Reducirlo a minutos no acelera un trámite. Elimina el espacio donde un ser humano podía negarse.

Y no existe tratado internacional sobre armas autónomas que ponga un límite a esto. La decisión ética definitiva —quién es combatiente y quién no— queda alojada en código cerrado y propietario, protegido por secreto comercial, auditado por nadie. Un falso positivo de clasificación en un sistema de scoring crediticio produce una injusticia. El mismo falso positivo en un sistema de targeting produce un cadáver, y después produce un comunicado.

Lo que se pierde

Hay una razón por la que esto no es solo un problema técnico de mala calidad de datos.

Kant fundó la moral moderna sobre una idea simple: a las personas se las trata como fines, nunca solamente como medios. Un sistema que me convierte en un insumo para optimizar una función de rentabilidad o de control policial invierte exactamente ese principio. Deleuze lo anticipó con una palabra incómoda: ya no somos individuos, somos dividuos, cifras segmentables, perfiles que se venden por partes.

Y lo más eficaz de todo esto, como vio Bourdieu, es que la violencia simbólica se perfecciona cuando la víctima la acepta. El que queda fuera del crédito no protesta: concluye que el sistema lo midió y que el resultado es objetivo. El veredicto algorítmico logra lo que ninguna autoridad humana consiguió nunca: que el excluido lea su exclusión como un hecho de la naturaleza y no como una decisión política.

Esa es la renuncia de fondo. No la pérdida de privacidad, que es grave pero reparable. La pérdida de la capacidad de discutir.

Philip K. Dick escribió hace casi sesenta años que la empatía era una facultad del grupo, no del individuo aislado: exigía un instinto colectivo sin restricciones, y a un organismo solitario —una araña, por ejemplo— no le servía de nada. La observación era sobre androides, pero describe con exactitud lo que hace un sistema que nos convierte en perfiles. Un algoritmo que procesa dividuos no está fallando en ser empático. Está operando exactamente en el registro donde la empatía no tiene función alguna. Y nosotros, cuando aceptamos su veredicto sin pedir explicaciones, nos mudamos a ese registro con él.

Lo que corresponde exigir

Nada de lo anterior es un argumento contra la inteligencia artificial. Es un argumento contra la impunidad, que es cosa distinta.

Lo mínimo exigible cabe en cinco puntos. Que ningún sistema que afecte derechos —libertad, crédito, acceso a prestaciones, permanencia en el país— opere sin auditoría de sesgo previa y pública. Que el secreto comercial deje de ser oponible frente a la defensa de una persona; si un software concurre a fundar una decisión que me perjudica, tengo derecho a examinarlo. Que exista siempre un humano identificable que responda, porque «falló el sistema» no es una atribución de responsabilidad, es su disolución. Que haya una vía de impugnación real, con plazos y tribunal competente. Y que el uso de la fuerza letal quede sometido a control humano efectivo mediante tratado internacional, antes y no después de la primera masacre atribuida a un error de clasificación.

Nada de eso frena la innovación. Frena la externalización del daño. La pregunta que tenemos por delante no es si la tecnología avanza —va a avanzar—, sino quién escribe las reglas bajo las cuales avanza, y si esas reglas se discuten en un parlamento o se redactan en un contrato de licencia que nadie lee. Cada mes que pasa sin decidirlo es un mes en que la decisión se toma igual, solo que en otra parte y por otra gente.

La construcción de una justicia algorítmica sigue siendo una tarea pendiente. Es una responsabilidad civil e histórica, y bajo ninguna circunstancia puede delegarse en la frialdad matemática de un algoritmo.

José Miguel Rodríguez Letelier

Abogado