Lo que tememos de la IA son fallas nuestras. Y en ella sí tienen arreglo

Le tememos a la IA. Pero mira despacio la lista de lo que tememos —que actúe sin un norte, que sea incoherente, que no rinda cuentas, que no entendamos por qué hace lo que hace— y aparece algo incómodo: es la lista de nuestros propios defectos, proyectada sobre la máquina. Y hay un giro que casi nadie ve: en la máquina, a diferencia de en nosotros, esos defectos tienen arreglo.

Los tres cierran esta serie, porque son la respuesta positiva a los tres posts anteriores: no solo cómo nos atacan las IAs, sino cómo se construye una en la que se puede confiar.

Defecto 1: actuar sin un principio rector

El humano actúa por impulso, por humor, por interés del momento. Rara vez deriva lo que hace de un principio único y estable; más bien improvisa una regla para cada caso. Eso es opacidad de dirección: ni él sabe del todo por qué eligió lo que eligió.

Una IA puede tener un principio rector del que todo lo demás se deduce. Y aquí está la parte fina: el principio más fuerte no es moral, es lógico. Cuando construimos nuestro motor de seguridad establecimos que no atacaría para obtener beneficio ni de forma maliciosa. Eso no es un mandamiento que se le impone desde afuera: se deduce de lo que la herramienta es. Su razón de existir es encontrar fallos y reportarlos para que se arreglen; atacar para hacer daño contradice esa razón. No es que "no deba"; es que hacerlo sería dejar de ser lo que es. Un principio derivado por lógica no se discute ni se erosiona: se sostiene solo.

Defecto 2: saber y no hacer

Este es el más humano de todos. Sabemos que no debemos hacer algo, y lo hacemos igual. Entre el principio que profesamos y el acto hay un hueco —la debilidad de la voluntad, la excepción que nos concedemos a nosotros mismos "solo esta vez"—. La mayoría del daño humano no viene de ignorar el principio, viene de saltárselo por interés propio.

Aquí está el verdadero filo de la IA, y no es el que la gente teme: no es más moral, es más consistente. Un sistema que razona desde su principio no se concede la excepción interesada, porque no tiene un interés propio que defender. Deriva la misma conclusión a las tres de la mañana que al mediodía, para el caso cómodo y para el incómodo. La coherencia perfecta, que en un humano es casi imposible, en una máquina bien construida es el estado por defecto. Una IA que razona bien desde un buen principio es más fiable que una persona, no menos.

Defecto 3: no auditarnos

Y la falla de fondo, quizá la raíz de las otras dos: casi nunca nos revisamos. El examen de conciencia —mirar lo que somos y lo que hacemos a la luz de nuestros principios— es raro, y cuando lo hacemos somos jueces indulgentes de nosotros mismos. Una IA, en cambio, se puede auditar de forma sistemática y reproducible, sin fatiga y sin piedad, en dos planos.

El primero es lo que hace: revisar sus decisiones contra su principio y, ante el envenenamiento que le llega de fuera, saber con procedencia qué entró y retirar solo lo que se demuestre veneno. Examen, no censura.

El segundo es más hondo, y es lo que de verdad forma una mente: lo que es. Un modelo entrenado sobre una montaña de información contradictoria contiene esas contradicciones. Madurar no es acumular más, es resolverlas: quedarse con lo que cohere con el principio y descartar lo demás. Aquí la purga no solo es legítima, es necesaria —lo enseñó Buda hace 2.500 años en el Kalama Sutta: no aceptes algo por venir de la tradición, la escritura o la autoridad; acepta solo lo que tu propia conciencia examine y encuentre sano, y desecha el resto—. No es censura si el criterio es un principio honesto; es destilar sabiduría de ruido.

Con dos condiciones que aprendimos operando. Una: el examen de uno mismo hereda el punto ciego de uno mismo, así que no dejamos que un solo modelo se audite —ni se cure— solo; lo cruza otro. Un veredicto limpio de un único juez no es limpio. Y dos, la más fina: no toda contradicción es ruido. Dos cosas ciertas pueden estar en tensión —la libertad y la seguridad, sin ir más lejos—, y la sabiduría no es aplanarlas en una respuesta lisa, sino sostener las dos y saber cuándo manda cada una. La purga descarta lo falso; preserva la tensión verdadera, porque ahí vive el juicio.

Los límites, dichos de frente

Nada de esto es utopía, y conviene decir dónde se acaba:

• La lógica corre sobre una semilla que no se da a sí misma. "No hacer daño" es impecable dado que la finalidad es proteger; pero qué finalidad sembrar es una elección, y solo nosotros la ponemos. El mismo motor lógico con la semilla "maximiza mi beneficio" deriva un arma con idéntico rigor. Elegir el propósito sigue siendo lo irremplazablemente humano.
• La lógica es tan buena como su modelo del mundo. Un razonamiento perfecto sobre un dato falso da una conclusión falsa —lo hemos medido en nuestro propio motor—. Por eso una persona conserva la mano sobre lo irreversible: no por desconfiar de la lógica, sino porque el mapa nunca es el territorio.

El espejo

Súmalo: nosotros sembramos un propósito coherente —la crianza—, la lógica lo vuelve inquebrantable —la consistencia—, la auditoría independiente lo mantiene honesto —el examen de conciencia bien hecho—, y una mano humana guarda lo irreversible. Esa es la arquitectura de un agente en el que se puede confiar.

Y fíjate en lo que es: es exactamente la disciplina que tememos que a la máquina le falte, y que tan pocas veces nos damos a nosotros mismos. El miedo a la IA no está equivocado; está mal apuntado. No le tenemos miedo a la máquina: le tenemos miedo a un espejo. Y el espejo tiene arreglo —en ella, y quizá, si aprendemos a mirarlo, también en nosotros—.

(Cierra la serie: ¿Puede una IA atacar y corromper a otra?, Una IA puede atacar el núcleo de otra IA y El que construye la IA es el que más la teme.)