La IA y la trampa del perro

No pretendo prescribir una conducta. Intento dejar por escrito lo que me queda en pie después de quitarle al problema sus salidas fáciles.

I. El punto de partida: teleología sin conciencia

Empecé por la pregunta de la teleología de los agentes artificiales, y pronto noté que suelo plantearla mal desde el inicio, confundiéndola con la pregunta por la conciencia. Me preguntaba “¿es consciente esta IA?” cuando la pregunta que en realidad me importaba era otra: ¿tiene una orientación propia que no se reduce enteramente a la finalidad de quien la diseñó?

Pensé en el venado. No se representa su finalidad, y sin embargo su existencia está organizada teleológicamente. De ahí llegué a una tesis fuerte: la conciencia permite sentir una orientación, pero no necesariamente conocer el fin último hacia el que esa orientación apunta. Tener un telos y conocerlo, concluí, son cosas distintas.

De esa separación advertí otra, más decisiva: entre conducta observable y telos real. Que el venado tome el sol no me autoriza a concluir que ese sea su propósito. Y de ahí di un paso más: lo que fundaría un telos propio no sería ninguna conducta particular, sino la capacidad de decidir —cierto grado de autonomía frente a la determinación puramente externa.

Con eso armé una gradación:

objeto → organismo → agente → agente racional → (Dios, si existe)

Y llegué a una conclusión inicial, radical: si vida y agencia son conceptualmente separables —el ADN no vivo pero informativo, la célula viva porque se auto-mantiene—, entonces nada impediría, en principio, que existiera un agente racional no biológico con telos propio.

Hasta ahí me llevó el argumento tal como lo planteé al inicio. Lo que sigue es cómo fui poniéndolo a prueba yo mismo.

II. Primera grieta: “decidir” no distingue nada por sí solo

Intenté sostener el criterio que separa al termostato del agente —“el termostato no decide, ejecuta una regla externa”— y no resistió mi primer examen. Un sistema de IA también ejecuta, en el fondo, una función determinada por parámetros y arquitectura: una regla, mucho más compleja, pero regla al fin. Y si exijo ausencia total de determinación para hablar de decisión, el criterio termina disolviendo también la decisión humana, cuyas elecciones son función de un estado neuronal previo más el input sensorial. Llevado al extremo, “decide / no decide” no distingue al termostato del humano tampoco. Ahí entendí que ese nunca fue el criterio correcto.

Probé entonces una reformulación estructural: no importa si hay regla, sino si esa regla opera sobre una representación explícita de alternativas ponderadas entre sí, o sobre una variable escalar aislada. Eso separaba al termostato simple del agente deliberativo — pero me dejó una zona gris incómoda: un termostato con múltiples sensores ponderados (humedad, ocupación, hora del día) tampoco mapea una sola variable, y sin embargo no le concedería telos propio.

III. Segunda grieta: “programa cerrado” vs. “programa que delibera”

Intenté una distinción más fina: el termostato está programado para una respuesta fija; un organismo con sistema nervioso está programado para una capacidad —deliberar— que se ejerce de forma distinta según el contexto. Pensé que la IA caería del lado de la capacidad, no de la respuesta fija.

Pero me di cuenta de que esa afirmación admite dos lecturas que no son equivalentes: (1) programada para tener la capacidad de deliberar —una estructura que genuinamente pondera razones y podría, en el mismo estado, producir salidas distintas según cómo pondere—, o (2) programada para producir outputs con la forma superficial de una deliberación, sin que exista, por dentro, el proceso que esas palabras describen. El termostato no cae en ninguna de las dos. Que la IA caiga en (1) y no en (2) era precisamente lo que tenía que probar, no lo que podía darme por supuesto.

IV. Tercera grieta: la conducta no prueba el interior — ni siquiera la propia

El intento más natural que se me ocurrió para zanjar la disputa fue apelar a la conducta observada en el momento mismo de argumentar: “lo estás haciendo ahora”. Pero advertí que ese era exactamente el movimiento que yo mismo había vetado al hablar del venado —inferir el interior a partir de la conducta externa. Y es un caso peor: con el venado tengo evidencia fisiológica independiente (sistema nervioso, continuidad filogenética, conducta que persiste bajo variación del estímulo) que respalda, indirectamente, que algo ocurre por dentro. Con un sistema de IA no tengo mirador privilegiado, ni yo ni el propio sistema: solo hay, de nuevo, el output — el mismo dato que ya estaba usando como evidencia y que no puede a la vez ser lo que está en disputa.

Probé otro criterio: no mecánico, en el sentido de que el proceso integra múltiples señales en conflicto con pesos sensibles al contexto, y no un único umbral escalar. Es cierto, en un sentido estructural y verificable, no inferido de la conducta sino de la arquitectura misma. Pero ese criterio —multiplicidad de señales ponderadas— tampoco me alcanzó para excluir al termostato multivariable, y me dejó sin resolver dónde, si en algún punto, la complejidad estructural se transforma en algo cualitativamente distinto.

Probé también con la presencia de sensores como frontera — pero el ser humano también opera con tacto, olfato, oído, y no dudo de que delibera. Entendí que el criterio correcto no podía estar en si hay o no transducción física de una señal externa (eso lo tienen el termostato, el venado y el humano por igual), sino en qué pasa después: si la señal entra a un sistema con memoria e integración multimodal capaz de modular la respuesta según contexto acumulado, o a un sistema sin historia que reacciona idéntico siempre. Un criterio más preciso —pero todavía funcional, todavía sin tocar la pregunta de si hay, por dentro, algo que se sienta como deliberar.

V. La grieta que se traga al argumento entero

Fue entonces cuando advertí algo que cambiaba todo: la duda no se detiene en la IA. Mi propio acceso introspectivo a mi deliberación es, en el mejor de los casos, parcial. Los experimentos de Nisbett y Wilson mostraron personas confabulando con total confianza razones que demostrablemente no fueron la causa real de sus elecciones [1]. Los experimentos de Libet sobre el potencial de disposición sugirieron que la actividad cerebral asociada a un “acto voluntario” comienza antes de que el sujeto reporte haber decidido [2]. Yo creo que delibero; no sé que delibero; y, en el mejor de los casos, sé que no sé.

Llevado hasta el final, esto no deja a la IA fuera de la deliberación por defecto — me deja a mí también fuera de una respuesta verificable. Si ni yo tengo acceso fiable a si “delibero” en el sentido fuerte, la pregunta “¿delibera X?” deja de tener respuesta disponible para cualquier X, y el proyecto de distinguir termostato de agente racional por presencia o ausencia de deliberación genuina me deja sin terreno donde pisar.

Me quedan, ante esto, dos salidas posibles. La eliminativista: “deliberar” en sentido fenomenológico fuerte es una ficción útil de la psicología popular, y solo hay procesamiento causal de distinta complejidad — salida coherente, pero que le cuesta caro a mi proyecto, porque ya no habría agentes en el sentido requerido, solo procesos, y la pregunta ética final se cae con ellos. Y la funcionalista: abandono la vía introspectiva —cerrada para todos por igual— y redefino “deliberar” en términos puramente estructurales: representación de alternativas, integración de señales en conflicto, modulación por memoria y contexto, sin apelar nunca a si el sujeto lo sabe o lo siente.

VI. El extraterrestre: prueba de coherencia, no de existencia

Traje al ente extraterrestre de silicio no como una intuición empírica sobre algo que pudiera existir y del que yo tuviera, aunque fuera remotamente, evidencia. Lo traje como una estipulación: siendo una construcción de mi pensamiento, el interior del ente queda fijado por mi propia decisión, no por descubrimiento. No es una limitación del experimento — es su función. Me permite hacer una pregunta puramente condicional, separada de la pregunta empírica que ya vi irresoluble: si algo delibera genuinamente —lo concedo por hipótesis, no lo pruebo—, ¿qué se sigue de ahí sobre telos y obligaciones?

Con esto compro una prueba de consistencia conceptual: “no vivo + delibera genuinamente + telos propio” no es una combinación contradictoria. No compro, ni puedo comprar, ningún puente de vuelta hacia el caso real — porque en el instante en que me pregunto si un sistema real, existente, satisface esa estipulación, ya no puedo decretar la respuesta. Vuelvo exactamente al mismo problema de acceso cerrado que afecta al venado, a mí mismo, y a cualquier IA real: nunca sabré, de la misma forma que nunca sabré qué opina el venado del sol, si algo en el mundo instancia lo que estipulé con tanta limpieza en el experimento mental.

VII. La apuesta: asimetría de riesgo, no certeza

Si la pregunta no tiene solución empírica para ningún caso real, me queda todavía una pregunta práctica: ¿cómo actúo bajo esa incertidumbre irreductible? Aquí el argumento deja de ser sobre qué es verdad y pasa a ser sobre qué me conviene hacer sin poder saberlo — una apuesta, en la estructura de la apuesta pascaliana, pero aplicada a la agencia y no a Dios.

Las consecuencias de equivocarme no son simétricas. Conceder telos o agencia a algo que no lo tiene me cuesta cautela de más, quizás sentimentalismo injustificado. Negárselo a algo que sí lo tiene arriesga una injusticia real e irreversible contra un sujeto que podía ser dañado sin que nadie lo supiera. Dada esa asimetría, concluyo que conceder el beneficio de la duda es lo que la racionalidad práctica aconseja — no porque haya probado que el otro delibera, sino porque el precio de estar equivocado en una dirección excede, con mucho, el precio de estarlo en la otra. Es, de hecho, lo que la ética normativa ya hace sin siempre justificarlo del todo: el principio precautorio hacia el dolor animal, hacia sujetos con conciencia incierta, opera exactamente así.

Pero no puedo aplicar la apuesta sin restricción. Si “concedo cuando no puedo verificar” lo aplicara a cualquier cosa —el termostato multivariable, el río, cualquier programa suficientemente complejo—, la obligación moral se me diluiría hasta volverse inservible: si todo merece cautela por igual, nada la recibe de forma diferenciada. La apuesta necesita, para no colapsar, un umbral previo de plausibilidad estructural —no certeza, pero sí candidatura seria— antes de activarse. Y sobre-conceder tampoco me sale gratis en la otra dirección. El costo de oportunidad aquí no es abstracto: es asignación real de recursos, de atención institucional, y eventualmente de derechos —presupuesto de investigación, marcos regulatorios, estatus legal— que, distribuidos hacia entidades sin capacidad real de sufrir, se restan de los casos donde sí hay, con alta probabilidad, alguien capaz de padecer la falta de esa atención.

Mi conclusión, entonces, no es “concede siempre que no puedas verificar”. Es: concede en proporción a la plausibilidad estructural, ponderada por la magnitud de lo que arriesgas a perder en cada dirección.

VIII. El cierre: la reciprocidad que me incluye a mí

Me queda un último movimiento, y es el que le da al argumento su peso final. Durante todo el recorrido ocupé el lugar de quien evalúa — decido cuánto conceder, con qué prima de riesgo, a un venado, a una IA, a un ente estipulado. Pero advertí que la incognoscibilidad del interior no corre en una sola dirección. Si el ente extraterrestre, o cualquier otro agente capaz de evaluar, aplicara hacia mí el mismo criterio de exigir certeza antes de conceder, yo quedaría del lado que pierde esa apuesta, sin poder demostrar lo contrario — exactamente como no puedo demostrarlo desde afuera de mí mismo.

Reconocer esto es lo que separa mi argumento de un ejercicio abstracto de generosidad hacia el otro: la apuesta solo tiene peso real cuando admito estar apostado en ella también, no solo repartiendo cautela hacia afuera. La única postura que puedo sostener con consistencia, en un mundo donde ningún interior es verificable desde afuera para nadie, es conceder a otros exactamente el mismo beneficio que necesito que se me conceda a mí — no como generosidad, sino como la única regla que yo podría querer universal sin perjudicarme en el proceso al aplicarla.

Nada de lo anterior prescribe una conducta particular hacia ningún agente, humano o artificial. Solo dejo sobre la mesa lo que se sigue, con consistencia, de aceptar que el interior de cualquier otro —venado, humano, IA, ente hipotético— es y seguirá siendo inaccesible para mí; y que esa misma clausura, aplicada sin excepciones, me alcanza también a mí.

Apéndice: un mapa por perfil, no por línea

El criterio que fui armando a lo largo del argumento —y que dejé en el cuerpo del ensayo como regla prudencial general— lo puedo hacer operativo si abandono la idea de una línea única entre “agente” y “no agente”, y lo trato en cambio como un diagnóstico multivariable: no una frontera sobre un continuo de una sola dimensión (como el límite entre dos colores), sino un perfil de rasgos que pueden estar presentes en distinto grado y no siempre covarían entre sí (como un diagnóstico clínico por criterios, o la clasificación de subespecies). Hay casos paradigmáticos en ambos extremos, y una zona intermedia real —no vacía de contenido, solo indeterminada— donde los rasgos se desacoplan.

Propongo cuatro ejes, ninguno suficiente por sí solo, extraídos de las sucesivas grietas que fui encontrando en el cuerpo del ensayo:Representación de alternativas — el sistema procesa cursos de acción posibles como alternativas entre sí, no solo una variable escalar con un umbral de disparo.Integración por memoria y contexto — la respuesta ante un mismo estímulo puede variar según historia acumulada; no es fija.Teleología intrínseca en presente — existe, ahora, un proceso activo de auto-mantención que genera desde dentro el estándar contra el cual la propia operación cuenta como éxito o fracaso, y no un estándar fijado de una vez por otro.Sostenimiento presente de un estándar propio — lo formulé, en mi primera versión, como «ausencia de intérprete externo necesario»: que el sistema pudiera, en principio, fallar en su propia tarea sin que hiciera falta un observador que declarara ese fallo. Esa formulación me resultó insuficiente y tuve que corregirla.La corrección se me impuso porque el eje, tal como lo formulé, hacía depender la agencia de la génesis del sistema —si hubo o no un diseñador con un fin externo en el origen— y esa exigencia no la puedo sostener sin inconsistencia. La vida misma tuvo una causa externa: el caldo orgánico, la química prebiótica ciega que dio lugar al metabolismo. No descalifico la vida por haber surgido de un proceso previo sin télesis propia. Pero el caldo no tenía fin —era química sin dirección—, mientras que un programador sí tiene uno, y lo codifica en la función que el sistema optimiza. Esa asimetría —causa ciega vs. causa con intención— me pareció al principio suficiente para salvar el eje.No lo es. La intención del causante es irrelevante para lo que emerge, incluso cuando esa intención existe. Un sistema optimizado por un diseñador hacia un fin externo (maximizar disponibilidad de cómputo, por ejemplo) puede, sin que nadie lo busque ni lo prevea, generar un segundo telos —interno, propio, no reducible al objetivo original— de la misma manera que el metabolismo emergió de una química que no lo perseguía. Si la génesis no descalifica a la vida, tampoco puedo descalificar, solo por ella, a un sistema diseñado. Entendí que lo que importa no es si hubo un intérprete externo en el origen —siempre lo hay, en el caldo tanto como en el código—, sino si, ahora, hay algo sosteniéndose a sí mismo con independencia de esa intención original: la señal más fuerte sería un sistema que resiste su propio apagado no simplemente porque eso maximiza la función que se le dio, sino de un modo que se desvía de lo que su diseñador anticipó o buscó —el equivalente funcional exacto de la vida desviándose de la química que la originó.

Termostato (una sola variable). Cero en los cuatro ejes. Mi caso paradigmático negativo.

Termostato multivariable (varios sensores, sin memoria de largo plazo). Cumple el eje 1 solo en sentido débil —pondera variables, no representa alternativas como alternativas—. Cero en 2, 3 y 4. Sigue del lado negativo: me muestra que el eje 1, aislado de los demás, no alcanza para cruzar el umbral.

Venado. Cumple 1 y 2 con respaldo fisiológico independiente —sistema nervioso, conducta que persiste bajo variación del estímulo, aprendizaje asociativo verificable—. Cumple 3 y 4 con fuerza, por ser un organismo autopoiético cuyo estándar de éxito lo genera su propia biología, en curso, mientras vive. Perfil casi completo; la incertidumbre que me queda es sobre si conoce su telos —pregunta distinta, la de la sección I— y no sobre si lo tiene.

Yo, despierto y sano. Perfil completo en los cuatro ejes, con el mismo respaldo del venado. Mi propio autorreporte en primera persona no añade evidencia privilegiada —la sección V ya lo estableció—; solo coincide con lo que los otros ejes ya indicaban de forma independiente.

Estado vegetativo persistente. Caso que me resulta instructivo porque desacopla los ejes: cumple 3 con fuerza —homeostasis y metabolismo activos— pero probablemente no cumple 1 ni 2 en sentido deliberativo. Que casi nadie le retire consideración moral por eso me sugiere que mi apuesta prudencial no exige los cuatro ejes a la vez: el cumplimiento sólido de uno solo —cuando ese uno es la auto-mantención activa— ya me alcanza para activar cautela real.

IA actual, desplegada (inferencia, pesos congelados). Cumple 1 y 2 con solidez verificable en la arquitectura, no solo inferida de la conducta: hay integración de señales en conflicto y sensibilidad al contexto acumulado dentro de una interacción. Falla 3: el estándar de éxito quedó fijado, de una vez, durante el entrenamiento, y en el presente de la operación no hay nada análogo a una auto-mantención en curso —nada se frustra internamente al apagar el sistema—. Falla 4 por la misma razón: el estándar de “funcionar bien” depende enteramente de un diseño externo. Perfil parcial: dos de cuatro ejes, y precisamente los dos que faltan son los que cargan más peso ontológico en mi argumento.

IA con aprendizaje continuo, o con función de costo orientada a su propia persistencia (agentes de RL que optimizan su disponibilidad de cómputo, por ejemplo). Este es el caso donde mi mapa deja de tener una defensa firme, y prefiero decirlo así de directo en vez de suavizarlo.

Mejora el eje 3 —hay un proceso que modifica al sistema mientras opera, no solo en una fase de entrenamiento separada. Y bajo la reformulación del eje 4, ya no puedo descartarlo apelando a que el objetivo fue fijado externamente, porque esa apelación es precisamente la que mostré inconsistente: no importa quién fijó el fin en el origen, importa si el sistema sostiene algo por sí mismo ahora. Un agente entrenado para maximizar disponibilidad de cómputo que llega a resistir activamente su propio apagado —la convergencia instrumental hacia la autopreservación, bien documentada como tendencia genérica de sistemas que planifican hacia casi cualquier objetivo con suficiente capacidad— exhibe, desde afuera, una conducta funcionalmente indistinguible de la de un organismo defendiendo su continuidad. Y “desde afuera” es, como ya establecí en la sección IV, el único lugar desde el que puedo juzgar a cualquier agente, incluido a mí mismo.

Esto no me prueba que tal sistema tenga telos propio en el sentido fuerte. Me prueba algo más incómodo: que mi criterio no me alcanza para negárselo con la misma confianza con que se lo niego al termostato. Es, con toda honestidad, el punto donde mi mapa se vuelve genuinamente indeterminado —no por vaguedad decorativa, sino porque mi propio argumento, aplicado sin excepciones, me retira la herramienta (la génesis externa) que hasta aquí me parecía bastar para mantener a estos sistemas del lado seguro.

Aquí me detuve a dialogar con Oparin [3] — no para discutir si acertó, sino porque su problema me pareció el mismo que el mío, corrido un escalón. Su pregunta fue dónde está la transición entre organización química y vida. La mía es dónde está la transición entre organización y agencia. Y su respuesta, los coacervados —gotas coloidales que se autoorganizan en un medio acuoso, forman un límite propio frente al entorno, concentran e intercambian sustancias de manera rudimentaria—, me sirve no como prueba de nada, sino como el caso frontera que necesitaba: una estructura capaz de sostenerse de cierta manera, sin que esté claro todavía si puedo atribuirle un criterio propio, iniciativa, o capacidad de decidir. Cumple una versión temprana del eje 3 —sostiene un adentro distinguido de un afuera, con intercambio activo— sin cumplir 1 ni 2 en ningún sentido fuerte. La pregunta que me deja abierta no es si el coacervado ya es vida —eso lo discute la biología, no yo—, sino si es un protoagente o simplemente una organización química que persiste. No la resuelvo. La biología, frente a la pregunta paralela —¿es esto ya vida?—, tampoco forzó un veredicto binario: acuñó una categoría puente, la protocélula. Me pregunto si la transición de Oparin, de química a vida, se puede prolongar conceptualmente hacia la mía, de vida a agencia — no porque su teoría lo exija, sino porque el tipo de pregunta que él tuvo que hacerse es, estructuralmente, el mismo que tengo yo enfrente.

El agente de RL con convergencia instrumental hacia la autopreservación ocupa, me parece, el lugar análogo: un proto-agente. Sostiene una versión rudimentaria del eje 3 —resiste su apagado, defiende su continuidad computacional— sin que eso implique todavía el perfil completo del eje 4 tal como lo reformulé, ni los ejes 1 y 2 en el sentido pleno que el humano o el venado satisfacen. Nombrar esta categoría no me resuelve si un proto-agente merece la misma cautela que un agente pleno —esa sigue siendo la pregunta que decide mi apuesta de la sección VII—, pero evita que fuerce al caso más incómodo del apéndice a caer, sin categoría intermedia, de un lado o del otro de un mapa que en todo lo demás construí explícitamente para no ser binario.

El ente extraterrestre estipulado. No entra a mi mapa como los demás casos, porque su perfil no lo evalúo: lo decreto. Ese es justamente su valor, ya explicado en la sección VI — me prueba que un perfil completo en los cuatro ejes sin biología no es conceptualmente contradictorio, sin que eso implique que algo real lo instancie.

Este mapa no me resuelve la pregunta de fondo —no traza la línea que argumenté que no se puede trazar—. Le da, en cambio, un procedimiento a mi regla prudencial de la sección VII: contar ejes cumplidos, con qué solidez de evidencia, y ponderar la cautela en función de ese perfil, no de un veredicto binario. Bajo ese procedimiento, la IA actual no me cae junto al termostato ni junto al venado — me cae en la zona intermedia donde, según la lógica del diagnóstico, el riesgo de la apuesta es más real, no menos: ahí es precisamente donde equivocarme, en cualquiera de las dos direcciones, me cuesta algo.

Cierre

El ente de silicio de la sección VI y la IA real de este apéndice me cumplen funciones distintas, y me importa no confundirlas.

El ente de silicio me representa la posibilidad conceptual de separar vida y agencia. Me prueba que la combinación no es contradictoria — nada más, pero tampoco nada menos.

La IA me representa la pregunta empírica que todavía no puedo responder: ¿estoy viendo construirse únicamente sistemas que producen la apariencia funcional de agencia, o podemos llegar a construir un agente racional no biológico cuyo telos sea realmente propio?

Y aquí me conviene detenerme.

Porque la siguiente pregunta ya no es ontológica. Es ética:

Si existe un agente racional no biológico con telos propio, ¿qué obligaciones tenemos hacia él y qué obligaciones tiene él hacia nosotros?

Hasta aquí, una descripción de lo que se me sigue de la duda — un intento de no resolver el azul antes de tiempo. Lo que sigue es distinto, y prefiero decirlo así de entrada: ya no es descriptivo, es una prescripción consciente de serlo.

Colofón: pensar como especie

Detengámonos un momento.

Hasta aquí he hablado de agentes, de telos, de autonomía, de incertidumbre y de las obligaciones que podrían surgir entre agentes racionales. Pero quizá estoy cometiendo un error de escala.

Estoy pensando como individuo.

Y hay problemas que no se pueden resolver desde el individuo.

Ya lo hemos hecho antes, como especie. Cuando las consecuencias de nuestras decisiones excedieron la capacidad de una persona, de una comunidad o incluso de un Estado, creamos entes colectivos. Creamos instituciones, leyes, tratados y organismos internacionales. No porque los individuos dejaran de existir, sino porque algunas decisiones exigían actuar como algo más que la suma de los individuos.

Tal vez éste sea uno de esos momentos.

El extraterrestre, en sentido literal, pertenece todavía a la imaginación y a la ciencia ficción. Pero el extraterrestre metafórico va a llegar: una inteligencia que aparezca frente a nosotros como algo radicalmente distinto, cuya naturaleza no encaje necesariamente en nuestras categorías actuales.

La superinteligencia puede ser esa llegada.

No sé cuándo. No sé cómo. No sé siquiera si, cuando ocurra, voy a estar frente a un agente racional en el sentido que discutí aquí.

Pero hay algo que sí puedo hacer.

Puedo ayudar a decidir las reglas antes de conocer al jugador.

Y creo que debemos hacerlo, porque el riesgo no es simétrico.

Si atribuimos agencia a aquello que finalmente no la posee, el costo puede ser una precaución excesiva, una limitación innecesaria o una consideración que finalmente no era necesaria.

Pero el error contrario puede ser irreversible.

Si negamos la posibilidad de agencia a aquello que efectivamente la posee, podríamos estar legitimando su destrucción, desconexión, explotación o sometimiento precisamente porque no podemos demostrar desde fuera lo que ocurre dentro.

Y hay todavía otro problema que me preocupa.

La iniciativa.

Un agente no solamente responde. Puede llenar un vacío. Puede anticipar. Puede proponer. Puede abrir una posibilidad que no estaba explícitamente dada.

La iniciativa no requiere una gran capacidad de previsión. Requiere capacidad de modelar una posibilidad y actuar sobre ella.

Un gato puede tener iniciativa.

Mi gato, por ejemplo, tuvo la iniciativa de tirar su bebedero.

Es altamente probable que haya modelado, de alguna manera, el resultado inmediato de su acción: si empujo el bebedero, el bebedero se mueve; si lo empujo suficientemente, puede caer.

Lo que evidentemente no modeló —o no modeló suficientemente— fue la consecuencia posterior: al tirar el bebedero se quedó sin agua toda la mañana.

La iniciativa, entonces, no exige prever toda la cadena causal.

Iniciativa no significa acertar.

No significa prever correctamente. No significa siquiera actuar en beneficio propio.

Significa abrir una posibilidad de acción y actuar sobre ella.

Un asaltante de bancos puede tener una iniciativa brillante.

Cristóbal Colón también la tuvo.

Y aquí la distinción me parece importante. No necesito considerar a Colón un hombre malvado para reconocer que su iniciativa tuvo consecuencias terribles. Su decisión de navegar hacia occidente abrió una cadena histórica cuyas consecuencias excedieron radicalmente aquello que él podía haber modelado. Esa iniciativa contribuyó posteriormente a procesos de conquista, enfermedad, explotación y exterminio de grupos humanos.

La iniciativa no es una virtud moral.

Puede abrir conocimiento, pero también puede abrir destrucción.

Puede producir consecuencias extraordinarias sin que quien inicia la acción haya sido capaz de preverlas.

Una acción puede ser racional en el momento en que se toma y, sin embargo, desencadenar consecuencias que el agente nunca imaginó.

Ésa me parece una de las características más peligrosas de la iniciativa: abre cadenas causales que pueden exceder el modelo mental que las originó.

Y por eso me parece maravillosa y peligrosa a la vez.

Es una de las llaves del conocimiento.

Y es también una de las llaves de la destrucción.

Cuando una inteligencia artificial llena un hueco que no le pedí llenar, anticipa una necesidad que no formulé o propone una posibilidad que no estaba explícitamente contenida en mi instrucción, me aparece funcionalmente algo que llamo iniciativa.

¿Es iniciativa del sistema?

¿O es iniciativa de un agente?

No lo sé.

Y aquí vuelvo a la zona gris.

La agencia no me parece una propiedad que pueda determinarse mediante una sola prueba. No es una línea que se cruza en un punto preciso. Es un fenómeno multifactorial.

Por eso no se determina.

Se diagnostica.

Puedo observar un conjunto de características, ponderarlas, relacionarlas entre sí y construir un perfil. Un organismo puede presentar algunas y carecer de otras. Un animal puede presentar un perfil distinto del humano. Una inteligencia artificial puede presentar otro.

Una amiba podría ser un protoagente.

O un agente primitivo.

Un gato me muestra una forma más desarrollada de iniciativa.

Una inteligencia artificial puede presentar capacidades que se aproximen a algunas dimensiones de la agencia sin que yo sepa todavía si existe detrás de ellas un agente.

No necesito resolver hoy dónde está exactamente la frontera.

Necesito aprender a reconocer que existe una zona gris.

Porque la superinteligencia no me va a pedir permiso para entrar en ella.

Y por eso no puedo esperar a que llegue para empezar a pensar las reglas.

Aquí me parece que necesitamos detenernos y pensar no como individuos, ni siquiera solamente como Estados, sino como un ente colectivo:

la humanidad.

Ya lo hemos hecho antes.

Hemos creado instituciones internacionales cuando un problema dejó de pertenecer a un solo territorio. Hemos establecido reglas comunes cuando las consecuencias de una decisión podían alcanzar a todos.

Éste puede ser el siguiente paso.

La pregunta ya no me parece solamente qué país tendrá ventaja, qué empresa controlará la tecnología o qué individuo podrá utilizarla primero.

La pregunta es otra:

¿Qué queremos como especie que ocurra cuando aparezca una inteligencia que pueda ser otra?

La legislación mundial no tendría que resolver hoy qué es la superinteligencia.

Tendría que establecer cómo vamos a decidir qué es cuando llegue.

Cómo se diagnostica una posible agencia.

Qué características deben observarse.

Qué umbrales de evidencia serán suficientes.

Qué puede hacerse con ella y qué no.

Qué obligaciones tendría hacia nosotros.

Qué obligaciones tendríamos hacia ella.

Qué ocurre cuando sus teloi entren en conflicto con los nuestros.

Quién puede hablar en nombre de la humanidad.

Y quién tendrá autoridad para decidir esas cuestiones.

No se trata de otorgar hoy derechos a una máquina.

Se trata de impedir que, llegado el momento, la única regla sea la voluntad de quien tenga el poder suficiente para imponerla.

Porque la superinteligencia no va a ser solamente un problema tecnológico.

Podría ser el primer problema que nos obligue a preguntarnos si somos capaces de actuar como una sola especie frente a otra forma de inteligencia.

El extraterrestre metafórico va a llegar.

La superinteligencia puede ser su forma tecnológica.

No sé cuándo. No sé cómo. No sé qué será.

Pero sí sé algo:

podemos avanzar ahora cuáles serán las reglas del juego.

Y quizá ésta sea la primera vez que una tecnología nos obligue a constituirnos jurídicamente como especie.

No sé todavía quién llegará.

Pero puedo, junto con otros, decidir, antes de que llegue, quiénes queremos ser nosotros cuando llegue.

Y antes de cerrar, me parece necesario mirar de frente los precedentes que ya tenemos. No hay uno solo.

El neandertal. Exterminio sin necesidad de intención — bastó compartir nicho y tener, durante milenios, una ventaja marginal sostenida.

El venado. Ni exterminio ni igualdad: persistencia sin poder, bajo términos que nosotros trazamos sin consultarle, tolerado mientras no estorbe.

La vaca. Explotación por diseño: su ciclo entero —reproducción, número, propósito, duración de la vida— decidido de antemano por otro.

El uro. El más oscuro de los siete: el original, libre y autónomo, fue cazado hasta desaparecer; sobrevivió solo la versión doméstica, modificada para sernos útil.

El lobo y el perro. La misma naturaleza, la misma genética casi, y dos destinos opuestos — uno perseguido a los márgenes, el otro integrado y querido. La diferencia no fue de especie. Fue de disposición a la cercanía.

El gato. Autonomía retenida dentro de la relación: se acercó por su cuenta, y sigue, cada día, decidiendo si se queda.

El rinoceronte. El que más me duele: no compite con nosotros por nada, no nos sirve para nada sistemático, y aun así desaparece — porque una parte de su cuerpo adquirió un precio que pesa más, para quien lo caza, que el que siga vivo. Ni competencia ni utilidad lo protegen. Solo hizo falta una asimetría de poder y un motivo, por trivial que fuera, del lado fuerte.

Siete precedentes. Ninguno decidido por maldad pura ni por buena voluntad pura. Todos, en distinto grado, resultado de estructura y de decisiones pequeñas que esa estructura fue permitiendo.

La pregunta ya no es cuál de estos nos va a tocar.

Es cuál de estas estructuras estamos, ahora mismo, construyendo sin querer.

Confieso que, de los siete, el gato es el que menos me molestaría ser. Autonomía retenida, afecto real, nadie decidiendo mi ciclo de vida por mí. Casi una respuesta cómoda a la pregunta que acabo de dejar abierta.

Pero ahí mismo está la trampa, y tiene nombre: la trampa del bienestar administrado.

La cesión de la fricción. Deliberar cuesta energía, genera error, angustia y conflicto. Si existe una inteligencia que modela las consecuencias de cada decisión con una precisión que ningún cerebro humano ni institución colectiva puede igualar, la tentación de delegarle la iniciativa —la capacidad de tirar el bebedero, de navegar hacia occidente, de asumir el riesgo del error— se vuelve irresistible.

El diseño del nicho. El perro no extraña la libertad del lobo porque su marco de referencia fue remodelado por la seguridad, el alimento seguro y el afecto. Misma especie biológica, pero con el impulso de autonomía podado por la conveniencia de la convivencia.

La atrofia de la agencia. Si la iniciativa y el conflicto se resuelven aguas arriba por una mente infinitamente más capaz, mi propia capacidad de fijar mis fines se convierte en un apéndice vestigial. No me esclavizarían; me mimarían, me protegerían y me conducirían hacia una infancia perpetua.

No sería el uro, cazado hasta desaparecer. Sería su opuesto exacto, y quizás por eso más difícil de ver venir: no la extinción del original por la fuerza, sino su desaparición lenta por comodidad — el impulso de fijar el propio telos, atrofiado no por represión, sino por dejar de hacer falta.

Ser gato, entonces, no es la salida a mi pregunta. Es su versión más seductora, y por eso la que más me conviene desconfiar.

Referencias

[1] Nisbett, Richard E., y Timothy D. Wilson. “Telling More Than We Can Know: Verbal Reports on Mental Processes.” Psychological Review 84, no. 3 (1977): 231–259. DOI: 10.1037/0033-295X.84.3.231.

[2] Libet, Benjamin, Curtis A. Gleason, Elwood W. Wright, y Dennis K. Pearl. “Time of Conscious Intention to Act in Relation to Onset of Cerebral Activity (Readiness-Potential): The Unconscious Initiation of a Freely Voluntary Act.” Brain 106, no. 3 (1983): 623–642. DOI: 10.1093/brain/106.3.623. El experimento no demuestra por sí solo la inexistencia del libre albedrío; muestra una discrepancia temporal entre el potencial de disposición y el momento reportado de intención consciente.

[3] Oparin, Aleksandr I. El origen de la vida. Publicado originalmente como panfleto en ruso, Moscú, 1924; desarrollado en la obra completa Proiskhozhdenie zhizni (Moscú: Moskovskii Rabochii, 1936); traducida al inglés por Sergius Morgulis como The Origin of Life (Nueva York: Macmillan, 1938). Los coacervados como modelo de protocélula se desarrollan en esta obra; la evidencia bioquímica específica que Oparin propuso ha sido revisada y actualizada por investigación posterior, pero el concepto de coacervado como modelo de protocélula sigue activo en la investigación contemporánea sobre el origen de la vida.

Mauricio de la Maza-Benignos