Elad Uzan
Muchos esperan que la IA descubra verdades éticas. Pero, como demuestra Gödel, decidir qué es lo correcto siempre será nuestra responsabilidad.
Imagine un mundo donde la inteligencia artificial asume las más altas responsabilidades morales: sentenciar a criminales, asignar recursos médicos e incluso mediar en conflictos entre naciones. Esto podría parecer la cumbre del progreso humano: una entidad libre de emociones, prejuicios o inconsistencias, que toma decisiones éticas con impecable precisión. A diferencia de los jueces o legisladores humanos, una máquina no se dejaría llevar por intereses personales ni por errores de razonamiento. No miente. No acepta sobornos ni súplicas. No se lamenta por decisiones difíciles.
Sin embargo, tras esta visión de un árbitro moral idealizado se esconde una pregunta fundamental: ¿puede una máquina comprender la moralidad como lo hacen los humanos, o está confinada a un simulacro de razonamiento ético? La IA podría replicar las decisiones humanas sin mejorarlas, transmitiendo los mismos sesgos, puntos ciegos y distorsiones culturales del juicio moral humano. Al intentar emularnos, podría solo reproducir nuestras limitaciones, no trascenderlas. Pero existe una preocupación más profunda. El juicio moral se basa en la intuición, la conciencia histórica y el contexto, cualidades que se resisten a la formalización. La ética puede estar tan arraigada en la experiencia vivida que cualquier intento de codificarla en estructuras formales corre el riesgo de aplanar sus características más esenciales. De ser así, la IA no solo reflejaría las deficiencias humanas, sino que despojaría a la moralidad de la misma profundidad que posibilita la reflexión ética.
Aun así, muchos han intentado formalizar la ética, tratando ciertas afirmaciones morales no como conclusiones, sino como puntos de partida. Un ejemplo clásico proviene del utilitarismo, que a menudo toma como axioma fundamental el principio de que uno debe actuar para maximizar el bienestar general. De esto, se pueden derivar principios más específicos, por ejemplo, que es correcto beneficiar al mayor número de personas, o que las acciones deben juzgarse por sus consecuencias para la felicidad total. A medida que aumentan los recursos computacionales, la IA se vuelve cada vez más adecuada para la tarea de partir de supuestos éticos fijos y razonar sobre sus implicaciones en situaciones complejas.
Pero ¿qué significa exactamente formalizar algo como la ética? La pregunta es más fácil de comprender al observar campos en los que los sistemas formales han desempeñado un papel central durante mucho tiempo. La física, por ejemplo, se ha basado en la formalización durante siglos. No existe una única teoría física que lo explique todo. En cambio, tenemos muchas teorías físicas, cada una diseñada para describir aspectos específicos del universo: desde el comportamiento de los quarks y los electrones hasta el movimiento de las galaxias. Estas teorías a menudo divergen. La física aristotélica, por ejemplo, explicó la caída de los objetos en términos de movimiento natural hacia el centro de la Tierra; la mecánica newtoniana lo reemplazó con una fuerza universal de gravedad. Estas explicaciones no solo son diferentes, sino incompatibles. Sin embargo, ambas comparten una estructura común: parten de postulados básicos (suposiciones sobre el movimiento, la fuerza o la masa) y derivan consecuencias cada vez más complejas. Las leyes del movimiento de Isaac Newton y las ecuaciones de James Clerk Maxwell son ejemplos clásicos: formulaciones compactas y elegantes de las que se pueden deducir predicciones de amplio alcance sobre el mundo físico.
Las teorías éticas tienen una estructura similar. Al igual que las teorías físicas, intentan describir un ámbito; en este caso, el panorama moral. Su objetivo es responder a preguntas sobre qué acciones son correctas o incorrectas y por qué. Estas teorías también divergen e, incluso cuando recomiendan acciones similares, como las donaciones a la caridad, las justifican de diferentes maneras. Las teorías éticas también suelen partir de un pequeño conjunto de principios o afirmaciones fundamentales, a partir de los cuales razonan sobre problemas morales más complejos. Un consecuencialista parte de la idea de que las acciones deben maximizar el bienestar; un deontólogo parte de la idea de que las acciones deben respetar deberes o derechos. Estos compromisos básicos funcionan de forma similar a sus homólogos en física: definen la estructura del razonamiento moral dentro de cada teoría ética.
Así como la IA se utiliza en física para operar dentro de teorías existentes (por ejemplo, para optimizar diseños experimentales o predecir el comportamiento de sistemas complejos), también puede emplearse en ética para ampliar el razonamiento moral dentro de un marco determinado. En física, la IA suele operar dentro de modelos establecidos en lugar de proponer nuevas leyes físicas o marcos conceptuales. Puede calcular cómo interactúan múltiples fuerzas y predecir su efecto combinado en un sistema físico. De igual manera, en ética, la IA no genera nuevos principios morales, sino que aplica los existentes a situaciones novedosas y a menudo complejas. Puede sopesar valores en pugna (equidad, minimización del daño, justicia) y evaluar sus implicaciones combinadas para determinar qué acción es moralmente mejor. El resultado no es un nuevo sistema moral, sino una aplicación más profunda de uno existente, moldeada por el mismo tipo de razonamiento formal que subyace al modelado científico. Pero ¿existe un límite inherente a lo que la IA puede saber sobre la moralidad? ¿Podrían existir proposiciones éticas verdaderas que ninguna máquina, por muy avanzada que sea, pueda jamás demostrar?
Estas preguntas evocan un descubrimiento fundamental de la lógica matemática, probablemente la idea más fundamental jamás demostrada: los teoremas de incompletitud de Kurt Gödel . Estos demuestran que cualquier sistema lógico lo suficientemente potente como para describir la aritmética es inconsistente o incompleto. En este ensayo, argumento que esta limitación, aunque de origen matemático, tiene profundas consecuencias para la ética y para cómo diseñamos sistemas de IA para razonar moralmente.
Únase a más de 260.000 suscriptores del boletín informativo
Nuestro contenido es 100% gratuito y puedes darte de baja en cualquier momento.
SSupongamos que diseñamos un sistema de IA para modelar la toma de decisiones morales. Al igual que otros sistemas de IA, ya sea para predecir precios de acciones, navegar por carreteras o seleccionar contenido, estaría programado para maximizar ciertos objetivos predefinidos. Para ello, debe basarse en lógica computacional formal: ya sea razonamiento deductivo, que deriva conclusiones de reglas y axiomas fijos, o razonamiento probabilístico, que estima probabilidades basándose en patrones en los datos. En cualquier caso, la IA debe adoptar una estructura matemática para la evaluación moral. Pero los teoremas de incompletitud de Gödel revelan una limitación fundamental. Gödel demostró que cualquier sistema formal lo suficientemente potente como para expresar operaciones aritméticas, como los números naturales y sus operaciones, no puede ser completo y consistente. Si dicho sistema es consistente, siempre habrá afirmaciones verdaderas que no pueda probar. En particular, aplicado a la IA, esto sugiere que cualquier sistema capaz de un razonamiento moral rico inevitablemente tendrá puntos ciegos morales: verdades éticas que no puede derivar. Aquí, «verdadero» se refiere a la verdad en la interpretación estándar de la aritmética, como la afirmación «2 + 2 = 4», que es cierta según las reglas matemáticas ordinarias. Si el sistema es inconsistente , podría probar cualquier cosa, incluidas contradicciones, lo que lo hace inútil como guía para decisiones éticas.
Los teoremas de incompletitud de Gödel se aplican no solo a la IA, sino a cualquier razonamiento ético enmarcado en un sistema formal. La diferencia clave radica en que los razonadores humanos pueden, al menos en principio, revisar sus suposiciones, adoptar nuevos principios y replantear el propio marco. La IA, en cambio, permanece limitada por las estructuras formales que le son dadas, o bien opera dentro de aquellas que solo puede modificar bajo restricciones predefinidas. De este modo, los teoremas de Gödel establecen un límite lógico a lo que la IA, si se construye sobre sistemas formales, puede probar o validar plenamente sobre la moralidad dentro de esos sistemas.
La mayoría de nosotros conocimos los axiomas en la escuela, generalmente a través de la geometría. Un ejemplo famoso es el postulado de las paralelas, que afirma que si se elige un punto que no está en una recta, se puede trazar exactamente una recta que pase por ese punto y que sea paralela a la recta original. Durante más de 2000 años, esto pareció evidente. Sin embargo, en el siglo XIX, matemáticos como Carl Friedrich Gauss, Nikolai Lobachevsky y János Bolyai demostraron que es posible construir geometrías internamente consistentes en las que el postulado de las paralelas no se cumple. En algunas de estas geometrías, no existen rectas paralelas; en otras, existen infinitas. Estas geometrías no euclidianas hicieron añicos la creencia de que los axiomas de Euclides describían el espacio de forma única.
Siempre habrá afirmaciones verdaderas pero no demostrables, en particular, la propia afirmación de coherencia del sistema.
Este descubrimiento suscitó una preocupación más profunda. Si el postulado de las paralelas, considerado durante mucho tiempo evidente, podía descartarse, ¿qué pasaba con los axiomas de la aritmética, que definen los números naturales y las operaciones de suma y multiplicación? ¿Con qué fundamento podemos confiar en que están libres de inconsistencias ocultas? Sin embargo, este desafío trajo consigo una promesa. Si pudiéramos demostrar que los axiomas de la aritmética son consistentes, sería posible expandirlos para desarrollar un conjunto consistente de axiomas más completos que definan los números enteros, los números racionales, los números reales, los números complejos y más allá. Como lo expresó el matemático del siglo XIX Leopold Kronecker: «Dios creó los números naturales; todo lo demás es obra del hombre». Demostrar la consistencia de la aritmética demostraría la consistencia de muchos campos importantes de las matemáticas.
El método para demostrar la consistencia de la aritmética fue propuesto por el matemático David Hilbert . Su enfoque implicaba dos pasos. Primero, Hilbert argumentó que, para demostrar la consistencia de un sistema formal, debe ser posible formular, dentro del propio lenguaje simbólico del sistema, una afirmación equivalente a 'Este sistema es consistente', y luego demostrar esa afirmación utilizando solo las propias reglas de inferencia del sistema. La prueba no debe depender de nada fuera del sistema, ni siquiera de la presunta 'autoevidencia' de sus axiomas. Segundo, Hilbert abogó por fundamentar la aritmética en algo aún más fundamental. Esta tarea fue emprendida por Bertrand Russell y Alfred North Whitehead en su monumental Principia Mathematica (1910-13). Trabajando en el dominio de la lógica simbólica, un campo que no trata con números, sino con proposiciones abstractas como 'si x, entonces y', demostraron que los axiomas de la aritmética podían derivarse como teoremas a partir de un conjunto más pequeño de axiomas lógicos. Esto dejaba un último desafío: ¿podría este conjunto de axiomas de lógica simbólica, sobre los que se construye la aritmética, demostrar su propia consistencia? De ser así, el sueño de Hilbert se cumpliría. Esa esperanza se convirtió en la ambición rectora de las matemáticas de principios del siglo XX.
Fue en este clima de optimismo que Kurt Gödel , un joven lógico austríaco, introdujo un resultado que desmantelaría la visión de Hilbert. En 1931, Gödel publicó sus teoremas de incompletitud, demostrando que la idea misma de un sistema matemático completamente autosuficiente es imposible. Específicamente, Gödel demostró que si un sistema formal cumple varias condiciones, contendrá afirmaciones verdaderas que no puede probar. Debe ser lo suficientemente complejo como para expresar la aritmética, incluir el principio de inducción (que le permite probar enunciados generales mostrando que son válidos para un caso base y cada paso sucesivo), ser consistente y tener un conjunto de axiomas decidible (lo que significa que es posible determinar, para cualquier enunciado dado, si califica como axioma). Cualquier sistema que satisfaga estas condiciones, como el conjunto de axiomas lógicos desarrollado por Russell y Whitehead en Principia Mathematica , será necesariamente incompleto: siempre habrá enunciados expresables dentro del sistema, pero no demostrables a partir de sus axiomas. Aún más sorprendente, Gödel demostró que un sistema de este tipo puede expresar, pero no demostrar, la afirmación de su propia consistencia.
La demostración de Gödel, que simplifico aquí, se basa en dos ideas clave que se desprenden de su aritmetización de la sintaxis : la poderosa idea de asociar cualquier enunciado de un sistema formal con un número natural particular, conocido como su número de Gödel. En primer lugar, cualquier sistema lo suficientemente complejo como para expresar aritmética e inducción debe permitir fórmulas con variables libres, fórmulas como S(x): 'x = 10', cuyo valor de verdad depende del valor de x. S(x) es verdadero cuando x es, de hecho, 10, y falso en caso contrario. Dado que cada enunciado del sistema tiene un número de Gödel único, G(S), una fórmula puede hacer referencia a su propio número de Gödel. Específicamente, el sistema puede formar enunciados como S(G(S)): 'G(S) = 10', cuya verdad depende de si el propio número de Gödel de S(x) es igual a 10. Segundo, en cualquier sistema lógico, una demostración de una fórmula S tiene una cierta estructura: comienza con axiomas, aplica reglas de inferencia para producir nuevas fórmulas a partir de esos axiomas, y finalmente deriva S misma. Tal como cada fórmula S tiene un número de Gödel G(S), así también a cada demostración de S se le asigna un número de Gödel, tratando la secuencia completa de fórmulas en la demostración como una fórmula larga. Así podemos definir una relación de demostración P(x, y), donde P(x, y) se cumple si y solo si x es el número de Gödel de una demostración de S, e y es el número de Gödel de S mismo. La afirmación de que x codifica una demostración de S se convierte en un enunciado dentro del sistema, a saber, P(x, y).
En tercer lugar, basándose en estas ideas, Gödel demostró que cualquier sistema formal capaz de expresar la aritmética y el principio de inducción también puede formular enunciados sobre sus propias demostraciones. Por ejemplo, el sistema puede expresar enunciados como: «n no es el número de Gödel de una demostración de la fórmula S». A partir de esto, puede ir un paso más allá y expresar la afirmación: «No existe ningún número n tal que n sea el número de Gödel de una demostración de la fórmula S». En otras palabras, el sistema puede decir que cierta fórmula S es indemostrable dentro del sistema. En cuarto lugar, Gödel construyó ingeniosamente una fórmula autorreferencial, P, que afirma: «No existe ningún número n tal que n sea el número de Gödel de una demostración de la fórmula P». Es decir, P dice de sí misma: «P no es demostrable». De esta manera, P es un enunciado formal que expresa su propia indemostrabilidad desde dentro del sistema.
De ello se deduce inmediatamente que si la fórmula P fuera demostrable dentro del sistema, sería falsa, pues afirma carecer de prueba. Esto significaría que el sistema demuestra una falsedad y, por lo tanto, es inconsistente. Por lo tanto, si el sistema es consistente, P no puede demostrarse y, por lo tanto, P es, de hecho, indemostrable. Esto lleva a la conclusión de que, en cualquier sistema formal consistente con la suficiente riqueza para expresar la aritmética y la inducción, siempre habrá enunciados verdaderos pero indemostrables, en particular, la propia afirmación de consistencia del sistema.
TLas implicaciones de los teoremas de Gödel fueron profundas e inquietantes. Destruyeron la esperanza de Hilbert de que las matemáticas pudieran reducirse a un sistema completo y mecánico de derivación y expusieron los límites inherentes del razonamiento formal. Inicialmente, los hallazgos de Gödel encontraron resistencia, ya que algunos matemáticos argumentaban que sus resultados eran menos generales de lo que parecían. Sin embargo, a medida que matemáticos y lógicos posteriores, en particular John von Neumann, confirmaron tanto su exactitud como su amplia aplicabilidad, los teoremas de Gödel llegaron a ser ampliamente reconocidos como uno de los descubrimientos más significativos en los fundamentos de las matemáticas.
Los resultados de Gödel también han iniciado debates filosóficos. El matemático y físico Roger Penrose , por ejemplo, ha argumentado que apuntan a una diferencia fundamental entre la cognición humana y el razonamiento algorítmico formal. Afirma que la consciencia humana nos permite percibir ciertas verdades, como las que Gödel demostró que no se pueden demostrar dentro de los sistemas formales, de maneras que ningún proceso algorítmico puede replicar. Esto sugiere, para Penrose, que ciertos aspectos de la consciencia pueden estar más allá del alcance de la computación. Su conclusión es paralela al argumento de la "Habitación China" de John Searle, que sostiene que esto es así porque los algoritmos manipulan los símbolos puramente sintácticamente, sin ninguna comprensión de su contenido semántico. Aun así, las conclusiones extraídas por Penrose y Searle no se derivan directamente de los teoremas de Gödel. Los resultados de Gödel se aplican estrictamente a los sistemas matemáticos formales y no hacen afirmaciones sobre la consciencia o la cognición. Si las mentes humanas pueden reconocer verdades indemostrables como verdaderas, o si las máquinas podrían algún día poseer mentes capaces de tal reconocimiento, sigue siendo una cuestión filosófica abierta.
La moral no se trata sólo de hacer lo correcto, sino de entender por qué es correcto.
Sin embargo, los teoremas de incompletitud de Gödel revelan una profunda limitación del razonamiento algorítmico, en particular de la IA, que afecta no solo a la computación, sino al razonamiento moral mismo. Sin sus teoremas, era al menos concebible que una IA pudiera formalizar todas las verdades morales y, además, demostrarlas a partir de un conjunto consistente de axiomas. Pero el trabajo de Gödel demuestra que esto es imposible. Ninguna IA, por sofisticada que sea, podría demostrar todas las verdades morales que puede expresar. La brecha entre las afirmaciones de verdad y la demostrabilidad establece un límite fundamental sobre el alcance del razonamiento moral formal, incluso para las máquinas más potentes.
Esto plantea dos problemas distintos para la ética. El primero es antiguo. Como sugiere Platón en el Eutifrón , la moral no se trata solo de hacer lo correcto, sino de comprender por qué lo es. La acción ética requiere justificación, una explicación fundamentada en la razón. Este ideal de justificación moral racional ha inspirado gran parte de nuestro pensamiento ético, pero los teoremas de Gödel sugieren que, si se formaliza el razonamiento moral, habrá verdades morales que no podrán demostrarse dentro de esos sistemas. De esta manera, Gödel no solo socavó la visión de Hilbert de demostrar la coherencia de las matemáticas; también pudo haber socavado la esperanza de Platón de fundamentar plenamente la ética en la razón.
El segundo problema es más práctico. Incluso una IA de alto rendimiento puede encontrarse con situaciones en las que no pueda justificar ni explicar sus recomendaciones utilizando únicamente el marco ético que se le ha proporcionado. La preocupación no es solo que la IA pueda actuar de forma poco ética, sino también que no pueda demostrar que sus acciones son éticas. Esto se vuelve especialmente urgente cuando la IA se utiliza para guiar o justificar decisiones humanas. Incluso una IA de alto rendimiento se encontrará con un límite más allá del cual no podrá justificar ni explicar sus decisiones utilizando únicamente los recursos de su propio marco. Por muy avanzada que sea, habrá verdades éticas que podrá expresar, pero nunca demostrar.
TEl desarrollo de la IA moderna se ha dividido generalmente en dos enfoques: la IA basada en la lógica, que obtiene conocimiento mediante deducción estricta, y los grandes modelos de lenguaje (LLM), que predicen el significado a partir de patrones estadísticos. Ambos enfoques se basan en estructuras matemáticas. La lógica formal se basa en la manipulación simbólica y la teoría de conjuntos. Los LLM no se basan estrictamente en la lógica deductiva, sino que utilizan una combinación de inferencia estadística, reconocimiento de patrones y técnicas computacionales para generar respuestas.
Así como los axiomas proporcionan una base para el razonamiento matemático, los LLM se basan en relaciones estadísticas en los datos para aproximarse al razonamiento lógico. Se involucran con la ética no deduciendo verdades morales, sino replicando cómo se desarrollan dichos debates en el lenguaje. Esto se logra mediante el descenso de gradiente, un algoritmo que minimiza una función de pérdida actualizando las ponderaciones en la dirección que reduce el error, aproxima funciones complejas que asignan entradas a salidas, lo que les permite generalizar patrones a partir de grandes cantidades de datos. No deducen respuestas, sino que generan respuestas plausibles, con un "razonamiento" que surge de miles de millones de parámetros de redes neuronales en lugar de reglas explícitas. Si bien funcionan principalmente como modelos probabilísticos, prediciendo texto basándose en patrones estadísticos, la lógica computacional desempeña un papel en la optimización, el razonamiento basado en reglas y ciertos procesos de toma de decisiones dentro de las redes neuronales.
Pero la probabilidad y la estadística son en sí mismas sistemas formales, fundamentados no solo en la aritmética sino también en axiomas probabilísticos, como los introducidos por el matemático soviético Andrey Kolmogorov, que rigen cómo se deriva la probabilidad de eventos complejos, se actualiza con nuevos datos y se agrega en distintos escenarios. Cualquier lenguaje formal lo suficientemente complejo como para expresar afirmaciones probabilísticas o estadísticas también puede expresar aritmética y, por lo tanto, está sujeto a los teoremas de incompletitud de Gödel. Esto significa que los LLM heredan las limitaciones gödelianas. Incluso los sistemas híbridos, como IBM Watson, OpenAI Codex o AlphaGo de DeepMind, que combinan el razonamiento lógico con el modelado probabilístico, siguen sujetos a las limitaciones gödelianas. Todos los componentes basados en reglas están restringidos por los teoremas de Gödel, que muestran que algunas proposiciones verdaderas expresables en un sistema no pueden demostrarse dentro de él. Los componentes probabilísticos, por su parte, se rigen por axiomas formales que definen cómo se actualizan las distribuciones de probabilidad, cómo se agregan las incertidumbres y cómo se extraen conclusiones. Pueden generar respuestas plausibles, pero no pueden justificarlas más allá de los patrones estadísticos con los que fueron entrenados.
Algunas cuestiones matemáticas fundamentales están más allá de la resolución formal
A primera vista, las limitaciones gödelianas de las IA en general y de los LLM en particular pueden parecer insignificantes. Al fin y al cabo, la mayoría de los sistemas éticos nunca se diseñaron para resolver todos los problemas morales imaginables. Se diseñaron para guiar ámbitos específicos, como la guerra, el derecho o los negocios, y a menudo se basan en principios apenas formalizados. Si se pueden desarrollar modelos formales para casos específicos, se podría argumentar que la incapacidad de formalizar completamente la ética no es especialmente preocupante. Además, los teoremas de incompletitud de Gödel no detuvieron el trabajo diario de los matemáticos. Los matemáticos continúan buscando demostraciones, aun sabiendo que algunas afirmaciones verdaderas pueden ser indemostrables. En la misma línea, el hecho de que algunas verdades éticas puedan estar más allá de la prueba formal no debería disuadir a los humanos, ni a las IA, de buscarlas, articularlas e intentar justificarlas o demostrarlas.
Pero los hallazgos de Gödel no fueron meramente teóricos. Tuvieron consecuencias prácticas en las matemáticas mismas. Un caso sorprendente es la hipótesis del continuo , que pregunta si existe un conjunto cuya cardinalidad se encuentre estrictamente entre la de los números naturales y los números reales. Esta pregunta surgió de la teoría de conjuntos, el campo matemático que trata con colecciones de entidades matemáticas, como números, funciones o incluso otros conjuntos. Su axiomatización más ampliamente aceptada, los axiomas de Zermelo-Fraenkel de la teoría de conjuntos con el axioma de elección, subyace a casi todas las matemáticas modernas. En 1938, el propio Gödel demostró que la hipótesis del continuo no puede refutarse a partir de estos axiomas, suponiendo que sean consistentes. En 1963, Paul Cohen demostró lo inverso: la hipótesis del continuo tampoco puede probarse a partir de los mismos axiomas. Este resultado histórico confirmó que algunas preguntas matemáticas fundamentales están más allá de la resolución formal.
Lo mismo, sostengo, aplica a la ética. Los límites que Gödel reveló en las matemáticas no solo son teóricamente relevantes para la ética de la IA; también tienen importancia práctica. En primer lugar, así como las matemáticas contienen afirmaciones verdaderas que no pueden demostrarse dentro de sus propios axiomas, bien puede haber verdades éticas que son formalmente indemostrables pero éticamente importantes: los equivalentes morales de la hipótesis del continuo. Estas podrían surgir en sistemas diseñados para gestionar disyuntivas complejas, como sopesar la justicia frente al daño. No podemos prever cuándo, ni siquiera si, una IA que opera dentro de un marco ético formal se encontrará con tales límites. Así como Cohen tardó más de 30 años después de los teoremas de incompletitud de Gödel en demostrar la independencia de la hipótesis del continuo, no podemos predecir cuándo, si es que alguna vez, nos encontraremos con principios éticos que sean expresables dentro del sistema ético de una IA pero que sigan siendo indemostrables.
En segundo lugar, Gödel también demostró que ningún sistema formal suficientemente complejo puede demostrar su propia consistencia. Esto es especialmente preocupante en ética, donde no está nada claro que nuestros marcos éticos sean consistentes. Esta no es una limitación exclusiva de la IA; los humanos tampoco pueden demostrar la consistencia de los sistemas formales que construyen. Pero esto es especialmente relevante para la IA porque una de sus promesas más ambiciosas ha sido ir más allá del juicio humano: razonar con mayor claridad, imparcialidad y a mayor escala.
Los resultados de Gödel establecen un límite estricto a esa aspiración. Esta limitación es estructural, no meramente técnica. Así como la teoría de la relatividad de Albert Einstein impone un límite superior a la velocidad del Universo —por muy avanzada que sea nuestra nave espacial, no podemos superar la velocidad de la luz—, los teoremas de Gödel imponen un límite al razonamiento formal: por muy avanzada que sea la IA, no puede escapar de la incompletitud del sistema formal en el que opera. Además, los teoremas de Gödel pueden restringir el razonamiento ético práctico de maneras imprevistas, de forma similar a como se ha demostrado que algunas conjeturas matemáticas importantes son indemostrables a partir de los axiomas estándar de la teoría de conjuntos, o como la velocidad de la luz, aunque inalcanzable, aún impone restricciones reales a la ingeniería y la astrofísica. Por ejemplo, mientras escribo esto, la sonda solar Parker de la NASA es el objeto más rápido creado por el hombre en la historia, viajando a aproximadamente 430.000 millas ( aproximadamente 700.000 km) por hora, tan solo el 0,064 % de la velocidad de la luz. Sin embargo, ese límite superior sigue siendo crucial: la velocidad finita de la luz ha moldeado, por ejemplo, el diseño de sondas espaciales, módulos de aterrizaje y exploradores, todos los cuales requieren al menos un funcionamiento semiautónomo, ya que las señales de radio de la Tierra tardan minutos o incluso horas en llegar. Los teoremas de Gödel podrían limitar la computación ética de maneras igualmente sorprendentes.
No importa cuánto aprenda una IA, habrá afirmaciones sobre la justicia que nunca podrá demostrar dentro de su propio sistema.
Existe otra razón por la que los resultados de Gödel son especialmente relevantes para la ética de la IA. A diferencia de los sistemas estáticos basados en reglas, la IA avanzada, en particular los modelos lingüísticos extensos y los sistemas de aprendizaje adaptativo, no solo puede aplicar un marco ético predefinido, sino también revisar elementos de este con el tiempo. Una promesa central del razonamiento moral impulsado por la IA es su capacidad para refinar los modelos éticos mediante el aprendizaje, abordando ambigüedades y puntos ciegos en el juicio moral humano. A medida que los sistemas de IA evolucionan, pueden intentar modificar sus propios axiomas o parámetros en respuesta a nuevos datos o retroalimentación. Esto es especialmente cierto en el caso de los sistemas de aprendizaje automático entrenados con conjuntos de datos vastos y cambiantes, así como en el de los modelos híbridos que integran el razonamiento lógico con la inferencia estadística. Sin embargo, los resultados de Gödel revelan una limitación estructural: si un marco ético se formaliza dentro de un sistema formal suficientemente expresivo, ningún conjunto consistente de axiomas puede probar todas las afirmaciones verdaderas expresables dentro de él.
Para ilustrarlo, consideremos una IA encargada de defender la justicia. Puede estar programada con principios éticos ampliamente aceptados, como la equidad y la minimización del daño. Si bien los modelos de justicia creados por humanos basados en estos principios son inevitablemente simplistas, limitados por limitaciones computacionales y sesgos cognitivos, una IA, en teoría, no tiene tales limitaciones. Puede aprender continuamente del comportamiento humano real, refinando su comprensión y construyendo una concepción de la justicia cada vez más matizada, que entrelaza cada vez más dimensiones de la experiencia humana. Incluso puede, como se ha señalado, cambiar sus propios axiomas. Pero por mucho que aprenda una IA o cómo se modifique, siempre habrá afirmaciones sobre la justicia que, si bien puede modelar, nunca podrá demostrar dentro de su propio sistema. Más preocupante aún es que la IA no podría demostrar que el sistema ético que construye es internamente consistente (es decir, que no se contradice a sí mismo en algún lugar de su vasta red de razonamiento ético), a menos que sea inconsistente , en cuyo caso puede probar cualquier cosa, incluida la falsedad, como su propia consistencia.
En definitiva, los teoremas de incompletitud de Gödel sirven de advertencia contra la idea de que la IA pueda lograr un razonamiento ético perfecto. Así como las matemáticas siempre contendrán verdades que escapan a la prueba formal, la moral siempre contendrá complejidades que desafían la resolución algorítmica. La cuestión no es simplemente si la IA puede tomar decisiones morales, sino si puede superar las limitaciones de cualquier sistema basado en una lógica predefinida; limitaciones que, como demostró Gödel, pueden impedir que ciertas verdades sean demostrables dentro del sistema, incluso si son reconocibles como verdaderas. Si bien la ética de la IA ha lidiado con cuestiones de sesgo, imparcialidad e interpretabilidad, el desafío más profundo persiste: ¿puede la IA reconocer los límites de su propio razonamiento ético? Este desafío puede establecer una frontera infranqueable entre la ética artificial y la humana.
TLa relación entre los teoremas de incompletitud de Gödel y la ética de las máquinas destaca un paralelismo estructural: así como ningún sistema formal puede ser completo y autónomo, ninguna IA puede lograr un razonamiento moral que sea exhaustivo y totalmente demostrable. En cierto sentido, los hallazgos de Gödel extienden y complican la tradición kantiana. Kant argumentó que el conocimiento depende de verdades a priori , suposiciones fundamentales que estructuran nuestra experiencia de la realidad. Los teoremas de Gödel sugieren que, incluso dentro de los sistemas formales construidos sobre axiomas bien definidos, siguen existiendo verdades que exceden la capacidad del sistema para establecerlas. Si Kant buscó definir los límites de la razón a través de precondiciones necesarias para el conocimiento, Gödel reveló una incompletitud intrínseca en el razonamiento formal mismo, una que ningún conjunto de axiomas puede resolver desde dentro. Siempre habrá verdades morales más allá de su comprensión computacional, problemas éticos que resistan la resolución algorítmica.
Así pues, el problema más profundo reside en la incapacidad de la IA para reconocer los límites de su propio marco de razonamiento: su incapacidad para saber cuándo sus conclusiones morales se basan en premisas incompletas o cuándo un problema escapa a la resolución formal de su sistema ético. Si bien los humanos también nos enfrentamos a limitaciones cognitivas y epistémicas, no estamos limitados por una estructura formal determinada. Podemos inventar nuevos axiomas, cuestionar los antiguos o revisar todo nuestro marco a la luz de la perspicacia filosófica o la deliberación ética. Los sistemas de IA, en cambio, solo pueden generar o adoptar nuevos axiomas si su arquitectura lo permite e, incluso entonces, dichas modificaciones se producen dentro de metarreglas predefinidas u objetivos de optimización. Carecen de la capacidad de reflexión conceptual que guía los cambios humanos en los supuestos fundamentales. Incluso si un lenguaje formal más rico, o un conjunto más rico de axiomas, pudiera demostrar algunas verdades previamente indemostrables, ningún conjunto finito de axiomas que satisfaga los requisitos de decidibilidad y consistencia de Gödel puede demostrar todas las verdades expresables en un sistema formal suficientemente potente. En ese sentido, Gödel establece un límite, no sólo sobre lo que las máquinas pueden probar, sino sobre lo que pueden justificar desde dentro de una arquitectura ética o lógica dada.
Cuando una IA toma una decisión que parece moralmente errónea, puede incitarnos a reexaminar nuestros propios juicios.
Una de las grandes esperanzas, o temores, de la IA es que algún día pueda evolucionar más allá de los principios éticos inicialmente programados en ella y simular precisamente ese autocuestionamiento. Mediante el aprendizaje automático, la IA podría modificar su propio marco ético, generando nuevas perspectivas morales y descubriendo patrones y soluciones que los pensadores humanos, limitados por sesgos cognitivos y limitaciones computacionales, podrían pasar por alto. Sin embargo, esta misma adaptabilidad introduce un profundo riesgo: la moralidad en evolución de una IA podría divergir tan radicalmente de la ética humana que sus decisiones se vuelvan incomprensibles o incluso moralmente aborrecibles para nosotros. Esto refleja ciertas concepciones religiosas de la ética. En algunas tradiciones teológicas, la moralidad divina se considera tan ajena a la comprensión humana que puede parecer arbitraria o incluso cruel, un tema central en los debates sobre el problema del mal y la teoría del mandato divino. Un desafío similar surge con la ética de la IA: a medida que los sistemas de IA se vuelven cada vez más autónomos y automodificables, sus decisiones morales pueden volverse tan opacas y alejadas del razonamiento humano que corren el riesgo de ser percibidas como impredecibles, inescrutables o incluso injustas.
Sin embargo, aunque la IA nunca domine por completo el razonamiento moral, podría convertirse en una herramienta poderosa para refinar el pensamiento ético humano. A diferencia de la toma de decisiones humana, que a menudo se ve influenciada por sesgos, intuición o suposiciones no examinadas, la IA tiene el potencial de exponer inconsistencias en nuestro razonamiento ético al tratar casos similares con imparcialidad formal. Sin embargo, este potencial depende de la capacidad de la IA para reconocer cuándo los casos son moralmente similares, una tarea complicada por el hecho de que los sistemas de IA, especialmente los LLM, pueden internalizar y reproducir los mismos sesgos humanos que pretenden mitigar. Cuando la IA emite una decisión que parece moralmente errónea, puede impulsarnos a reexaminar los principios que sustentan nuestros propios juicios. ¿Distinguimos entre casos por buenas razones morales o aplicamos un doble rasero sin darnos cuenta? La IA podría ayudar a cuestionar y refinar nuestro razonamiento ético, no ofreciendo respuestas definitivas, sino revelando lagunas, contradicciones y suposiciones pasadas por alto en nuestro marco moral.
La IA puede apartarse de las intuiciones morales humanas de al menos dos maneras: al tratar casos que percibimos como similares de forma divergente, o al tratar casos que percibimos como diferentes de la misma manera. En ambos casos, la pregunta subyacente es si la IA está identificando correctamente una distinción o similitud moralmente relevante, o si simplemente está reflejando patrones irrelevantes en sus datos de entrenamiento. En algunos casos, la divergencia puede deberse a sesgos humanos arraigados, como patrones discriminatorios basados en la raza, el género o el nivel socioeconómico. Pero en otros, la IA podría descubrir características éticamente significativas que el juicio humano históricamente ha pasado por alto. Podría, por ejemplo, descubrir nuevas variantes del problema del tranvía , lo que sugiere que dos daños aparentemente equivalentes difieren en aspectos moralmente importantes. En tales casos, la IA puede detectar nuevos patrones éticos antes que los filósofos humanos. El desafío es que no podemos saber de antemano a qué tipo de desviación nos enfrentamos. Cada juicio moral sorprendente de la IA debe evaluarse en sus propios términos: ni aceptarse acríticamente ni descartarse de plano. Pero incluso esta apertura a nuevos conocimientos no libera a la IA de los límites estructurales del razonamiento formal.
Esa es la lección más profunda. Los teoremas de Gödel no solo demuestran que existen verdades que las máquinas no pueden probar. Demuestran que el razonamiento moral, como las matemáticas, es siempre abierto y va más allá de lo que se puede derivar formalmente. El desafío, entonces, no es solo cómo codificar el razonamiento ético en la IA, sino también cómo garantizar que su marco moral en evolución se mantenga alineado con los valores humanos y las normas sociales. A pesar de su velocidad, precisión y potencia computacional, la IA sigue siendo incapaz de lo único que hace verdaderamente posible el razonamiento moral: la capacidad de cuestionar no solo qué es correcto, sino también por qué. La ética, por lo tanto, debe seguir siendo una tarea humana, una lucha continua e imperfecta que ninguna máquina dominará jamás por completo.
Elad Uzan Es un filósofo residente en la Universidad de Oxford, donde imparte clases de filosofía tanto a estudiantes de grado como de posgrado. Trabaja en la intersección de la filosofía moral, política y jurídica. Recibió la Beca Baumgardt Memorial de la Asociación Filosófica Americana e impartirá las Baumgardt Memorial Lectures en el Instituto Uehiro de Oxford en octubre de 2025. Su primera monografía, The Morality and Law of Ending War (próximamente, 2026), desarrolla la primera teoría sistemática de los límites normativos que rigen cuándo y cómo se debe poner fin a las guerras.
https://aeon.co/essays/what-godels-incompleteness-theorems-say-about-ai-morality
Gödel ∀ (para todos)
/big.jpg "Gödel ∀ (para todos)")
Con el propósito de hacerlo accesible a un público que no necesariamente tenga formación matemática, Guillermo Martínez y Gustavo Piñeiro han logrado una exposición detallada, rigurosa, pero de extrema suavidad, totalmente autocontenida: magistral. También discuten con autores como Kristeva, Lacan, Debray, Deleuze, y Lyotard, quienes han invocado a Gödel y sus teoremas en arriesgadas analogías.
El logro notable de este libro es que tanto las personas de cualquier disciplina que sólo tengan la imprescindible «curiosidad de espíritu» como los que hayan estudiado los teoremas de Gödel podrán aventurarse a la experiencia de conocer en profundidad una de las hazañas intelectuales más extraordinarias de nuestra época; porque si bien empieza de cero, llega mucho más allá de lo que se han propuesto las divulgaciones más conocidas en lengua castellana.
El teorema de Gödel
/big.jpg "El teorema de Gödel")
Muchos de los más interesantes desarrollos de la informática se cuentan entre los frutos cosechados por este legendario teorema, del que, por otra parte, se ha valido el físico Roger Penrose para cuestionar los supuestos de la inteligencia artificial.
El teorema de Gödel, ha escrito Hofstadter, es como una perla en una ostra. Su secreto no se percibe escrutando la perla, sino el aparato demostrativo oculto en la ostra que la aloja. Este libro de Nagel y Newman, dedicado por sus autores a Bertrand Russell, es el único existente que permite a un lector sin base matemática obtener un conocimiento del teorema, de su prueba y de su contexto histórico, suficiente para poder formarse juicio propio sobre las consecuencias que comporta para nuestro concepto de la mente y de la cultura humana.
No hay comentarios:
Publicar un comentario