Pausar los desarrollos de IA no es suficiente. Necesitamos cerrarlo todo

Yudkowsky es un teórico de la decisión de EE. UU. y dirige la investigación en el Instituto de Investigación de Inteligencia de Máquinas. Ha estado trabajando en la alineación de la Inteligencia General Artificial desde 2001 y es ampliamente considerado como uno de los fundadores del campo.

Una carta abierta publicada a fines de mayo de 2023 pide que «todos los laboratorios de IA pausen inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA más potentes que GPT-4».

Esta moratoria de 6 meses sería mejor que ninguna moratoria. Tengo respeto por todos los que dieron un paso al frente y lo firmaron. Es una mejora en el margen.

Me abstuve de firmar porque creo que la carta subestima la gravedad de la situación y pide muy poco para resolverla.

El tema clave no es la inteligencia “competitiva humana” (como dice la carta abierta); es lo que sucede después de que la IA llega a una inteligencia más inteligente que la humana. Los umbrales clave allí pueden no ser obvios, definitivamente no podemos calcular de antemano qué sucede y cuándo, y actualmente parece imaginable que un laboratorio de investigación cruzaría líneas críticas sin darse cuenta.

Muchos investigadores inmersos en estos temas , incluyéndome a mí, esperan que el resultado más probable de construir una IA superhumanamente inteligente, bajo cualquier circunstancia remotamente parecida a las circunstancias actuales, es que, literalmente, todos en la Tierra morirán. No como en «tal vez posiblemente alguna posibilidad remota», sino como en «eso es lo obvio que sucedería». No es que no puedas, en principio, sobrevivir creando algo mucho más inteligente que tú; es que requeriría precisión y preparación y nuevos conocimientos científicos, y probablemente no tener sistemas de IA compuestos por conjuntos gigantes e inescrutables de números fraccionarios.

Sin esa precisión y preparación, el resultado más probable es una IA que no hace lo que queremos y no se preocupa por nosotros ni por la vida sensible en general. Ese tipo de cuidado es algo que, en principio, podría imbuirse en una IA, pero no estamos listos y actualmente no sabemos cómo hacerlo.

En ausencia de ese cuidado, obtenemos que «la IA no te ama, ni te odia, y estás hecho de átomos que puede usar para otra cosa».

El resultado probable de que la humanidad se enfrente a una inteligencia sobrehumana opuesta es una pérdida total. Las metáforas válidas incluyen “un niño de 10 años tratando de jugar al ajedrez contra Stockfish de 15”, “el siglo XI tratando de luchar contra el siglo XXI” y “Australopithecus tratando de luchar contra el Homo sapiens”.

Para visualizar una IA sobrehumana hostil, no imagines a un pensador inteligente y sin vida viviendo dentro de Internet y enviando correos electrónicos mal intencionados. Visualiza toda una civilización alienígena, pensando a millones de veces la velocidad humana, inicialmente confinada a las computadoras, en un mundo de criaturas que son, desde su perspectiva, muy estúpidas y lentas. Una Inteligencia Artificial lo suficientemente inteligente no permanecerá confinada a las computadoras por mucho tiempo. En el mundo actual, puede enviar cadenas de ADN por correo electrónico a laboratorios que producirán proteínas a pedido, lo que permite que una IA inicialmente confinada a Internet construya formas de vida artificiales o arranque directamente a la fabricación molecular posbiológica.

Si alguien construye una IA demasiado poderosa, en las condiciones actuales, espero que todos los miembros de la especie humana y toda la vida biológica en la Tierra mueran poco después.

No hay un plan propuesto sobre cómo podríamos hacer tal cosa y sobrevivir. La intención abiertamente declarada de OpenAI es hacer que alguna IA futura haga nuestra tarea de alineación de IA. Solo escuchar que este es el plan debería ser suficiente para que cualquier persona sensata entre en pánico. El otro laboratorio de inteligencia artificial líder, DeepMind, no tiene ningún plan.

Un aparte: nada de este peligro depende de si las IA son o pueden ser conscientes; es intrínseco a la noción de sistemas cognitivos poderosos que optimizan y calculan resultados que cumplen con criterios de resultados suficientemente complicados. Dicho esto, sería negligente en mis deberes morales como humano si no mencionara también que no tenemos idea de cómo determinar si los sistemas de IA son conscientes de sí mismos, ya que no tenemos idea de cómo decodificar nada de lo que sucede. en las matrices inescrutables gigantes, y por lo tanto, en algún momento, sin darnos cuenta, podemos crear mentes digitales que son verdaderamente conscientes y deberían tener derechos y no deberían ser propiedad.

La regla que la mayoría de las personas conscientes de estos problemas habría respaldado 50 años antes, era que si un sistema de IA puede hablar con fluidez y dice que es consciente de sí mismo y exige derechos humanos, eso debería ser un obstáculo para las personas que simplemente poseen esa Inteligencia Artificial. y usarlo más allá de ese punto. Ya superamos esa vieja línea en la arena. Y probablemente eso era correcto. Estoy de acuerdo en que las IA actuales probablemente solo estén imitando la conversación sobre la autoconciencia de sus datos de entrenamiento. Pero señalo que, con la poca comprensión que tenemos de las partes internas de estos sistemas, en realidad no lo sabemos.

Si ese es nuestro estado de ignorancia para GPT-4, y GPT-5 es del mismo tamaño de un paso de capacidad gigante que de GPT-3 a GPT-4, creo que ya no podremos decir justificadamente «probablemente no auto- conscientes” si permitimos que la gente fabrique GPT-5. Simplemente será “No lo sé; nadie lo sabe.» Si no puede estar seguro de si está creando una IA autoconsciente, esto es alarmante no solo por las implicaciones morales de la parte «autoconsciente», sino porque no estar seguro significa que no tiene idea de lo que está haciendo. y eso es peligroso y deberías parar.

El 7 de febrero, Satya Nadella, CEO de Microsoft, se regodeó públicamente de que el nuevo Bing haría que Google «salga y demuestre que puede bailar». “Quiero que la gente sepa que los hicimos bailar”, dijo.

No es así como habla el CEO de Microsoft en un mundo cuerdo. Muestra una brecha abrumadora entre la seriedad con la que tomamos el problema y la seriedad con la que necesitábamos tomarlo hace 30 años.

No vamos a cerrar esa brecha en seis meses.

Pasaron más de 60 años desde que se propuso y estudió por primera vez la noción de inteligencia artificial hasta que alcanzamos las capacidades actuales. Resolver la seguridad de la inteligencia sobrehumana, no la seguridad perfecta, la seguridad en el sentido de «no matar literalmente a todos», podría tomar razonablemente al menos la mitad de ese tiempo. Y lo que pasa con intentar esto con inteligencia sobrehumana es que, si te equivocas en el primer intento, no puedes aprender de tus errores, porque estás muerto. La humanidad no aprende del error y se desempolva y vuelve a intentarlo, como en otros desafíos que hemos superado en nuestra historia, porque todos nos hemos ido.

Tratar de hacer algo bien en el primer intento realmente crítico es una tarea extraordinaria, tanto en ciencia como en ingeniería. No estamos llegando con nada parecido al enfoque que se requeriría para hacerlo con éxito. Si mantuviéramos algo en el campo naciente de la Inteligencia General Artificial con los estándares menores de rigor de ingeniería que se aplican a un puente destinado a transportar un par de miles de automóviles, todo el campo se cerraría mañana.

No estamos preparados. No estamos en camino de estar preparados en una ventana de tiempo razonable. No hay plan. El progreso en las capacidades de la IA es enorme, muy por delante del progreso en la alineación de la IA o incluso del progreso en la comprensión de qué diablos está pasando dentro de esos sistemas. Si realmente hacemos esto, todos vamos a morir.

Muchos investigadores que trabajan en estos sistemas piensan que nos estamos precipitando hacia una catástrofe, y más de ellos se atreven a decirlo en privado que en público; pero piensan que no pueden detener unilateralmente la caída hacia adelante, que otros continuarán incluso si ellos personalmente renuncian a sus trabajos. Y entonces todos piensan que también podrían seguir adelante. Este es un estado de cosas estúpido y una forma indigna de que la Tierra muera, y el resto de la humanidad debería intervenir en este punto y ayudar a la industria a resolver su problema de acción colectiva.

Algunos de mis amigos me han informado recientemente que cuando las personas ajenas a la industria de la IA se enteran por primera vez del riesgo de extinción de la Inteligencia General Artificial, su reacción es «quizás no deberíamos construir AGI, entonces».

Escuchar esto me dio un pequeño destello de esperanza, porque es una reacción más simple, más sensata y francamente más sensata que la que he escuchado en los últimos 20 años de intentar que alguien en la industria se tome las cosas en serio. Cualquiera que hable así merece escuchar lo grave que es la situación en realidad, y no que le digan que una moratoria de seis meses la solucionará.

El 16 de marzo, mi pareja me envió este correo electrónico. (Más tarde me dio permiso para extraerlo aquí).

“¡Nina perdió un diente! De la manera habitual que hacen los niños, ¡no por descuido! Ver GPT4 superar esas pruebas estandarizadas el mismo día en que Nina alcanzó un hito de la infancia provocó una oleada emocional que me hizo perder la cabeza por un minuto. Todo va demasiado rápido. Me preocupa que compartir esto aumente tu propio dolor, pero prefiero que me conozcas a que cada uno de nosotros sufra solo”.

Cuando la conversación interna es sobre el dolor de ver a su hija perder su primer diente y pensar que no tendrá la oportunidad de crecer, creo que estamos más allá del punto de jugar al ajedrez político sobre una moratoria de seis meses.

Si hubiera un plan para que la Tierra sobreviviera, si solo aprobáramos una moratoria de seis meses, respaldaría ese plan. No hay tal plan.

Esto es lo que realmente tendría que hacerse:

La moratoria sobre nuevos grandes entrenamientos debe ser indefinida y mundial. No puede haber excepciones, incluso para gobiernos o militares. Si la política comienza con los EE. UU., entonces China debe ver que los EE. UU. no buscan una ventaja, sino que intentan evitar una tecnología terriblemente peligrosa que no puede tener un verdadero dueño y que matará a todos en los EE. UU., en China y en la Tierra.  Si tuviera una libertad infinita para escribir leyes, podría hacer una sola excepción para que las Inteligencias Artificiales se entrenen únicamente para resolver problemas en biología y biotecnología, no entrenadas en texto de Internet, y no al nivel en el que comienzan a hablar o planificar; pero si eso estuviera complicando remotamente el problema, descartaría inmediatamente esa propuesta y diría que simplemente cerrara todo.

Apague todos los clústeres de GPU grandes (las grandes granjas de computadoras donde se refinan las IA más poderosas). Cierra todas las carreras de entrenamiento grandes. Ponga un límite a la cantidad de poder de cómputo que cualquiera puede usar para entrenar un sistema de IA y muévalo hacia abajo en los próximos años para compensar los algoritmos de entrenamiento más eficientes. Sin excepciones para gobiernos y militares. Hacer acuerdos multinacionales inmediatos para evitar que las actividades prohibidas se trasladen a otros lugares. Seguimiento de todas las GPU vendidas. Si la inteligencia dice que un país fuera del acuerdo está construyendo un clúster de GPU, tenga menos miedo de un conflicto a tiros entre naciones que de que se viole la moratoria; estar dispuesto a destruir un centro de datos rebelde mediante un ataque aéreo.

No enmarque nada como un conflicto entre intereses nacionales, tenga claro que cualquiera que hable de carreras armamentistas es un tonto. Que todos vivamos o muramos como uno, en esto, no es una política sino un hecho de la naturaleza. Hacer explícito en la diplomacia internacional que la prevención de escenarios de extinción de la IA se considera una prioridad por encima de la prevención de un intercambio nuclear total, y que los países nucleares aliados están dispuestos a correr algún riesgo de intercambio nuclear si eso es lo que se necesita para reducir el riesgo de grandes carreras de entrenamiento de IA.

Ese es el tipo de cambio de política que haría que mi pareja y yo nos abrazáramos y nos decimos que sucedió un milagro, y ahora existe la posibilidad de que Nina viva. Las personas cuerdas que escuchan sobre esto por primera vez y dicen con sensatez «tal vez no deberíamos» merecen escuchar, honestamente, lo que se necesitaría para que eso suceda. Y cuando su solicitud de política es tan grande, la única manera de que se apruebe es si los legisladores se dan cuenta de que si hacen negocios como de costumbre y hacen lo que es políticamente fácil, eso significa que sus propios hijos también van a morir.

No estamos listos No estamos en camino de estar significativamente más preparados en el futuro previsible. Si seguimos adelante con esto, todos morirán, incluidos los niños que no eligieron esto y no hicieron nada malo.

Equipo de análisis del Laboratorio del Futuro/Revista Time (Inglaterra). Artículo de Eliezer Yudkowsky.

Traducción del inglés: equipo de traducción e interpretación del Laboratorio del Futuro.