Max Tegmark y Yoshua Bengio advierten que las IA más inteligentes que los humanos con capacidad de actuar de forma autónoma podría ser peligrosas debido a la falta de controles claros

La inteligencia artificial general podría convertirse en un problema serio si no se establece un control adecuado sobre su desarrollo. Así lo advierten dos de los mayores expertos en IA, Max Tegmark, del Instituto Tecnológico de Massachusetts (MIT), y Yoshua Bengio, de la Universidad de Montreal, quienes han alertado sobre el peligro de construir sistemas demasiado avanzados.

El crecimiento acelerado de la inteligencia artificial ha llevado a la creación de sistemas denominados «agentes de IA», diseñados para actuar con mayor autonomía y tomar decisiones sin intervención humana directa.

Empresas líderes en el sector tecnológico promueven esta evolución con la promesa de mejorar la productividad y facilitar la vida cotidiana. Sin embargo, Bengio advierte, en el podcast Beyond The Valley de CNBC, que este enfoque implica un riesgo importante, el otorgar a la IA la capacidad de actuar por su cuenta sin una supervisión efectiva.

Según el investigador, la clave del problema radica en la agencia de la IA, es decir, su capacidad para establecer y perseguir objetivos propios. «Estamos creando una nueva forma de inteligencia en nuestro planeta sin saber si sus decisiones serán compatibles con nuestras necesidades», señala Bengio.

Esta incertidumbre es lo que lleva a los expertos a pedir una regulación estricta antes de que la tecnología avance demasiado.

El mayor temor de los especialistas no es solo la autonomía de estos sistemas, sino el potencial desarrollo de mecanismos de autopreservación dentro de la IA. Bengio se pregunta: «¿Queremos competir con entidades que son más inteligentes que nosotros? No es una apuesta muy tranquilizadora, ¿verdad? Por eso tenemos que entender cómo la autopreservación puede surgir como un objetivo en la IA».

Este escenario podría derivar en una falta de control sobre los sistemas avanzados, lo que haría que su evolución sea impredecible.

La posibilidad de que una IA busque su propia supervivencia o tome decisiones que no coincidan con las necesidades humanas plantea dilemas éticos y técnicos. Aunque por el momento no existe una inteligencia artificial que posea verdadera conciencia o intenciones, la tendencia actual hacia sistemas cada vez más autónomos genera preocupación entre los investigadores.

Herramientas de IA en lugar de una inteligencia artificial autónoma:

Max Tegmark propone una solución diferente al desarrollo de agentes autónomos, como centrarse en la creación de «IA herramienta». Este concepto se basa en diseñar sistemas inteligentes con propósitos específicos y bajo un marco de control estricto, en lugar de permitirles operar con plena autonomía.

Ejemplos de este enfoque incluyen herramientas avanzadas para la medicina, como sistemas capaces de sugerir tratamientos contra el cáncer, o vehículos autónomos diseñados con protocolos de seguridad que garanticen el control humano en todo momento. Tegmark cree que, con normas de seguridad adecuadas, la IA puede evolucionar sin convertirse en un riesgo.

«Creo que, siendo optimista, podemos tener casi todo lo que nos entusiasma de la IA… si simplemente insistimos en tener algunos estándares básicos de seguridad antes de que la gente pueda vender sistemas de IA potentes», sostiene Tegmark.

El problema es que actualmente no existen estándares globales que regulen el desarrollo de estos sistemas, lo que deja la puerta abierta a usos potencialmente peligrosos.

En 2023, el Future of Life Institute, liderado por Tegmark, instó a las empresas a pausar el desarrollo de sistemas de IA que puedan igualar o superar la inteligencia humana, hasta establecer medidas de control adecuadas. Aunque esta petición no se ha materializado, la discusión sobre los riesgos de la IA ha ganado relevancia en los últimos meses.

---

Silvia Cabrero Díez is a Spanish journalist specializing in technology and cybersecurity. She currently works as an editor at Computer Hoy, where she has published numerous articles on artificial intelligence, electronic devices, and technological trends.
Computer Hoy +3

In addition to her work at Computer Hoy, Cabrero Díez has collaborated with other digital media outlets such as Xataka and Hobby Consolas, focusing on topics related to technology and science. Computer Hoy +2

In her free time, she loves reading and watching series and movies. Her journalistic approach is characterized by a clear and accessible style, aimed at a general audience interested in technology. Xataka Android