Max Tegmark y Yoshua Bengio advierten que las IA más inteligentes que los humanos con capacidad de actuar de forma autónoma podría ser peligrosas debido a la falta de controles claros
La inteligencia artificial general podría convertirse en un problema serio si no se establece un control adecuado sobre su desarrollo. Así lo advierten dos de los mayores expertos en IA, Max Tegmark, del Instituto Tecnológico de Massachusetts (MIT), y Yoshua Bengio, de la Universidad de Montreal, quienes han alertado sobre el peligro de construir sistemas demasiado avanzados.
El crecimiento acelerado de la inteligencia artificial ha llevado a la creación de sistemas denominados «agentes de IA», diseñados para actuar con mayor autonomía y tomar decisiones sin intervención humana directa.
Empresas líderes en el sector tecnológico promueven esta evolución con la promesa de mejorar la productividad y facilitar la vida cotidiana. Sin embargo, Bengio advierte, en el podcast Beyond The Valley de CNBC, que este enfoque implica un riesgo importante, el otorgar a la IA la capacidad de actuar por su cuenta sin una supervisión efectiva.
Según el investigador, la clave del problema radica en la agencia de la IA, es decir, su capacidad para establecer y perseguir objetivos propios. «Estamos creando una nueva forma de inteligencia en nuestro planeta sin saber si sus decisiones serán compatibles con nuestras necesidades», señala Bengio.
Esta incertidumbre es lo que lleva a los expertos a pedir una regulación estricta antes de que la tecnología avance demasiado.
El mayor temor de los especialistas no es solo la autonomía de estos sistemas, sino el potencial desarrollo de mecanismos de autopreservación dentro de la IA. Bengio se pregunta: «¿Queremos competir con entidades que son más inteligentes que nosotros? No es una apuesta muy tranquilizadora, ¿verdad? Por eso tenemos que entender cómo la autopreservación puede surgir como un objetivo en la IA».
Este escenario podría derivar en una falta de control sobre los sistemas avanzados, lo que haría que su evolución sea impredecible.
La posibilidad de que una IA busque su propia supervivencia o tome decisiones que no coincidan con las necesidades humanas plantea dilemas éticos y técnicos. Aunque por el momento no existe una inteligencia artificial que posea verdadera conciencia o intenciones, la tendencia actual hacia sistemas cada vez más autónomos genera preocupación entre los investigadores.
Herramientas de IA en lugar de una inteligencia artificial autónoma:
Max Tegmark propone una solución diferente al desarrollo de agentes autónomos, como centrarse en la creación de «IA herramienta». Este concepto se basa en diseñar sistemas inteligentes con propósitos específicos y bajo un marco de control estricto, en lugar de permitirles operar con plena autonomía.
Ejemplos de este enfoque incluyen herramientas avanzadas para la medicina, como sistemas capaces de sugerir tratamientos contra el cáncer, o vehículos autónomos diseñados con protocolos de seguridad que garanticen el control humano en todo momento. Tegmark cree que, con normas de seguridad adecuadas, la IA puede evolucionar sin convertirse en un riesgo.
«Creo que, siendo optimista, podemos tener casi todo lo que nos entusiasma de la IA… si simplemente insistimos en tener algunos estándares básicos de seguridad antes de que la gente pueda vender sistemas de IA potentes», sostiene Tegmark.
El problema es que actualmente no existen estándares globales que regulen el desarrollo de estos sistemas, lo que deja la puerta abierta a usos potencialmente peligrosos.
En 2023, el Future of Life Institute, liderado por Tegmark, instó a las empresas a pausar el desarrollo de sistemas de IA que puedan igualar o superar la inteligencia humana, hasta establecer medidas de control adecuadas. Aunque esta petición no se ha materializado, la discusión sobre los riesgos de la IA ha ganado relevancia en los últimos meses.
Silvia Cabrero Díez is a Spanish journalist specializing in technology and cybersecurity. She currently works as an editor at Computer Hoy, where she has published numerous articles on artificial intelligence, electronic devices, and technological trends. Computer Hoy +3
In addition to her work at Computer Hoy, Cabrero Díez has collaborated with other digital media outlets such as Xataka and Hobby Consolas, focusing on topics related to technology and science. Computer Hoy +2
In her free time, she loves reading and watching series and movies. Her journalistic approach is characterized by a clear and accessible style, aimed at a general audience interested in technology. Xataka Android
Las grandes tecnológicas hacen caso omiso a DeepSeek y a sus inversores: van a gastar en inteligencia artificial cerca de 290.000 millones de euros en 2025.
Durante sus recientes presentaciones de resultados trimestrales, las grandes tecnológicas han confirmado su intención de seguir adelante con las inversiones masivas en desarrollo de modelos y construcción de infraestructuras de IA.
Cuando DeepSeek saltó a la palestra hace ya unas semanas y demostró —publicación de artículo académico mediante— que era posible desarrollar y llevar a cabo el entrenamiento de un modelo de inteligencia artificial (IA) tan potente como los más punteros de OpenAI, todo parecía indicar que las Big Tech iban a tomar nota.
Si esta startup china podía hacerle la competencia a la desarrolladora de ChatGPT utilizando unos microchips de Nvidia considerablemente menos potentes que los que la empresa de Jensen Huang está tratando de comercializar hoy, las grandes compañías del sector tecnológico podían cerrarle el grifo a la inversión en IA.
Además, el modelo desarrollado por la compañía de Liang Wenfeng parecía haber llegado en el momento justo para que eso fuese así: unos días antes de que tuviesen lugar las presentaciones de resultados trimestrales de las principales firmas de tecnología, en las que sus accionistas podían cuestionarles por seguir invirtiendo tanto dinero en inteligencia artificial cuando DeepSeek había demostrado que no era necesario.
Sin embargo, parece que ni los inversores especializados en este sector ni la propia startup china han conseguido girar el timón del gasto masivo en IA.
Como recoge Financial Times, las cuatro principales empresas del sector tecnológico en Estados Unidos —Alphabet (Google), Amazon, Meta (Facebook) y Microsoft— tienen previsto invertir en inteligencia artificial más de 300.000 millones de dólares (unos 289.000 millones de euros al tipo de cambio actual) durante el año 2025.
Los 300.000 millones se deberían en gran parte a Amazon, que ha superado a sus rivales directos y ha anunciado un gasto previsto para este año de más de 100.000 millones de dólares (96.000 millones de euros) en infraestructura de IA. Por ejemplo, para la construcción de nuevos centros de datos para filial, Amazon Web Services o AWS.
Según ha informado el medio británico, la inversión en inteligencia artificial de estas cuatro compañías ya aumentó un 63% el año pasado, hasta alcanzar niveles históricos, pero ahora los ejecutivos de estas organizaciones han prometido acelerar todavía más su gasto en IA, ignorando así las preocupaciones de los accionistas respecto a las enormes sumas que se están destinando a esta incipiente tecnología.
Cabe recordar aquí que, tanto Microsoft como la matriz de Google (Alphabet) han llegado a perder estos días hasta 200.000 millones de dólares (192.000 millones de euros) de valor de mercado tras haber presentado unos resultados financieros más débiles de lo esperado en sus respectivas divisiones de computación en la nube.
El director del fondo de crecimiento concentrado de Estados Unidos en Alliance Bernstein, Jim Tierney, ha declarado a Financial Times que «el entusiasmo desenfrenado en todo el sector por los Siete Magníficos ha sido reemplazado por focos de escepticismo y ha creado algunas situaciones de a ver, enséñame«.
«Las preocupaciones que he tenido desde el verano se han magnificado hoy», ha reconocido este analista en bolsa, que ha añadido: «Si vemos —o cuando veamos— la aceleración del crecimiento de la nube en Google o Azure [de Microsoft], o veamos mejorar la aceptación de Copilot, los inversores se sentirán más cómodos invirtiendo en Alphabet o Microsoft. Mientras tanto, los modelos de IA más baratos y comercializados probablemente amplificarán las preocupaciones de los accionistas»
Ramón Armero es periodista y escritor, colaborador de Business Insider España. Ha colaborado con otros periodistas como Hugh Langley y Hasan Chowdhury en artículos relacionados con la inteligencia artificial y las empresas tecnológicas.
Ray Kurzweil ha acertado muchas predicciones que años atrás parecían del todo inverosímiles. Es uno de los grandes profetas tecnológicos del mundo y asegura que a partir de 2032 dejaremos de envejecer gracias a la IA.
La idea de la inmortalidad ha sido un sueño de la humanidad desde tiempos inmemoriales. Pero, según Ray Kurzweil, uno de los futuristas más influyentes del mundo y actual investigador principal de Google, la posibilidad de detener el envejecimiento y revertir la edad biológica podría estar a solo unos años de convertirse en realidad.
Kurzweil, quien ha acertado en muchas de sus predicciones tecnológicas del pasado, afirma que la convergencia entre la Inteligencia Artificial (IA), la biotecnología y la nanotecnología permitirá que, a partir de 2032, por cada año que vivamos, ganemos otro, logrando así la llamada “Velocidad de Escape de la Longevidad”.
La IA como la clave para la inmortalidad:
En una reciente entrevista con El País, Kurzweil detalla su visión sobre el futuro de la humanidad y cómo la IA jugará un papel clave en detener el envejecimiento y mejorar la biología humana. Según el tecnólogo, la ciencia ya está avanzando hacia una etapa en la que la IA será capaz de desarrollar soluciones médicas personalizadas en tiempo real, acelerando el descubrimiento de fármacos y permitiendo que la longevidad humana aumente exponencialmente.
“Ahora, cuando vives un año, pierdes otro de tu longevidad. Pero alrededor de 2032, por cada año que vivas, ganarás otro. Tu salud retrocederá en el tiempo”, afirmó Kurzweil.
Este planteamiento está basado en lo que él llama la “Ley de Rendimientos Acelerados”, la cual indica que el progreso tecnológico sigue una curva exponencial y no lineal. Es decir, los avances que antes tardaban décadas en desarrollarse ahora ocurren en cuestión de años o incluso meses.
Nanorobots en el cuerpo humano:
El siguiente paso. Otro de los pilares que sustentan la predicción de Kurzweil es el uso de nanorobots en la medicina, un tema que abordó en su libro The Singularity is Nearer y que ha sido analizado en un artículo publicado por Popular Mechanics.
Los nanorobots son unas esferas de sílice de media micra de diámetro envueltas por muchísimas enzimas de ureasa. Estas reaccionan con la urea presente en nuestra orina y producen movimiento.
Según el futurista, en las próximas dos décadas los nanorobots podrán circular por el torrente sanguíneo humano, reparando células dañadas, eliminando toxinas y rejuveneciendo órganos y tejidos. “Los nanobots podrán mantener el cuerpo en un estado de salud óptimo indefinidamente. Incluso podrán reemplazar por completo los órganos biológicos si es necesario”, explica en Popular Mechanics.
En su visión del futuro, el cuerpo humano podría estar compuesto en más de un 99,9% por tecnología, permitiendo incluso la fusión total entre el cerebro y la nube.
¿Realidad o ciencia ficción?:
Predicciones acertadas. Si bien muchas de sus predicciones han generado escepticismo en la comunidad científica, lo cierto es que muchas de sus afirmaciones pasadas han terminado cumpliéndose. En su libro La Singularidad está cerca, publicado en 2005, Kurzweil predijo que en 2029 la Inteligencia Artificial superaría a la inteligencia humana, algo que hoy en día parece cada vez más cercano con el avance de modelos como GPT-4, Gemini o DeepMind.
El investigador insiste en que la humanidad está en camino de trascender sus limitaciones biológicas y que, en cuestión de dos décadas, podríamos alcanzar un punto en el que morir de vejez ya no sea una inevitabilidad, sino una opción.
Marc Mestres es periodista especializado en redes sociales y contenido viral en internet. Escribe para E-Notícies en la sección «Lo +», donde cubre tendencias populares y temas virales.
Nacido en Sant Feliu de Llobregat en 1991, Mestres es licenciado en Periodismo por la Universidad Ramon Llull (URL) y tiene un Máster en Marketing Digital por la Universidad Internacional de La Rioja (UNIR). Comenzó su carrera con prácticas en Catalunya Ràdio y, desde entonces, ha colaborado con varios medios de comunicación destacados, como Radio Marca Barcelona, El Nacional y Mundo Deportivo. Actualmente, gestiona el contenido de Cribeo en La Vanguardia.
Además de su trabajo en medios digitales, Mestres ha colaborado en artículos sobre temas tecnológicos, como las predicciones de Ray Kurzweil sobre la inteligencia artificial y la longevidad humana.
«Atacando directamente el poder y la influencia de los gigantes tecnológicos, los europeos aún pueden crear una alternativa. Sólo así la tecnología podrá seguir contribuyendo a nuestra prosperidad común, en lugar de convertirse en una herramienta de dominación que permita a una minúscula élite avasallar al resto de la humanidad.»
Piezas de doctrinas Poderes de la IA
Mientras los líderes mundiales se reúnen en París hoy y mañana para la Cumbre de Acción sobre la IA, nos encontramos ante un momento crucial en la trayectoria de la inteligencia artificial. El conjunto de tecnologías comúnmente denominadas IA ya ha transformado las industrias y promete remodelar las sociedades. Pero la pregunta crucial sigue siendo: ¿en interés de quién se está produciendo esta transformación y qué tipo de futuro está construyendo?
El biólogo Theodosius Dobzhansky pronunció esta famosa frase: «Nada en biología tiene sentido si no es a la luz de la evolución». En la era de la IA, podríamos decir que «nada tiene sentido excepto a la luz de las luchas de poder». Esta profunda rivalidad determina quién controla la IA, a qué intereses sirve y qué valores guían su desarrollo. En la actualidad, la mayor parte de este poder se concentra en manos de unos pocos gigantes tecnológicos.
La historia nos enseña los peligros de una excesiva concentración de poder. En la Europa medieval, los avances en la agricultura aumentaron la productividad, pero apenas mejoraron la vida de los trabajadores. La nobleza y el clero, que poseían los bienes y controlaban la riqueza, disfrutaron de todos los frutos de la mejora de la tecnología y la organización de la agricultura, mientras los trabajadores seguían luchando en la pobreza. Es una pregunta que también se plantea hoy. El camino que tome la inteligencia artificial determinará también el reparto de los beneficios económicos entre la población y configurará el tejido de las sociedades en las que vivimos.
La historia nos enseña los peligros de la concentración del poder.
Dos direcciones principales son bastante obvias.
La primera es la búsqueda incesante de la inteligencia artificial general 1, y luego de la superinteligencia, en la que las máquinas superan a los humanos en casi todas las tareas. Aunque esta visión puede suscitar temores de una toma del poder por parte de las máquinas, la principal amenaza en este escenario procede en realidad del poder incontrolado de quienes diseñan y controlan estos sistemas. Un futuro así aumentaría drásticamente la desigualdad. Al privarnos de toda capacidad de acción, también disminuiría y diluiría lo que significa ser humano.
Nos podemos preguntar si la inteligencia artificial general es realmente alcanzable en un futuro próximo. Incluso si lo fuera, es poco probable que traiga consigo los aumentos de productividad prometidos. Un escenario más probable es, de hecho, que los sistemas de IA inferiores sustituyan a los trabajadores en tareas en las que aportan experiencia y perspicacia —socavando el valor económico en lugar de crearlo—.
El segundo camino es lo que mis colegas y yo llamamos IA «pro-trabajadores» 2 o «pro-humano». Esta visión considera la IA como una herramienta para capacitar a los individuos y hacer que los trabajadores sean más productivos proporcionándoles información contextual y fiable que complemente sus conocimientos. La prioridad es dar a los individuos el control sobre sus propios datos 3 y permitirles realizar una gama más amplia de tareas con mayor confianza y autonomía.
A diferencia de la primera, esta segunda visión no es una quimera.
La IA ya puede crear sistemas que ayuden realmente a trabajadores y ciudadanos. Pero este potencial estará infraexplotado si se basa en una arquitectura diseñada para imitar y superar a los humanos en lugar de apoyarlos. En lugar de crear herramientas para mejorar la toma de decisiones, muchas empresas parecen preocupadas por desarrollar modelos que produzcan pastiches completamente huecos —u otras imitaciones superficiales y sin vida—. Para preservar lo que nos hace humanos —y dejar la creación en el lugar que le corresponde—, la IA debe liberarse de los grilletes de la mera imitación. Debe proporcionar consejos claros e interpretables a los responsables humanos, para ayudarles a tomar decisiones más informadas.
La IA actual ya puede crear sistemas que ayuden realmente a los trabajadores y a los ciudadanos.
Hasta ahora, la trayectoria seguida por la industria de alta tecnología refleja decisiones deliberadas, arraigadas en motivos tanto económicos como ideológicos.
Desde el punto de vista ideológico, la industria está motivada por sueños de inteligencia artificial general y superinteligencia —y de poder remodelar la propia sociedad gracias a nuevas tecnologías hegemónicas—.
Desde el punto de vista económico, las Big Tech han prosperado con modelos que generan beneficios masivos mediante la automatización de tareas 4, la reducción de los costes de la mano de obra 5 y el monopolio de la publicidad digital, con escaso interés por capacitar a los trabajadores o fortalecer las democracias. Nuevos modelos empresariales más beneficiosos para la sociedad podrían sustituir este paradigma si se diera una oportunidad real a las nuevas empresas.
Por desgracia, las condiciones actuales del mercado facilitan el dominio de las empresas ya establecidas, porque disponen de todo el efectivo —para comprar o enterrar competidores—, todos los datos, bases de clientes colosales y la complicidad de unos legisladores que parecen haber renunciado a la política de competencia.
Si el mundo tenía la ilusión de que el poder de las grandes empresas tecnológicas se vería atemperado por la regulación del Gobierno estadounidense, las imágenes de los oligarcas tecnocesaristas en la toma de posesión de Donald Trump han echado por tierra esa idea.
Protegidas y apoyadas por la nueva administración estadounidense, las empresas de la Big Tech tienen una orientación clara en su implacable búsqueda de la IA: planean utilizar la tecnología como una herramienta para establecer su dominio y remodelar los mercados globales para servir a sus propios intereses.
La IA debe ir más allá de la imitación. Debe proporcionar consejos claros e interpretables a los responsables humanos de la toma de decisiones, para ayudarles a tomar decisiones más informadas.
Pero no se trata de rendirse. La historia no está escrita.
En un momento en que las relaciones entre Estados Unidos y la Unión Europea son cada vez más tensas, la Cumbre de París ofrece a los europeos la oportunidad de recuperar el control de su futuro, empezando por la IA.
Europa no puede convertirse en un consumidor pasivo de estos sistemas, diseñados sin tener en cuenta la soberanía económica, la capacidad de innovación o los valores democráticos. La reciente aparición del LLM de DeepSeek demuestra que la innovación aún puede imponerse al tamaño —si creamos las condiciones para ello—.
Atacando directamente al poder y la influencia de los gigantes tecnológicos—por ejemplo, mediante la aplicación de la legislación sobre competencia de manera sistemática y estratégica— y adoptando una visión de la IA centrada en lo que nos hace humanos, los gobiernos europeos aún pueden crear una alternativa: un entorno verdaderamente competitivo.
Sólo entonces podrá la tecnología seguir contribuyendo a la prosperidad de los trabajadores y de los ciudadanos, en lugar de convertirse en una herramienta de dominación que permita a una minúscula élite avasallar al resto de la humanidad.
Daron Acemoğlu, « The Simple Macroeconomics of AI« , MIT, 5 de abril de 2024.
Daron Acemoğlu, David Autor, Simon Johnson, « Can we Have Pro-Worker AI ? Choosing a path of machines in service of minds« , Policy Memo, Shaping the Future of Work, MIT septiembre de 2023.
Katharine Miller, « Privacy in an AI Era : Comment protégeons-nous nos informations personnelles ?«, Universidad de Stanford, 18 de marzo de 2024.
Richie Koch, « Big Tech has already made enough money in 2024 to pay all its 2023 fines« , Proton, 8 de enero de 2024.
Camilla Hodgson, « Tech companies axe 34,000 jobs since start of year in pivot to AI« , The Financial Times, 11 de febrero de 2024.
La cumbre de París sobre la Inteligencia Artificial solo es una representación de la batalla encubierta por el dominio de la tecnología del futuro
La cumbre de inteligencia artificial en París (Francia) tenía, en teoría, un propósito noble: establecer un marco regulatorio ético, inclusivo y seguro para la IA para “reforzar la cooperación internacional y promover la coordinación en la gobernanza internacional”.
Sin embargo, fue la clara representación de una guerra encubierta entre las grandes potencias por el control de la tecnología que definirá el futuro.
Las declaraciones del vicepresidente de USA JD Vance, que eludió la foto grupal del encuentro y no firmó la carta, lo confirmaron. Advirtió que Trump quiere Estados Unidos siga dominado domina la revolución de la inteligencia artificial y alertó a los aliados que se sumen a su enfoque laxo de regulación tecnológica o corren el riesgo de quedar excluidos.
“La administración Trump se asegurará de que los sistemas de inteligencia artificial más potentes se construyan en Estados Unidos, con chips diseñados y fabricados en Estados Unidos”. Estados Unidos quiere asociarse con todos ustedes… pero para crear ese tipo de confianza, necesitamos regímenes regulatorios internacionales que fomenten la creación de tecnología de IA en lugar de estrangularla”.
Incluso Europa mostró su interés por la IA al tiempo que pedía un desarrollo sostenible y garantía de que beneficie a todo el mundo. El presidente Emmanuel Macron dijo que Europa no puede permitirse depender de tecnologías extranjeras. Como respuesta Von der Lyen anunció 200.000 millones de euros en inversión para impulsar la IA en la región.
Una cantidad que, como quiso destacar Macron, es equivalente en términos de escala a los 500.000 millones de dólares del programa ‘Stargate’ que Donald Trump presentó el mes pasado para garantizar que Estados Unidos continuará haciendo la carrera en cabeza.
Los países europeos temen quedar fuera de la carrera disputada por USA y China en la fabricación de chips, los llamados modelos fundamentales y los chatbots de IA, y la energía necesaria para alimentar las supercomputadoras.
Según WSJ, Francia se apoya en la energía nuclear para anunciar nuevas instalaciones de computación de inteligencia artificial que, según dice, podrían poner al país a la par de los planes Stargate de Estados Unidos para construir centros de datos de inteligencia artificial masivos.
China el enemigo de USA:
La reciente llegada de un nuevo modelo de inteligencia artificial a precio reducido de DeepSeek, un laboratorio de investigación chino poco conocido, sorprendió a grupos de Silicon Valley como OpenAI, que pensaban que tenían una ventaja dominante.
En ese sentido Vance argumentó que rechaza la declaración conjunta de la cumbre de París porque USA nunca concretará acuerdos con gobiernos autoritarios (China firmó).
“Asociarse con ellos significa encadenar a su nación a un amo autoritario que busca infiltrarse, atrincherarse y apoderarse de su infraestructura de información”, dijo Vance, refiriéndose a CCTV y 5G como ejemplos anteriores en los que “la tecnología barata… [fue] fuertemente subsidiada y exportada por regímenes autoritarios”.
«También hemos visto cómo adversarios extranjeros hostiles han utilizado software de IA como arma para reescribir la historia, vigilar a los usuarios y censurar el discurso… Quiero ser claro: esta administración bloqueará tales esfuerzos, punto»
Sus ataques fueron un ataque apenas velado contra la influencia tecnológica de Pekín, que ya ha ido acusada de utilizar su industria para ganar control sobre la infraestructura digital de otros países, como ocurrió con la expansión de Huawei también.
Durante el mandato de Joseph Biden, Estados Unidos ha restringido las exportaciones a China de los mejores chips para entrenar a la inteligencia artificial y ha cortado el acceso de China a muchas de las máquinas necesarias para fabricar sustitutos.
Estados Unidos se aferra a su dominio, Europa lucha por no quedar fuera del jugo y China sigue desafiando las reglas en la sombra. La IA es el nuevo campa de batalla.
