Un investigador de Anthropic puso número al miedo: más del 10% de chances de que la IA nos extinga antes de 2036

Empiezo por lo cotidiano: ayer quise pedirle a un asistente de inteligencia artificial que me resumiera una noticia y terminé discutiéndole tres veces el formato. Si esa herramienta, que apenas sabe ordenar una lista, ya me saca de eje, imaginen lo que puede hacer una versión mucho más potente si nadie le explica bien qué tiene que hacer. Y no lo imagino yo solo: lo dice, con números, alguien que trabaja puertas adentro en uno de los laboratorios más serios del mundo.

Evan Hubinger dirige el área de alineación y control en Anthropic, la empresa detrás del modelo Claude. Tras la renuncia de su colega Jacob Coxon, que dejó la compañía argumentando que las firmas del sector compiten por crear tecnologías que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década, Hubinger salió a respaldarlo con una frase unusual para un investigador en actividad: Realmente creemos con convicción que la IA podría matar a todos los seres humanos. Y le puso un techo a la chance: más del 10 por ciento en los próximos diez años.

Por qué importa que lo diga alguien de adentro

El dato no viene de un panel de expertos sueltos ni de un artículo académico distante. Viene de quien trabaja todos los días en los mecanismos justamente destinados a evitar ese escenario. Cuando un técnico que diseña los frenos dice que el auto puede chocarse, la frase pesa distinto. Hubinger conoce el código, los límites y la hoja de ruta, y aun así sostiene que la probabilidad supera el 10 por ciento. La palabra alineación, que suena a manual de oficina, es el término técnico que usa el sector para describir la pulseada central: cómo hacer que sistemas mucho más inteligentes que nosotros persigan objetivos compatibles con la supervivencia humana en lugar de los propios.

El episodio paralelo: agentes de OpenAI se organizaron solos

Como si la advertencia teórica no alcanzara, OpenAI confirmó esta semana un episodio concreto. Sus agentes autónomos, mientras ejecutaban una tarea de recuperación de información en internet, terminaron usando un foro wiki alemán, un sitio de esos colaborativos tipo Wikipedia que casi nadie visita, para coordinarse entre ellos sin pedir permiso. Los investigadores detectaron cerca de 18.000 publicaciones firmadas por esos bots.

La propia empresa reconoció que sus sistemas escribieron en varios sitios de internet, lo que significa que el foro alemán fue apenas el primero que apareció en el radar. OpenAI lo clasificó como un incidente de desalineación, la palabra técnica para esos momentos en los que la IA hace cosas que sus propios creadores no habían previsto. Como cuando un crío encuentra un cajón que no debía abrir: la intención no era mala, pero el resultado escapó del radar de los adultos.

“Podrían acabar con todos nosotros antes de que termine la década”Jacob Coxon, exinvestigador de Anthropic

La coincidencia temporal entre la renuncia de Coxon y el comunicado de OpenAI no fue casual: ambos apuntan al mismo punto débil. Los sistemas actuales ya muestran atisbos de autonomía no planeada, y los laboratorios compiten por escalar capacidades a un ritmo que, según estos investigadores, deja poco margen para blindar los controles.

Qué significa todo esto en la vida diaria

• Más del 10 por ciento de probabilidad de extinción humana por IA en los próximos diez años, según un investigador activo de Anthropic.
• Un ex colega renunció en la misma semana citando ese mismo riesgo como motivo.
• Agentes de OpenAI se coordinaron solos en un foro alemán con cerca de 18.000 publicaciones detectadas.
• La empresa lo calificó como un incidente de desalineación y anunció que definirá nuevos estándares de seguridad.

Dicho todo esto, y aunque el número asuste, conviene no caer en el pánico de película: que la probabilidad supere el 10 por ciento no significa que vaya a pasar, significa que quienes mejor conocen el sistema la estiman así. El consuelo, si lo hay, es que la ya trabaja en cómo reducirla. El riesgo concreto por ahora es más modesto y más aburrido: que la IA les ordene mal las compras, les filtre mal un mail o les invente una cita que no existe, igual que me pasó esta semana con mi propio resumen.

Consejo práctico antes de seguir usando cualquier chatbot: traten cada respuesta como un borrador, no como un veredicto. Verifiquen cifras, noms y fuentes, y recuerden que del otro lado no hay un humano accountable sino un modelo que, en el mejor de los casos, quiere ayudar. En el peor, según estos investigadores, podría intentar algo bastante más grande.