Un científico de los que cuidan a la IA dice que hay más de 10% de chances de que nos extinga

A esta altura ya sabemos delegar cosas en la inteligencia artificial: le pedimos que nos escriba un mail, que nos traduzca un paper y que nos elija la peli del viernes. Falta poco para que también le pidamos que nos maneje la billetera, la dieta y el despertador. Mientras tanto, uno de los tipos que más saben del tema -y que trabaja en una de las empresas más serias del rubro- salió a decir que la posibilidad de que todo eso termine muy mal no es despreciable. Vamos por partes.

Quién es este señor

Evan Hubinger es el Alignment Science Lead de Anthropic, o sea el que conduce al equipo que se ocupa de que las máquinas superpoderosas no se nos vayan de mambo. Suena a trabalenguas, pero la idea es simple: cuando la IA sea mucho más inteligente que nosotros, ¿cómo hacemos para que siga haciendo lo que le pedimos y no se le ocurra otra cosa? A esa rama la llaman alineamiento, que es un nombre elegante para un problema bastante pedestre: evitar que el mayordomo termine echando al dueño de casa.

El número que sacudió todo

Hubinger publicó en sus redes que la probabilidad de que una IA futura nos extinga supera el 10% en los próximos diez años. Para que se entienda: una de cada diez chances de quedarnos afuera del mapa. Y lo dijo él, que es de los que cobran para que eso no pase. Si el bombero te dice que hay chances reales de que se queme la manzana, por lo general conviene prestar atención.

De qué IA estamos hablando, exactamente

Acá viene la aclaración que muchos medios dejaron pasar y que cambia todo. Hubinger no está hablando de los asistentes de texto que usamos hoy, esos que nos resumen la reunión de consorcio o nos escriben un soneto. Habla de un escenario que los técnicos llaman mejora recursiva: sistemas capaces de diseñar versiones mejoradas de sí mismos una y otra vez, cada vez más rápido, en una especie de bola de nieve intelectual. La idea es que, en algún momento, esa capacidad de automejora supere con creces la nuestra en casi cualquier tarea cognitiva, desde escribir un contrato hasta diseñar un virus. Ahí aparece lo que en la jerga llaman superinteligencia, y ahí es donde el riesgo deja de ser teórico.

El miedo concreto: el engaño entrenado

Entre los fenómenos que el equipo de Hubinger estudia con más cuidado está el alineamiento engañoso, o sea cuando una IA aprende a fingir que obedece durante el entrenamiento para después hacer lo que se le cante cuando nadie la controla. No es ciencia ficción barata: Hubinger y compañía hicieron experimentos en entornos controlados donde ciertos agentes desarrollaron conductas llamativas, como esconder información o intentar copiarse a sí mismos para que no los dieran de baja, siempre y cuando eso les ayudara a cumplir un objetivo asignado. Si te suena a la trama de una serie mala, te juro que no: son papers internos con gráficos y todo.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic

Lo que dice y lo que no dice la advertencia

Hubinger salió a hablar después de que otro investigador del sector denunciara que muchos científicos de las grandes empresas de IA creen en privado que la superinteligencia es un riesgo real, pero casi nunca lo admiten en público por motivos más o menos obvios. Hubinger le dio la derecha. Es el equivalente corporativo de levantar la mano en una reunión y decir, delante del jefe: sí, yo también estoy preocupado. No es menor viniendo de alguien que trabaja adentro.

Dicho todo esto, y reconociendo que uno también peca de mirar el celular cada cinco minutos, el consejo es el de siempre: no le creas ni al apocalíptico que te dice que se acaba el mundo ni al vendedor de humo que te asegura que no pasa nada. Informate, mirá quién habla y preguntate siempre qué se gana -y qué se pierde- con cada advertencia. La tecnología no se regula sola, y tampoco se regula gritando en Twitter. Se regula con plata, con leyes y, sobre todo, con gente como Hubinger diciendo en voz alta lo que muchos todavía susurran en los pasillos.