Uno de los problemas de los modelos de lenguaje es que hay una fecha de corte en los datos de entrenamiento, es decir, que el modelo no conoce hechos actuales que vayan más allá de esa fecha. Esto, que en ciertos sectores puede ser un problema grave, es precisamente el objetivo de Talkie-1930, un modelo de lenguaje entrenado únicamente con textos anteriores a 1930. Si alguna vez te has preguntado cómo sería hablar con alguien del pasado, hay una IA para eso.
Un modelo de lenguaje vintage. Así es como se ha bautizado a estos LLM que están entrenados con contenido histórico. Talkie-1930 es un modelo de 13.000 millones de parámetros que no tiene acceso a información moderna ni tampoco puede consultar en internet, sino que solamente ha sido entrenado con libros, periódicos y otros textos anteriores a 1930.
Para explorar el modelo, los investigadores pusieron a Claude a conversar con el modelo, evaluando sus respuestas. El modelo mostró un gran conocimiento del mundo, con muchos detalles históricos de la época, y una gran capacidad para imitar el estilo de autores victorianos como Dickens, aunque algo limitado en formatos más satíricos.
Más que un experimento cultural. Talkie es lo más parecido a hablar con alguien educado a principios del siglo XX. Esto convierte al modelo en una ventana que nos permite explorar la mentalidad y cultura de un tiempo pasado y conocer cómo se describían la sociedad, la política o la vida cotidiana de entonces. Pero más allá de la curiosidad, Talkie-1930 también funciona como un «sujeto de control» para estudiar mejor el funcionamiento de la IA y lograr avances importantes.
Prediciendo el futuro. Al estar “congelado” en 1930, Talkie permite medir mejor hasta dónde puede un modelo extrapolar y predecir el futuro solo a partir de patrones históricos, sin hacer trampa con datos posteriores. Para testear esa capacidad anticipatoria, los investigadores le mostraron hasta 5.000 descripciones de eventos históricos posteriores, tomadas de la sección «On this day» del New York Times, y midieron el grado de sorpresa del modelo.
El resultado fue que el modelo mostró más sorpresa en las décadas posteriores al corte de datos, especialmente en los 50 y los 60, pero después su grado de sorpresa se estabilizó. Según los investigadores, esto sugiere que el rendimiento predictivo va mejorando conforme el horizonte temporal es más largo, pero señalan que será necesario entrenar modelos más antiguos para poder medirlo bien.
Invención. Demis Hassabis, CEO de Google DeepMind, planteó una cuestión muy interesante en una conferencia hace poco: si una IA con un límite de conocimiento hasta 1911 podría llegar a la teoría de la relatividad que Einstein descubrió en 1915. En este sentido, modelos como Talkie-1930 son una herramienta muy interesante para observar su capacidad de generar nuevas ideas que puedan desembocar en descubrimientos.
Sin contaminación. Es uno de los problemas que tienen los modelos entrenados con grandes corpus de datos actuales, en los que suelen colarse también los propios datos de evaluación y acaba provocando que se sobreestimen sus capacidades. Con los modelos vintage no hay contaminación y eso permite poner en práctica experimentos muy concretos, como ver si es capaz de aprender a programar sin tener ningún tipo de conocimiento de informática previo. Talkie-1930 es de código abierto y está disponible en Github.
Imagen | Xataka
–
La noticia
Alguien ha creado una IA que no sabe nada de lo que pasó después de 1930, y tiene más utilidad de la que parece
fue publicada originalmente en
Xataka
por
Amparo Babiloni
.
