Dos de los modelos de IA más relevantes en este momento, Copilot y ChatGPT, se han enfrentado a un desafío que parecía que iba a ser sencillo: una partida contra ‘Video Chess’ en la Atari 2600, un juego de 1979 que ocupaba tan solo 4 KB. El resultado fue una humillante derrota, para sorpresa de muchos.
Esta historia ha sido compartida en Linkedin por el ingeniero Citrix Caruso que ya el mes pasado nos mostraba una prueba similar únicamente con ChatGPT. Ahora parece que le ha querido dar una segunda oportunidad. Y es que a pesar de que la IA más moderna pueda tener mucha complejidad a sus espaldas, así como una gran capacidad para procesar el lenguaje, puede ser superado por un oponente de hace 50 años.
El desafío: crónica de un fracaso en dos actos
Este desafío comenzó cuando en una conversación con ChatGPT, el chabot de OpenAI se jactó de ser un «jugador fuerte por derecho propio y fácilmente superaría al Video Chess de Atari. Caruso, intrigado, decidió poner a prueba esta afirmación y usó un emulador de Atari para ejecutar el juego de ajedrez. Y aquí comenzó la partida.
El resultado fue decepcionante. Durante un combate de 90 minutos en el nivel principiante, ChatGPT no solo confundió las piezas, sino que perdió constantemente la noción de cómo estaban las fichas en el tablero. La derrota fue inevitable, como ya había ocurrido en el pasado.
Lejos de rendirse, Caruso pensó: «Imaginemos la cabeza de todos explotando si un producto de Microsoft supera a ChatGPT’. Así que decidió repetir el experimento con Copilot. La IA de Microsoft también se mostró confiada, asegurando que, a diferencia de su rival, si podía realizar un seguimiento del tablero. La realidad fue muy diferente. Caruso le pidió que renderizara el tablero tal y como lo ‘imaginaba’ y la imagen no coincidía con la partida real.
La actualización de Copilot fue más vergonzosa que con ChatGPT. Según Caruso:
«En el séptimo turno, había perdido dos peones, un caballo y un alfil —a cambio de un solo peón— y ahora me estaba ordenando que colocara su reina justo frente a la reina de Atari para ser capturada en el siguiente turno»
Este tipo de experimentos, aunque anecdóticos, es una poderosa metáfora de la situación actual de la inteligencia artificial. Mientras las grandes tecnológicas nos bombardean con noticias sobre cómo la IA va a reemplazar a los programadores en un futuro, la realidad es muy diferente. No es capaz de superar a una ‘IA’ de hace casi 50 años.
Cuando se les pone a prueba en tareas que requieren lógica abstracta y memoria persistente, estos sistemas fallan estrepitosamente. Tanto Copilot como ChatGPT no «piensan» ni «aprenden» de una manera significativa. En esencia, son sistemas avanzados para predecir la siguiente palabra que mostrar o el píxel que generar en una imagen. Pero cuando se habla de comprender reglas y un contexto y llevarlo durante un buen rato, parece que todo cae por su propio peso.
De esta manera… si la IA no es capaz de distinguir una torre de un alfil en un juego de 8 bits, ¿por qué deberíamos confiarle nuestra información personal o que tome decisiones de lo que hacemos? Sin duda esta puede ser una prueba muy buena que se puede enfrentar los futuros modelos para saber cómo se comportan.
Imágenes | JESHOOTS.COM Felix Mittermeier
Vía | Windows Central
–
La noticia
Han enfrentado a ChatGPT y Copilot con una consola de hace 50 años en una partida de ajedrez: el resultado sigue siendo pésimo
fue publicada originalmente en
Genbeta
por
José Alberto Lizana
.
