Sale una nueva inteligencia artificial (IA) al mercado, las redes sociales y comunidades especializadas alucinan con sus nuevas capacidades, y al tiempo, comienza un ciclo donde los usuarios que más conocen los modelos empiezan a sentir decepción. Según su experiencia, lo que hasta ayer conseguían sin problemas vía chatbot o API, hoy se queda en un intento vago.
Modelos «súper rotos». Cuando se lanzó, Gemini 2.5 Pro cosechó enormes elogios en redes sociales. El modelo era muy rápido, de los más baratos, tenía una ventana de contexto enorme y era una bestia en programación. Sin embargo, desde hace algunas semanas, afloran comentarios en comunidades como Reddit que describen un modelo a menudo «inutilizable».
Un modelo, que según describen funcionó increíblemente bien entre marzo y junio, pero que tras volver a usar ahora a finales de julio soltaba «absolutas tonterías«. Mostró una conversación con Gemini resumida por el asistente en el que éste no paraba de reconocer errores. Otros usuarios también muestran pruebas de comportamientos molestos como no acabar las respuestas.
Son solo ejemplos recientes referentes a la IA de Google, pero hasta modelos tan alabados como Claude han recibido en distintos momentos críticas similares, incluso recientemente con Claude Code.
La sospecha. Muchos de los usuarios que han criticado los distintos modelos hablan de modelos recortados: «Mi suposición es que redujeron el tamaño del modelo», decía un usuario de Claude 3.5 en Hacker News. La sospecha es que, con el tiempo, y en momentos de máxima demanda, las compañías comienzan a usar versiones destiladas de los modelos de IA que no son tan inteligentes, porque tienen menos recursos dedicados para responder a las indicaciones.
El desarrollador Ian Nuttal también observó la degradación de Claude Code, y afirmaba que pagaría para tener una buena versión que nunca se redujera ni degradara en horas pico. Alex Finn, también desarrollador, expresaba igualmente frustración: «Esto me ha pasado con TODAS las herramientas de programación de IA que he usado».
No es solo una sensación. En 2023, muchos usuarios sintieron que GPT-4, el modelo más avanzado de OpenAI en aquel momento, se estaba volviendo tonto. La compañía afirmaba que al contrario de lo que la comunidad denunciaba, hacían cada nueva versión «más inteligente que la anterior».
Sin embargo, un paper académico acabó con la especulación: expertos de Berkeley y Stanford comprobaron una espectacular caída de precisión de GPT-4 entre sus variantes de marzo y junio de 2023. En programación, por ejemplo «el porcentaje de respuestas generadas que son directamente ejecutables se redujo del 52,0 % en marzo al 10,0 % en junio». Otros estudios estadísticos de finales de 2023 también mostraron una pérdida importante de calidad entre el modelo de diciembre y el de mayo.
OpenAI y Anthropic confirmaron problemas. En diciembre de 2023, OpenAI reconoció que habían recibido el feedback sobre el asistente volviéndose más vago. Afirmaban que no habían actualizado el modelo desde un mes antes, y que no era intencional, reconociendo el problema y explicando que «el comportamiento del modelo podía ser impredecible».
Algunos usuarios llegaron a idear (y lograr, según su experiencia) métodos para incentivar al modelo a hacerlo mejor, como la sorprendente promesa de darle un propina o explicarle al chatbot que no tenían dedos para escribir el código.
Más recientemente, Anthropic reconoció a TechCrunch tener problemas en Claude Code, como tiempos de respuesta más lentos, ante quejas de los usuarios de haber limitado el uso sin haber informado de forma abierta. Usuarios que antes realizaban tareas con normalidad y ahora no podían progresar.
En Xataka | He probado Dia, el navegador que reemplaza a Arc y lo apuesta todo a la IA. No ha salido como esperaba
–
La noticia
Hay personas que sienten que las mejores IA se vuelven tontas y vagas con el tiempo. Es más que una sensación
fue publicada originalmente en
Xataka
por
Antonio Sabán
.
