En los últimos años, los programadores han acudido masivamente a chatbots como ChatGPT de OpenAI para ayudarles a programar, lo que ha afectado a lugares como Stack Overflow, que tuvo que despedir a casi el 30% de su personal el año pasado.
¿El único problema? Un equipo de investigadores de la Universidad de Purdue presentó este mes una investigación en la conferencia Computer-Human Interaction que muestra que el 52% de las respuestas de programación generadas por ChatGPT son incorrectas.
Eso es una proporción asombrosamente grande para un programa en el que las personas confían para ser preciso y exacto, subrayando lo que otros usuarios finales como escritores y profesores están experimentando: Las plataformas de IA como ChatGPT a menudo alucinan respuestas totalmente incorrectas de la nada.
Para el estudio, los investigadores revisaron 517 preguntas en Stack Overflow y analizaron el intento de ChatGPT de responderlas.
"Encontramos que el 52% de las respuestas de ChatGPT contienen información errónea, el 77% de las respuestas son más extensas que las respuestas humanas, y el 78% de las respuestas sufren de diferentes grados de inconsistencia en comparación con las respuestas humanas".
El equipo también realizó un análisis lingüístico de 2,000 respuestas seleccionadas al azar de ChatGPT y encontró que eran "más formales y analíticas" mientras mostraban "menos sentimiento negativo", el tipo de tono neutral y alegre que la IA tiende a producir.
Los programadores prefieren ChatGPT
Lo que es especialmente preocupante es que muchos programadores humanos parecen preferir las respuestas de ChatGPT. Los investigadores de Purdue encuestaron a 12 programadores, una muestra pequeña, y encontraron que prefirieron las respuestas de ChatGPT en un 35% y no detectaron errores generados por la IA en un 39%.
¿Por qué está sucediendo esto? Podría ser simplemente que ChatGPT es más educado que las personas en línea.
"Las entrevistas de seguimiento semi-estructuradas revelaron que el lenguaje educado, las respuestas articuladas y de estilo libro de texto, y la exhaustividad son algunas de las principales razones que hicieron que las respuestas de ChatGPT parecieran más convincentes, por lo que los participantes bajaron la guardia y pasaron por alto algunas informaciones erróneas en las respuestas de ChatGPT".
El estudio demuestra que ChatGPT todavía tiene fallas importantes, pero eso es un consuelo frío para las personas despedidas de Stack Overflow o para los programadores que tienen que corregir errores generados por la IA en el código.
5 razones por las que la IA no acabará con los programadores (como afirma Nvidia)
Fuente: Futurism