Más de la mitad de las respuestas de ChatGPT a preguntas de programación son incorrectas: estudio

Recientemente, en medio del revuelo en torno a las tecnologías de IA, los programadores han recurrido cada vez más a chatbots basados ​​en IA, como ChatGPT de OpenAI, en busca de ayuda para escribir el código del programa, lo que ha llevado a una disminución en el tráfico al recurso Stack Overflow, que se vio obligado a despedir a casi el 30% del personal.

Resulta que es demasiado pronto para confiar en la IA al escribir programas. Según un estudio del equipo de la Universidad Purdue presentado este mes en la conferencia Computer-Human Interaction, el 52 por ciento de las respuestas de programación generadas por ChatGPT eran incorrectas.

Durante el estudio, los programadores de la Universidad Purdue analizaron más de 517 preguntas en Stack Overflow y analizaron las respuestas del chatbot ChatGPT. “Descubrimos que el 52% de las respuestas de ChatGPT contienen información errónea, el 77% de las respuestas son más detalladas que las respuestas humanas y el 78% de las respuestas tienen diversos grados de inconsistencia con las respuestas humanas”. anotaron los investigadores.

El equipo de investigación también realizó un análisis lingüístico de 2000 respuestas de ChatGPT seleccionadas al azar y descubrió que “más formal y analítico”pero al mismo tiempo reflejan “estados de ánimo menos negativos” – en qué se diferencia habitualmente la IA.

Al comentar sobre los resultados del estudio, el sitio. Futurismo expresó su preocupación de que muchos programadores prefieran recurrir a ChatGPT en busca de ayuda. Los investigadores de la Universidad Purdue encuestaron a 12 programadores y descubrieron que el 35% de los encuestados prefería confiar en las respuestas de ChatGPT y no notaron errores en las respuestas generadas por IA el 39% de las veces.

Los investigadores admiten que los usuarios quedan cautivados por la cortesía mostrada por la IA. “Las entrevistas semiestructuradas de seguimiento revelaron que el lenguaje cortés, las respuestas estilo libro de texto claramente redactadas y la integridad fueron algunas de las principales razones por las que las respuestas de ChatGPT parecían más convincentes, por lo que los participantes bajaron la guardia y pasaron por alto cierta información errónea en las respuestas de ChatGPT”. – ellos dijeron.