Los expertos en lingüística han tenido dificultades para diferenciar entre la escritura generada por IA y la escritura humana, con una tasa de identificación positiva de solo el 38,9%, según un nuevo estudio. A pesar del razonamiento lógico detrás de sus elecciones, a menudo eran incorrectas, lo que sugiere que los textos breves generados por IA pueden ser tan competentes como la escritura humana.
Los expertos en lingüística luchan por diferenciar entre textos producidos por IA y textos escritos por humanos.
Según un estudio reciente del que es coautor un profesor asistente de la Universidad del Sur de Florida, incluso los expertos en lingüística tienen dificultades para discernir entre los escritos producidos por inteligencia artificial y los escritos por humanos.
Los hallazgos, publicados en la revista Research Methods in Applied Linguistics, indican que los expertos lingüísticos de las principales revistas mundiales pudieron distinguir con precisión entre IA y resúmenes escritos por humanos solo alrededor del 39% de las veces.
«Pensamos que si alguien era capaz de identificar la escritura producida por humanos, serían los lingüistas que han pasado sus carreras estudiando patrones en el lenguaje y otros aspectos de la comunicación humana», dijo el investigador de la USF Matthew Kessler. el Departamento de Idiomas del Mundo.
Trabajando junto a J. Elliott Casal, profesor asistente de lingüística aplicada en la Universidad de Memphis, Kessler encargó a 72 expertos en lingüística que revisaran una variedad de resúmenes de investigaciones para determinar si fueron escritos por IA o humanos.
Se pidió a cada experto que examinara cuatro muestras de escritura. Ninguno identificó correctamente los cuatro, mientras que el 13% se equivocó en todos. Kessler concluyó que, según los hallazgos, los profesores no podrían distinguir entre la propia escritura de un estudiante o la escritura generada por un modelo de lenguaje impulsado por IA como ChatGPT sin la ayuda de un software que aún no se ha desarrollado.
A pesar de los intentos de los expertos de utilizar justificaciones para juzgar las muestras de escritura en el estudio, como identificar ciertas características lingüísticas y estilísticas, no tuvieron éxito, con una tasa general de identificación positiva del 38,9 por ciento.
«Lo más interesante fue cuando preguntamos por qué decidieron que algo había sido escrito por IA o por un humano», dijo Kessler. «Compartían razones muy lógicas, pero repetidamente no eran precisas ni consistentes».
Con base en esto, Kessler y Casal concluyeron que ChatGPT puede escribir géneros cortos tan bien como la mayoría de los humanos, si no mejor en algunos casos, dado que la IA generalmente no comete errores gramaticales.
La ventaja para los autores humanos reside en formas de escritura más largas. «Para textos más largos, se sabe que la IA crea alucinaciones y crea contenido, lo que hace que sea más fácil identificar que fue generado por IA», dijo Kessler.
Kessler espera que este estudio conduzca a una conversación más amplia para establecer la ética y las directrices necesarias en torno al uso de la IA en la investigación y la educación.
Referencia: “¿Pueden los lingüistas distinguir entre ChatGPT/AI y escritura humana?: Un estudio sobre ética de la investigación y publicaciones académicas” por J. Elliott Casal y Matt Kessler, 7 de agosto de 2023, Métodos de investigación en lingüística aplicada.
DOI: 10.1016/j.rmal.2023.100068
