Los científicos han desarrollado una herramienta de detección de IA con una precisión del 99 % que identifica el texto científico generado por IA y se dirige específicamente a ChatGPT. La herramienta de detección, diseñada de manera única utilizando un conjunto de datos más pequeño y conocimiento humano para distinguir la IA de la escritura humana, reduce su enfoque a la escritura científica específica que se encuentra en revistas revisadas por pares, ofreciendo más precisión que los detectores de uso general.
Heather Desaire, química de la Universidad de Kansas que aplica el aprendizaje automático a los estudios biomédicos, ha desarrollado una nueva herramienta capaz de identificar textos científicos producidos por ChatGPT, un generador de textos de inteligencia artificial, con un 99% de precisión.
Un estudio reciente, publicado en la revista Cell Reports Physical Science, demostró la efectividad de su método de detección de IA, junto con suficiente código fuente para que otros repliquen la herramienta.
Desaire, presidente de Keith D. Wilner en Química en KU, dijo que se necesitan con urgencia herramientas precisas de detección de IA para defender la integridad científica.
“ChatGPT y todos los demás generadores de texto de IA inventan hechos”, dijo. “En las publicaciones científicas académicas, que escriben sobre nuevos descubrimientos y los límites del conocimiento humano, realmente no podemos contaminar la literatura con falsedades aparentemente creíbles. Inevitablemente, encontrarían su camino en las publicaciones si los generadores de texto de IA se usaran comúnmente. Hasta donde yo sé, no existe una forma infalible de encontrar automáticamente estas «alucinaciones», como se las llama. Una vez que comience a rellenar hechos científicos reales con tonterías inventadas de IA que parecen perfectamente creíbles, esas publicaciones se volverán menos creíbles, menos valiosas”.
Ella dijo que el éxito de su método de detección depende de reducir el alcance de la escritura bajo escrutinio a la escritura científica del tipo que se encuentra comúnmente en las revistas revisadas por pares. Esto mejora la precisión con respecto a las herramientas de detección de IA existentes, como el detector RoBERTa, cuyo objetivo es detectar la IA en una escritura manual más general.
“Puede encontrar fácilmente un método para distinguir la escritura humana de la escritura ChatGPT que sea muy precisa, dada la compensación de que se está restringiendo a considerar un grupo específico de humanos que escriben de una manera específica”, dijo Desaire. “Los detectores de IA existentes generalmente están diseñados como herramientas generales para aprovechar cualquier tipo de escritura. Son útiles para su propósito previsto, pero en cualquier tipo específico de escritura, no serán tan precisos como una herramienta construida para ese propósito específico y limitado”.
Desaire dijo que los instructores universitarios, los creadores de subvenciones y los editores exigen una forma precisa de detectar la salida de IA presentada como el trabajo de una mente humana.
“Cuando empiezas a pensar en ‘plagio de IA’, una precisión del 90 % no es suficiente”, dijo Desaire. “No se puede acusar a las personas de usar la IA de manera subrepticia y equivocarse con frecuencia en esas acusaciones: la precisión es fundamental. Pero para la precisión, la compensación suele ser la generalización”.
Los coautores de Desaire eran todos del grupo de investigación de KU: Romana Jarosova, profesora asistente de investigación de química en KU; David Huax, analista de sistemas de información; y las estudiantes de posgrado Aleesa E. Chua y Madeline Isom.
El éxito de Desaire y su equipo en la detección de texto de IA puede deberse al alto nivel de conocimiento humano (en comparación con la detección de patrones de aprendizaje automático) utilizado para crear el código.
“Utilizamos un conjunto de datos mucho más pequeño y mucha más intervención humana para identificar las diferencias clave en las que se centraría nuestro detector”, dijo Desaire. “Para ser exactos, construimos nuestra estrategia usando solo 64 documentos escritos por humanos y 128 documentos de IA como nuestros datos de entrenamiento. Esto es quizás 100.000 veces más pequeño que el tamaño de los conjuntos de datos utilizados para entrenar otros detectores. La gente a menudo pasa por alto los números. Pero 100.000 veces, esa es la diferencia entre el costo de una taza de café y una casa. Así que teníamos este pequeño conjunto de datos, que podía procesarse súper rápido, y todos los documentos eran legibles por humanos. Usamos nuestros cerebros humanos para encontrar diferencias útiles en conjuntos de documentos, no confiamos en las estrategias para diferenciar humanos e IA que se desarrollaron anteriormente”.
De hecho, el investigador de KU dijo que el grupo construyó su enfoque sin depender de las estrategias de enfoques anteriores para la detección de IA. La técnica resultante tiene elementos completamente únicos en el campo de la detección de texto por IA.
“Me da un poco de vergüenza admitir esto, pero ni siquiera consultamos la literatura sobre detección de texto de IA hasta que tuvimos una herramienta de trabajo en nuestras manos”, dijo Desaire. «Estábamos haciendo esto no basándonos en cómo los informáticos piensan sobre la detección de texto, sino usando nuestra intuición sobre lo que funcionaría».
En otro aspecto importante, Desaire y su grupo revirtieron los métodos utilizados por equipos anteriores que construían métodos de detección de IA.
“No hicimos que el texto de IA fuera el centro de atención al desarrollar características clave”, dijo. “Hicimos del texto humano el foco. La mayoría de los investigadores que construyen sus detectores de IA parecen preguntarse: ‘¿Cómo se ve el texto generado por IA?’ Preguntamos: ‘¿Cómo es este grupo único de escritura humana y en qué se diferencia de los textos de IA?’ En última instancia, la escritura de IA es escritura humana, ya que los generadores de IA se construyen con grandes depósitos de escritura humana que reúnen. Pero la escritura de IA, al menos de ChatGPT, es escritura humana generalizada extraída de una variedad de fuentes.
“La escritura de los científicos no es escritura humana generalizada. Es la escritura de los científicos. Y los científicos somos un grupo muy especial”.
Desaire hizo que el código de detección de IA de su equipo fuera totalmente accesible para los investigadores interesados en desarrollarlo. Ella espera que otros se den cuenta de que la IA y la detección de IA están al alcance de las personas que tal vez no se consideren programadores de computadoras en este momento.
“ChatGPT realmente es un avance tan radical y ha sido adoptado tan rápidamente por tantas personas que se siente como un punto de inflexión en nuestra dependencia de la IA”, dijo. “Pero la realidad es que, con un poco de orientación y esfuerzo, un estudiante de secundaria podría hacer lo que hicimos nosotros.
“Existen enormes oportunidades para que las personas se involucren en la IA, incluso si no tienen un título en informática. Ninguno de los autores de nuestro manuscrito tiene un título en informática. Un resultado que me gustaría ver de este trabajo es que las personas interesadas en la IA sabrán que las barreras para desarrollar productos reales y útiles como el nuestro no son tan altas. Con un poco de conocimiento y un poco de creatividad, muchas personas pueden contribuir a este campo”.
Referencia: «Distinguir la escritura científica académica de la humana o ChatGPT con más del 99 % de precisión utilizando herramientas de aprendizaje automático listas para usar» por Heather Desaire, Aleesa E. Chua, Madeline Isom, Romana Jarosova y David Hua, 7 de junio de 2023, Cell Informes Ciencias Físicas.
DOI: 10.1016/j.xcrp.2023.101426
