ChatGPT genera textos y conversaciones en un lenguaje muy parecido al humano y eso tiene su lado bueno y su lado malo. El bueno es que puede ayudar a las personas a realizar ciertas tareas tediosas de su trabajo y el malo es que, de tan parecido que es el lenguaje empleado, se hace complicado distinguir que el texto lo ha redactado una inteligencia artificial.
Por ese motivo, la misma empresa creadora de ChatGPT, OpenAI, ha desarrollado una herramienta que distingue el texto creado por un robot del que ha sido ideado por un ser humano. Su nombre es OpenAI AI Text Classifer y usarla es gratis.
Con este mismo objetivo de distinguir un texto generado con IA de otro escrito por un humano, un grupo de investigadores se propuso idear una herramienta que hiciera esta distinción, pero a nivel académico, es decir, que indicara que un texto científico académico estuviera escrito por un chatbot o por una persona. Los investigadores han logrado que la herramienta tenga una precisión superior al 99 %.
"Nos esforzamos por crear un método accesible para que, con poca orientación, incluso los estudiantes de secundaria pudieran construir un detector de IA para diferentes tipos de escritura", afirma la primera autora, Heather Desaire, profesora de la Universidad de Kansas. "Es necesario abordar la escritura con IA, y la gente no necesita un título en informática para contribuir a este campo".
"Ahora mismo, hay algunos problemas bastante flagrantes con la escritura de IA", dice Desaire. "Uno de los mayores problemas es que ensambla texto de muchas fuentes y no hay ningún tipo de comprobación de exactitud".
En Internet existen detectores de texto que funcionan bastante bien y, ahora, además contamos con OpenAI AI Text Classifer. Sin embargo, estos detectores no están diseñados específicamente para la escritura académica. Para rellenar esa laguna, el equipo se propuso crear una herramienta de detección ad hoc.
Los investigadores se centraron en un tipo de artículos que en ciencia se llaman artículos de perspectiva. Estos escritos ofrecen una visión general de temas de investigación específicos escritos por científicos. El equipo seleccionó 64 de estos y creó 128 artículos con ChatGPT sobre los mismos temas de investigación para entrenar al modelo. Cuando compararon los artículos, descubrieron un indicador de la escritura de la IA: la previsibilidad.
Lo que vieron los investigadores fue que humanos y AI escribimos de manera distinta. Se dieron cuenta de que los seres humanos empleamos estructuras de párrafos más complejas, variando el número de frases y el total de palabras por párrafo. Las preferencias en cuanto a signos de puntuación y vocabulario también son reveladoras. Por ejemplo, los científicos se inclinan por palabras como "sin embargo", "pero" y "aunque", mientras que ChatGPT utiliza a menudo "otros" e "investigadores" en sus escritos. El equipo reunió 20 características que el modelo debía tener en cuenta.
En la prueba, el modelo que desarrollaron obtuvo una precisión del 100 % a la hora de distinguir los artículos generados por la IA de los escritos por humanos. En cuanto a la identificación de párrafos individuales dentro del artículo, el modelo obtuvo una tasa de precisión del 92 %. En pruebas similares también superó con creces a un detector de texto por IA disponible en el mercado.
Ahora, el equipo quiere probar la herramienta en conjuntos de datos más amplios y en distintos tipos de escritos científicos académicos. Quieren comprobar si con el avance de los chatbots de IA, su modelo seguirá funcionando.
A medida que los chatbots de IA avancen y se vuelvan más sofisticados, los investigadores también quieren saber si su modelo seguirá siendo eficaz.
"Lo primero que la gente quiere saber cuando se entera de la investigación es: '¿Puedo utilizar esto para saber si mis alumnos han escrito de verdad su trabajo?”, dice Desaire. Aunque el modelo es muy hábil a la hora de distinguir entre IA y científicos, la investigadora afirma que la herramienta no se diseñó para que los profesores detectaran las redacciones de los alumnos generadas por IA. Sin embargo, señala que la gente puede replicar fácilmente sus métodos para construir modelos para sus propios fines.
