Un sistema detecta textos generados por IA por su estructura, pero su eficacia tiene límites
El investigador Jochen Madler afirma que su sistema alcanza un macro F1 cercano al 98% al distinguir, en una prueba con artículos de blog en inglés, textos humanos de versiones generadas por IA. El resultado no equivale a una garantía de acierto en cualquier texto.
Distinguir un texto escrito por una persona de otro generado por inteligencia artificial no siempre es sencillo. Una investigación de Jochen Madler propone fijarse menos en las palabras concretas y más en la organización de las ideas. Su sistema, presentado en el estudio SlopShape, obtuvo un macro F1 de alrededor del 97-98% en las pruebas descritas por el investigador.
La cifra requiere un matiz: el macro F1 combina medidas de precisión y cobertura entre las categorías evaluadas. No significa que la herramienta acierte el 98% de las veces con cualquier texto que se le presente.
Qué examina el sistema
En lugar de emitir un veredicto a partir de una lectura directa, el método utiliza un modelo de lenguaje para responder, sobre cada artículo, un cuestionario de más de 200 preguntas relativas a su estructura. Entre otros aspectos, examina el orden de las ideas, si la introducción adelanta la tesis, cómo aparecen las fuentes y si el cierre repite la conclusión.
La hipótesis de Madler es que los textos generados por IA pueden conservar patrones reconocibles en la arquitectura del discurso, incluso cuando se reescriben. El investigador plantea que ese enfoque también podría ayudar a identificar textos humanos basados en una respuesta de IA parafraseada, aunque los resultados descritos no permiten dar por resuelto ese caso en general.
Cómo se hizo la prueba
El investigador reunió 2.250 publicaciones de blogs de 268 empresas de comunicación, difundidas antes del lanzamiento de ChatGPT y recuperadas mediante Wayback Machine. Después pidió a GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 y Kimi K2.5 que elaborasen versiones a partir de resúmenes de los originales. El conjunto incluyó 11.250 versiones generadas por esos modelos.
Según los resultados expuestos, las sucesivas reescrituras con IA apenas modificaron el macro F1. En cambio, al alterar características de estilo, la puntuación descendió hasta 88,1. El sistema también identificó el modelo responsable de un texto en el 79% de las ocasiones de esa prueba.
A quién puede servir y qué no demuestra
Una herramienta de este tipo podría interesar, entre otros ámbitos, al educativo, donde importa conocer cómo se ha elaborado un trabajo. La novedad de este enfoque es que busca señales en la estructura del texto, no solo en su vocabulario. Sin embargo, una organización ordenada, una introducción que anuncia el contenido o una conclusión reiterativa también pueden aparecer en escritos humanos.
Además, las pruebas se realizaron con artículos en inglés de un ámbito concreto. Por tanto, sus resultados no pueden trasladarse sin más al español, a otros géneros o a cualquier texto publicado en internet. El estudio aporta una vía para investigar la autoría, no una prueba definitiva para juzgar un escrito individual.
Redacción NodoZone
