Featured ¿Por qué los jugadores son mejores que los científicos a la hora de detectar fraudes?

Dos recientes escándalos de fraude —uno en la comunidad de «speedrunning» de videojuegos y otro en la investigación médica— resaltan un contraste alarmante.

​

En el mundo competitivo del speedrunning, los jugadores compiten por completar un videojuego en el menor tiempo posible. Es un deporte para los más nerds, pero increíblemente popular: las transmisiones de speedruns suelen alcanzar millones de visualizaciones en Twitch y YouTube. Así que cuando un famoso speedrunner —un youtuber estadounidense con más de 20 millones de suscriptores, conocido como «Dream«— fue acusado en diciembre de 2020 de falsear uno de sus récords mundiales en el juego de construcción Minecraft, el drama en línea estalló como un paquete de dinamita.

En concreto, Dream informó que había terminado Minecraft en poco más de 19 minutos, más rápido que todos los jugadores, excepto cuatro, gracias a una increíble racha de suerte. Los moderadores del sitio web speedrun.com, encargados de estos intentos de récord mundial, discreparon. Según su impresionantemente detallado análisis de probabilidad, la suerte de Dream fue simplemente demasiado buena. Era el equivalente a un jugador de ruleta que acierta su color 50 veces seguidas: no te maravillas de la buena fortuna; miras debajo de la mesa.

Surgieron las recriminaciones. Dream y los moderadores intercambiaron tuits y vídeos, y los moderadores recibieron una oleada de insultos en redes sociales por parte de los fans de Dream más indignados. Dream encargó a su propio científico que refutara los puntos de probabilidad. Si tenías un interés más que superficial por los videojuegos, no podías perderte la noticia: se publicó en todos los principales sitios web de videojuegos, en revistas de tecnología y en todo YouTube.

Y entonces, el 30 de mayo de este año, Dream lo admitió: la carrera no fue real. Afirmó que, sin darse cuenta, había activado un software que mejoró su suerte en el juego, infringiendo así las reglas y descalificando su carrera de velocidad.

Que creas o no en la parte de «sin darse cuenta» es cosa tuya. Lo importante es que el sistema funcionó: el tiempo mal concebido de Dream, que fue justamente borrado de los libros, se convirtió en el último de una larga lista de estafas expuestas por moderadores que utilizan herramientas sofisticadas para mantener los estándares del campo. Ya sea empleando análisis de espectro de audio, revisando cada pulsación de tecla para asegurarse de que la carrera sea legítima o simplemente utilizando su amplia experiencia para detectar un rendimiento cuestionable, los miembros de esta comunidad de expertos técnicos han trabajado arduamente para hacerles la vida más difícil a quienes infringen las reglas.

Los científicos deberían prestar atención.

Dos semanas antes de la confesión de Dream, y al otro lado del mundo, otro escándalo de fraude acababa de concluir. Tras una larga investigación, la Universidad Showa de Japón publicó un informe sobre uno de sus investigadores en anestesiología, Hironobu Ueshima. Ueshima resultó ser uno de los fraudes científicos más prolíficos de la historia, habiendo falsificado registros y datos, total o parcialmente, en al menos 84 artículos científicos, y alterado datos y tergiversado la autoría en docenas más. Al igual que Dream, Ueshima finalmente confesó y se disculpó, pero solo después de que un investigador de datos detectara extrañas anomalías en sus publicaciones. Muchos de sus artículos ya han sido eliminados de la literatura científica.

Si no conoces este punto bajo histórico para la publicación científica, no te culpo. Aparte del sitio web especializado Retraction Watch, que existe para documentar este tipo de eventos, ningún medio de comunicación en inglés lo cubrió. (Hubo algunas noticias en la prensa japonesa). El caso generó poco interés en redes sociales; no hubo debate sobre las lecciones aprendidas para la ciencia.

¿No te parece extraño que tanta gente sintonizara para enterarse de un speedrun manipulado de un videojuego infantil, mientras que apenas se generó revuelo, incluso entre los científicos, por el descubrimiento de más de 80 artículos científicos falsos? Estos tampoco eran artículos esotéricos, colados en revistas académicas desconocidas. Eran estudios médicos prominentes, de esos con implicaciones inmediatas para pacientes reales en el quirófano. Consideren dos títulos de la lista de hallazgos fraudulentos o posiblemente inventados de Ueshima: «Investigación de la fuerza recibida en los dientes superiores mediante videolaringoscopia» y «Amputación por debajo de la rodilla realizada con grupo de nervios pericapsulares y bloqueos del nervio ciático«. Uno esperaría que los mecanismos para eliminar estudios falsos como estos de la literatura, y por lo tanto, de la lista de lectura de su cirujano, fueran bastante sólidos.

Lamentablemente, ese no suele ser el caso. La comunidad científica ha ignorado durante mucho tiempo las acusaciones de fraude. Que la universidad de Ueshima haya realizado una investigación tan exhaustiva de su trabajo y la haya publicado a la vista de todos es inusual. Los escépticos y denunciantes que detectan posibles fraudes en el trabajo de los investigadores son habitualmente ignorados, obstaculizados o, en ocasiones, atacados por universidades o editores de revistas que no tienen el tiempo ni la disposición para investigar estudios potencialmente falsificados (y potencialmente peligrosos).

Por ejemplo, se necesitaron 12 años para que se tomaran medidas contra el estafador científico más prolífico del mundo, Yoshitaka Fujii (casualmente, otro anestesiólogo japonés), incluso después de que se publicaran análisis muy convincentes de sus datos dudosos. Al igual que el speedrun de Dream, los datos de Fujii eran demasiado buenos para ser ciertos: los investigadores del fraude escribieron, con admirable literalidad, que eran «¡increíblemente buenos!».

Irónicamente, los científicos que estudian lo que afirman son los efectos perniciosos de los videojuegos han sido particularmente laxos a la hora de controlar las acusaciones de mala conducta dentro de su comunidad; como mínimo, podrían ser menos diligentes que los propios jugadores. Un investigador que recientemente abandonó el campo (y la academia por completo) escribió sobre su exasperante experiencia al intentar alertar a múltiples revistas y a una universidad sobre datos obviamente «sinsentido» en varios artículos sobre violencia en videojuegos: No salió bien; la mayoría de las figuras científicas relevantes reaccionaron con poco más que un encogimiento de hombros. «Esta experiencia me ha llevado a desesperar por la calidad e integridad de nuestra ciencia», escribió. «Si datos tan sospechosos no pueden ser retractados rápidamente, debe ser imposible detectar a un fraude con habilidades, financiación o conexiones sociales».

Los métodos utilizados para producir speedruns falsos y ciencia falsa tienen algunas similitudes sorprendentes, por muy diferentes que sean las respuestas institucionales. La forma más básica de montar un speedrun fraudulento es manipulando el vídeo que se debe enviar a los moderadores. Esto suele hacerse mediante «empalmes»: si te equivocas al principio de un nivel, luego dominas la batalla contra el jefe, pero haces lo contrario en otro intento, puedes unir las dos mitades buenas en un video perfecto, pero falso. Incluso cuando las uniones están mal hechas, como en el ahora infame intento fallido de conseguir una partida de cinco minutos de Super Mario Bros., solo quienes presten la debida atención las detectarán.

Los científicos cometen embustes similares con las imágenes de sus artículos. Imágenes empalmadas, duplicadas, retocadas, recoloreadas o manipuladas con Photoshop, obtenidas de microscopios o manchas, abundan en las publicaciones científicas y son pasadas por alto por los revisores expertos con preocupante regularidad. La perspicaz microbióloga Elisabeth Bik, considerada la experta mundial en detectar imágenes científicas «problemáticas», informa rutinariamente de sus preocupaciones sobre las imágenes a las universidades o revistas pertinentes, y a menudo pasa completamente desapercibida.

El riguroso formato con el que la comunidad de speedrunning solicita a los jugadores que presenten pruebas en vídeo de sus carreras es en sí mismo significativo. En muchos juegos, es necesario mostrar no solo una grabación de la pantalla, sino también un video de las manos en el mando o el teclado, para que los moderadores puedan garantizar que realmente fue un humano, y no un script o un bot, quien consiguió el importantísimo récord.

La ciencia se ha adaptado con mucha más lentitud, incluso después de innumerables escándalos. Los investigadores proporcionan imágenes para sus artículos a su entera discreción y sin supervisión oficial; cuando no son falsificadas, pueden contener capturas de experimentos cuidadosamente seleccionadas que no representan la totalidad de sus resultados. Lo mismo ocurre con los datos numéricos, que a menudo, consciente o inconscientemente, se eligen o se presentan para justificar la hipótesis de un científico, en lugar de mostrar todos los detalles, aunque confusos. Solo unas pocas revistas exigen a los científicos que hagan el equivalente a publicar la grabación de pantalla y manos: compartir todos sus datos, y el código que usaron para analizarlos, en línea para que cualquiera pueda acceder a ellos.

El speedrunning, al igual que la ciencia, puede realizarse en grupos (por ejemplo, un nivel del juego por miembro del equipo). En ambos contextos, las acciones de un miembro fraudulento manchan los logros de sus colegas. En un speedrun grupal de 2006 del juego de disparos en primera persona Half-Life 2, un jugador alteró ilegítimamente el código del juego para acelerar su carrera, traicionando la confianza de sus compañeros. De igual manera, en el fraude científico, una acusación creíble puede ser una gran sorpresa para todos los miembros de un grupo de investigación, excepto, quizás, para el culpable.

Mientras tanto, los jugadores han desarrollado herramientas ingeniosas para reevaluar y recertificar speedruns antiguos. En las últimas semanas, los moderadores del juego de carreras Trackmania United Forever han presentado un nuevo tipo de análisis que utiliza el número de veces que un jugador cambia la dirección de su auto para demostrar que muchos tiempos de récord mundial venerados eran, de hecho, imposibles de alcanzar por manos humanas; en otras palabras, que eran resultado de trampas. Los speedruns falsos de Trackmania han sido borradas del registro. La ciencia cuenta con sus propios métodos avanzados de detección de fraude; en teoría, estos podrían utilizarse para limpiar los establos de Augias de las publicaciones de investigación. Por ejemplo, una de estas herramientas se utilizó para demostrar que el artículo clásico sobre el fenómeno psicológico de la «disonancia cognitiva» contenía cifras matemáticamente imposibles. Sin embargo, ese artículo permanece en la literatura, acumulando citas, sin siquiera una nota del editor de la revista.

Otro paralelismo entre el fraude en speedrunning y la ciencia se refiere a las motivaciones de los estafadores. Si le preguntas a un speedrunner por qué cree que la gente finge sus carreras, podría decir que se trata de influencia. Conseguir que tu nombre de usuario esté en lo más alto de la clasificación, incluso en un juego antiguo o desconocido, te hace ganar el respeto de tus compañeros. Algunos runners están dispuestos a hacer un gran esfuerzo para conseguirlo. Los científicos podrían pensar que están por encima de la influencia —y quizá deberían—, pero la evidencia apunta en sentido contrario. En la ciencia no existen clasificaciones literales, pero sí muchos otros indicadores de influencia: la gran cantidad de publicaciones en tu currículum; la cantidad de veces que te han citado; la reputación de las revistas donde publicas; las subvenciones que puedes conseguir; la fama de ser el descubridor de algo importante. Todos estos parecen ser incentivos descomunales para ciertos científicos, que se saltan las reglas a pesar de saber que no son así.

Salvo una minoría de jugadores profesionales, el speedrunning es un pasatiempo, y la comunidad está moderada por voluntarios. La ciencia es, en fin, ciencia: un esfuerzo crucial que debemos desarrollar correctamente, una industria prestigiosa que emplea a cientos de miles de personas remuneradas, dedicadas e inteligentes, que envían sus investigaciones a revistas dirigidas por editoriales enormemente rentables.

Quizás el propio estatus de la ciencia sea lo que hace que sus profesionales se muestren reacios a perseguir a los estafadores: a los científicos no solo les cuesta imaginar que sus colegas puedan estar inventando los datos, sino que cuestionar un conjunto de datos sospechosos puede resultar en cualquier cosa, desde una prolongada frustración y una incomodidad social hasta la ruina profesional. Es comprensible por qué tantos científicos, que aspiran a una vida tranquila donde puedan dedicarse a su propia investigación, no se sienten motivados a tomar cartas en el asunto.

Pero las consecuencias de ignorar el fraude también pueden ser drásticas, y bases de evidencia completas, a veces para tratamientos médicos, pueden verse contaminadas por estudios fraudulentos. Todo el propósito del esfuerzo científico se pone en tela de juicio si sus guardianes —revisores, editores y otros que se supone son los guardianes de la probidad científica— se enfrentan con tanta frecuencia a pruebas de fraude y no toman medidas.

Si los mods de Minecraft no remunerados pueden producir un análisis matemático de 29 páginas de la disputada carrera de Dream, entonces los científicos y editores pueden dedicar tiempo a tratar las acusaciones de fraude plausibles con la seriedad que merecen. Si mantener la integridad puede convertirse en un interés tan crucial para una comunidad de aficionados a los videojuegos, lo mismo puede ocurrir para una comunidad de investigadores profesionales. Y si el mundo del speedrunning puede aprender lecciones de tantos casos de trampas, no hay excusa para que los científicos no hagan lo mismo.

Fuente: Why Are Gamers So Much Better Than Scientists at Catching Fraud?

Relacionados:

• Conflictos de Interés en la Ciencia Climática: Un Punto Ciego Sistémico
• La Crisis de la Ciencia

 

El mundo de LOS TRAMPOSOS en los SPEEDRUNS
​