Los investigadores sanitarios denuncian presiones de los financiadores para suprimir resultados

¿Es hora de asumir que la investigación sanitaria es fraudulenta hasta que se demuestre lo contrario?


(Análisis/Opinión)

La investigación sanitaria se basa en la confianza. Los profesionales de la salud y los editores de revistas que leen los resultados de un ensayo clínico asumen que el ensayo se realizó y que los resultados se comunicaron con honestidad. Pero un 20% de las veces, según Ben Mol, profesor de obstetricia y ginecología de Monash Health, se equivocan. Como me preocupa el fraude en la investigación desde hace 40 años, no me sorprendió tanto como a muchos esta cifra, pero me llevó a pensar que tal vez haya llegado el momento de dejar de suponer que la investigación se ha llevado a cabo y se ha comunicado honestamente, y suponer que la investigación es fraudulenta hasta que haya alguna prueba que apoye que se ha llevado a cabo y se ha comunicado honestamente. La Colaboración Cochrane, que se dedica a la “información de confianza”, ha dado un paso en esa dirección.

Como describió en un seminario web la semana pasada, Ian Roberts, profesor de epidemiología de la London School of Hygiene & Tropical Medicine, empezó a tener dudas sobre la información honesta de los ensayos después de que un colega le preguntara si sabía que su revisión sistemática que mostraba que el manitol reducía a la mitad la muerte por traumatismo craneoencefálico se basaba en ensayos que nunca se habían realizado. No lo sabía, pero se puso a investigar los ensayos y confirmó que nunca se habían realizado. Todos ellos tenían un autor principal que pretendía proceder de una institución que no existía y que se suicidó unos años después. Todos los ensayos se publicaron en prestigiosas revistas de neurocirugía y tenían múltiples coautores. Ninguno de los coautores había aportado pacientes a los ensayos, y algunos no sabían que eran coautores hasta después de la publicación de los ensayos. Cuando Roberts se puso en contacto con una de las revistas, el editor respondió que “no me fiaría de los datos”. ¿Por qué, se preguntó Roberts, publicó el ensayo? Ninguno de los ensayos se ha retractado.

Más tarde, Roberts, que dirigía uno de los grupos de Cochrane, hizo una revisión sistemática de los coloides frente a los cristaloides sólo para descubrir de nuevo que muchos de los ensayos que se incluyeron en la revisión no eran de fiar. Ahora es escéptico con respecto a todas las revisiones sistemáticas, en particular las que son en su mayoría revisiones de múltiples ensayos pequeños. Comparó la idea original de las revisiones sistemáticas con la búsqueda de diamantes, conocimientos que estaban disponibles si se reunían en revisiones sistemáticas; ahora piensa en la revisión sistemática como una búsqueda entre la basura. Propuso que los ensayos pequeños de un solo centro deberían descartarse, y no combinarse en revisiones sistemáticas.

Mol, al igual que Roberts, ha llevado a cabo revisiones sistemáticas sólo para darse cuenta de que la mayoría de los ensayos incluidos eran ensayos zombis que tenían fallos fatales o no eran de fiar. ¿Cuál es la magnitud del problema? Aunque las retractaciones van en aumento, sólo el 0,04% de los estudios biomédicos han sido retractados, lo que sugiere que el problema es pequeño. Pero el anestesista John Carlisle analizó 526 ensayos enviados a Anaesthesia y descubrió que 73 (14%) tenían datos falsos, y 43 (8%) los clasificó como zombis. Cuando pudo examinar los datos individuales de los pacientes en 153 estudios, 67 (44%) tenían datos no fiables y 40 (26%) eran ensayos zombis. Muchos de los ensayos procedían de los mismos países (Egipto, China, India, Irán, Japón, Corea del Sur y Turquía), y cuando John Ioannidis, profesor de la Universidad de Stanford, examinó los datos de pacientes individuales de los ensayos enviados desde esos países a Anaesthesia durante un año, descubrió que muchos eran falsos: 100% (7/7) en Egipto; 75% (3/4) en Irán; 54% (7/13) en India; 46% (22/48) en China; 40% (2/5) en Turquía; 25% (5/20) en Corea del Sur; y 18% (2/11) en Japón. La mayoría de los ensayos eran zombis. Ioannidis llegó a la conclusión de que tan sólo en esos países ya se han publicado cientos de miles de ensayos zombis.

Otros han encontrado resultados similares, y la mejor estimación de Mol es que alrededor del 20% de los ensayos son falsos. Muy pocos de estos artículos son retractados.

Hace tiempo que sabemos que la revisión por pares es ineficaz a la hora de detectar el fraude, especialmente si los revisores empiezan, como la mayoría ha hecho hasta ahora, asumiendo que la investigación se comunica honestamente. Recuerdo haber formado parte de un grupo de expertos en los años 90 que investigaba uno de los casos de fraude más escandalosos de Gran Bretaña, cuando el revisor estadístico del estudio nos dijo que había encontrado múltiples problemas en el estudio y que sólo esperaba que estuviera mejor hecho de lo que se había informado. Le preguntamos si había considerado alguna vez que el estudio pudiera ser fraudulento, y nos dijo que no.

Ahora hemos llegado a un punto en el que los que hacen revisiones sistemáticas deben empezar asumiendo que un estudio es fraudulento hasta que puedan tener alguna evidencia de lo contrario. Algunas pruebas de apoyo provienen de que el ensayo haya sido registrado y tenga la aprobación del comité de ética. Andrew Grey, profesor asociado de medicina en la Universidad de Auckland, y otros han desarrollado una lista de comprobación con unos 40 elementos que pueden utilizarse como herramienta de detección de fraudes (puede consultar la lista de comprobación aquí). La lista de comprobación REAPPRAISED (Research governance, Ethics, Authorship, Plagiarism, Research conduct, Analyses and methods, Image manipulation, Statistics, Errors, Data manipulation and reporting / Gobernanza de la investigación, Ética, Autoría, Plagio, Conducta de la investigación, Análisis y métodos, Manipulación de imágenes, Estadística, Errores, Manipulación y notificación de datos) abarca cuestiones como “la supervisión ética y la financiación, la productividad de la investigación y la carga de trabajo del investigador, la validez de la aleatorización, la plausibilidad de los resultados y la notificación de datos duplicados”. La lista de comprobación se ha utilizado para detectar estudios que posteriormente han sido retractados, pero no ha sido sometida a la evaluación completa que cabría esperar de una herramienta de cribado clínico. (Pero debo felicitar a los autores por un acrónimo inteligente: algunos dicen que soñar con el acrónimo de un estudio es la parte más difícil de todo el proceso).

Roberts y otros escribieron sobre el problema de los numerosos ensayos zombis y poco fiables en The BMJ hace seis años con el provocativo título: “The knowledge system underpinning healthcare is not fit for purpose and must change” (‘El sistema de conocimiento que sustenta la asistencia sanitaria no es adecuado para su propósito y debe cambiar’). Querían que la Colaboración Cochrane y cualquiera que realizara revisiones sistemáticas se tomara muy en serio el problema del fraude. Tal vez fuera una coincidencia, pero unas semanas antes del seminario web la Colaboración Cochrane elaboró unas directrices sobre la revisión de estudios en los que se ha producido una retractación, una expresión de preocupación o los revisores están preocupados por la fiabilidad de los datos.

Las retractaciones son las más fáciles de tratar, pero son, como dijo Mol, sólo una pequeña fracción de los estudios no fiables o zombis. Un editorial de la Biblioteca Cochrane que acompaña a las nuevas directrices reconoce que no hay acuerdo sobre lo que constituye un estudio no fiable, que las herramientas de cribado no son fiables y que “una clasificación errónea también podría provocar daños en la reputación de los autores, consecuencias legales y problemas éticos asociados a que los participantes hayan tomado parte en la investigación, sólo para que sea descartada”. La Colaboración está siendo cautelosa, pero se arriesga a perder credibilidad -y beneficios- si el mundo deja de confiar en las revisiones Cochrane, porque se cree que se basan en ensayos poco fiables.

El fraude en la investigación suele considerarse un problema de “manzanas podridas”, pero Barbara K Redman, que intervino en el seminario web, insiste en que no es un problema de manzanas podridas, sino de barriles podridos, si no, dijo, de bosques o huertos podridos. En su libro “Research Misconduct Policy in Biomedicine: Beyond the Bad-Apple Approach” (‘Política de mala práctica en la investigación biomédica: Más allá del enfoque de las manzanas podridas’) sostiene que la mala práctica en la investigación es un problema sistémico: el sistema ofrece incentivos para publicar investigaciones fraudulentas y no cuenta con procesos de regulación adecuados. Los investigadores progresan publicando investigaciones, y como el sistema de publicación se basa en la confianza y la revisión por pares no está diseñada para detectar el fraude, es fácil publicar investigaciones fraudulentas. El modelo de negocio de las revistas y las editoriales depende de la publicación, preferiblemente de muchos estudios, de la forma más barata posible. Tienen pocos incentivos para comprobar si hay fraude y un desincentivo positivo para experimentar el daño a la reputación -y posiblemente el riesgo legal- de retractarse de los estudios. Los financiadores, las universidades y otras instituciones de investigación también tienen incentivos para financiar y publicar estudios y desincentivos para hacer un escándalo sobre la investigación fraudulenta que puedan haber financiado o que se haya llevado a cabo en su institución, tal vez por uno de sus investigadores estrella. Los reguladores a menudo carecen de la capacidad legal y los recursos para responder a lo que es claramente un fraude extenso, reconociendo que demostrar que un estudio es fraudulento (en lugar de sospechar que lo es) es un proceso hábil, complejo y que lleva mucho tiempo. Otro problema es que la investigación es cada vez más internacional, con participantes de muchas instituciones en muchos países: ¿quién asume entonces la poco envidiable tarea de investigar el fraude? La ciencia necesita realmente una gobernanza mundial.

Todo el mundo sale ganando con el juego de las publicaciones, concluyó Roberts, aparte de los pacientes que sufren al recibir tratamientos basados en datos fraudulentos.

Stephen Lock, mi predecesor como director de The BMJ, se preocupó por el fraude en la investigación en la década de 1980, pero la gente pensó que su preocupación era excéntrica. Las autoridades investigadoras insistieron en que el fraude era raro, que no importaba, porque la ciencia se autocorregía y que ningún paciente había sufrido por culpa del fraude científico. Todas esas razones para no tomarse en serio el fraude en la investigación han resultado ser falsas y, 40 años después de las preocupaciones de Lock, nos estamos dando cuenta de que el problema es enorme, el sistema fomenta el fraude y no tenemos una forma adecuada de responder. Puede que haya llegado el momento de pasar de asumir que la investigación se ha realizado y comunicado con honestidad a asumir que no es de fiar hasta que se demuestre lo contrario.

Richard Smith fue director de The BMJ hasta 2004.

Intereses competitivos: RS fue cofundador del Comité de Ética Médica (COPE), durante muchos años presidente del Comité de Supervisión de la Biblioteca Cochrane y miembro del consejo de la Oficina de Integridad de la Investigación del Reino Unido.

Fuente: Time to assume that health research is fraudulent until proven otherwise?

Relacionado: La Crisis de la Ciencia