scientifyRESEARCH
research funding database

SciScore: un asistente para elaborar informes de métodos fiables

Share this post

SciScore: an assistant for reliable methods reporting Anita Bandrowski, PhD, CEO. The SciScore logo appears underneath this text, and a blue graphic of a desktop computer with the SciScore logo on the monitor is at the right.

Prefacio: Le preguntamos a Anita Bandrowski de SciScore sobre los métodos fiables para elaborar informes y conocimos varias herramientas desarrolladas para ayudar a los investigadores a escribir secciones de métodos completas y rigurosas para aumentar la reproducibilidad científica. Si bien SciScore puede ayudarnos a completar los informes MDAR y las tablas STAR que requieren ciertos diarios, también brinda un marco para verificar que elementos como los oligos, estadísticas y códigos estén enumerados en un manuscrito antes de que alguien abandone el laboratorio. Esta entrevista es parte de nuestra serie en curso donde charlamos con grandes personas que se apoyan en la innovación para respaldar sus investigaciones.

¿Puedes hablarnos un poco sobre ti y lo que te condujo a crear SciScore?

Bueno, yo he trabajado tanto en laboratorios como en el sector de la informática, por lo que al abordar temas científicos tiendo a tener la mentalidad de un científico de campo cuando hay que abordar problemas informáticos, lo que puede ser útil en algunos casos.

SciScore surgió de la frustración de muchos científicos que intentaron encontrar anticuerpos y otros recursos y simplemente no pudieron hacerlo. Primero iniciamos el proyecto RRID, que pide a los autores que busquen identificadores persistentes de anticuerpos y otros recursos de investigación utilizados en el artículo. El problema con la implementación es que alguien, o esperamos que algo, debe recordar a los autores que agreguen la información a su artículo. El objetivo de esta herramienta era recordar a los autores, antes de publicar, que habían omitido algo antes de que algo se haya perdido debido al “problema postdoctoral que abandona el laboratorio”.

Como investigador, me ha costado intentar reproducir métodos a partir de artículos de investigación. ¿Cómo ayuda SciScore a la comunidad con esto?

SciScore fue concebido para ser “jugado”, es decir, da una puntuación numérica más alta a los autores que recuerdan ocuparse de varias cosas, como nombrar correctamente su ratón o acordarse de poner los criterios de inclusión y exclusión. Como SciScore se utiliza durante el proceso de publicación, recuerda a los autores si han olvidado algo. Son esas pequeñas cosas (no encontrar un anticuerpo o el ratón adecuado) las que hacen muy difícil replicar un estudio, pero son fáciles de solucionar con un poco más de información por parte del autor. Esto no garantiza la reproducibilidad de un estudio, pero sin duda nos ayuda a avanzar en esa dirección.

¿Puede hablarnos de los diferentes informes de SciScore y de cuándo necesitaríamos los investigadores saber si nuestros manuscritos tienen una buena puntuación?

SciScore produce 3 informes: el informe del autor (la mayoría de los autores lo obtienen de sus revistas), el informe MDAR y la tabla STAR. La información y la puntuación son accesibles desde el informe del autor, ya que éste pretende ser lo más interactivo posible. El informe muestra la frase que utilizaron los autores y el ítem extraído de la frase, en la mayoría de los casos. También es el único informe con una puntuación, que pretende ser una medida general del número de elementos encontrados en comparación con el número esperado por la herramienta. El informe está pensado para la iteración, de modo que a medida que el artículo aborda las cosas omitidas, la puntuación mejora.

El informe MDAR está pensado para enviarlo a una revista que lo solicite. Se basa en la misma información básica, pero no se puntúa y es un poco más difícil comprobar y verificar su corrección. Un ejemplo de revista que exige el MDAR es la revista Science de la AAAS. Aquí, en el momento de la aceptación del artículo, se exige que se rellene el MDAR. SciScore puede producir la lista de comprobación rellenada inmediatamente y se basa en el propio artículo, algo que la lista de comprobación en bruto no garantiza, ya que puede rellenarse sin aumentar el propio artículo.

La tabla STAR es un archivo csv que sólo incluye la tabla de recursos. Está pensada para que la utilicen los autores que deseen buscar automáticamente algunos de sus RRID. Por lo general, no incluye todos los recursos para que la tabla STAR completa pueda simplemente copiarse y pegarse, pero puede ayudar a los autores a empezar con un archivo fácil de editar.

¿Cómo puede SciScore ayudar a los investigadores a aprender y seguir las mejores prácticas para informar sobre métodos fiables en sus manuscritos?

Cuando leemos artículos titulados “ARRIVE no ha llegado” nos damos cuenta de que las listas de comprobación son difíciles de seguir para la gente. Normalmente, los científicos escriben sus artículos pensando en la fluidez y la claridad y no en una lista de comprobación, por lo que SciScore es un buen asistente. Toma la sección de métodos y comprueba rápidamente los elementos más comunes de la lista de comprobación. La mayoría de las veces, sobre todo si han escrito sus artículos de una determinada manera antes, los autores olvidan poner si han cegado o no el estudio o si han comprobado el tamaño del grupo utilizando el cálculo de potencia. Si se les recuerda, al menos pueden decir a los lectores lo que hicieron, lo que mejora la transparencia.

¿Cree que las editoriales científicas están dispuestas a exigir informes metodológicos más fiables?

Parece que hay apetito por ello. Sin embargo, antes de que existieran herramientas como SciScore, la comprobación de los elementos de rigor resultaba enormemente costosa para las revistas, por lo que sólo las revistas como Nature podían aplicar realmente una lista de comprobación verificada por costosos seres humanos. Otras revistas pedían a los autores que rellenaran algunas informaciones en las listas de comprobación o a los revisores que hicieran estas comprobaciones. Son buenos esfuerzos, pero tienden a fracasar, sobre todo si las listas de comprobación no están respaldadas por nada.

Imagínate que hubiera una casilla de verificación “¿incluyó todos los RRID necesarios en su manuscrito?” y usted tendría que marcar la casilla de que lo hizo, pero no hay nada que compruebe que realmente lo hizo. Algunas personas simplemente marcan una casilla para pasar al siguiente paso de la presentación. Si una herramienta pudiera verificar esta comprobación, habría más incentivos para que los autores mejoraran su manuscrito.

He visto en los informes de RDI que las revistas pueden variar mucho en sus puntuaciones y en el número de materiales comunicados: ¿hay campos o especialidades particulares en los que SciScore y la comunicación de métodos fiables son particularmente importantes?

El índice de rigor y transparencia varía según el campo, y sigue en gran medida los campos que se adhieren más estrechamente a las directrices. Por ejemplo, las revistas médicas suelen tener una puntuación más alta, porque los autores suelen seguir bastante de cerca las directrices CONSORT y otras (la comunidad vigila de cerca cómo se aleatorizan los sujetos y cuándo abandonan el estudio, porque eso puede ser señal de malos resultados que afecten a la vida de los pacientes). Los estudios médicos deben haber sido registrados previamente, mientras que estas normas se siguen con menos frecuencia en las revistas de biología básica, lo que da lugar a puntuaciones más bajas, y son casi inexistentes en las revistas de química.

La literatura sobre el cáncer es uno de los ámbitos en los que SciScore es, en mi opinión, quizá más importante. Aunque no todos los elementos de rigor son importantes para la literatura sobre el cáncer, la inclusión de los RRID evita en gran medida el uso de líneas celulares contaminadas y mal identificadas, por lo que SciScore recuerda a los autores que añadan los RRID y autentifiquen las líneas celulares, limpiando los lugares donde hay razones específicas de los reactivos para eliminar datos.

¿Cómo ve el futuro de la investigación reproducible?

Sabes que me gusta el ajedrez y una cosa que me gusta de él es la automatización de ciertos movimientos en una estrategia. Recuerdo haber leído que los grandes maestros de ajedrez no tienen mejor memoria para el juego que los demás, sino que piensan en grandes bloques de varias jugadas, y no en jugadas individuales.  

Preveo que en el futuro habrá un conjunto de robots que ayudarán a los humanos a comprobar cosas que son aburridas, como la información de los reactivos individuales y la autenticación. Estas comprobaciones rudimentarias deberían darnos una mayor seguridad, liberando metodológicamente a los humanos para hacer las cosas que se les dan mejor, como pensar en las implicaciones del estudio.

Tal vez sea pensar demasiado en el futuro, pero también me imagino un momento en el que un robot pueda replicar un estudio a partir de las instrucciones escritas por otro robot en una revista. En realidad, creo que replicar estudios es un poco aburrido, pero si conseguimos un sistema que lo haga de forma automática, quizá podamos asumir tareas mayores, como la estrategia general en ajedrez, sabiendo que las jugadas individuales se completarán con precisión.

Agradecimientos

Queremos dar las gracias a Anita por compartir sus conocimientos.

Would you like to be featured on our blog?

Get in touch with us!

phd student funding

Sign-up for our monthly
research funding newsletter

you can unsubscribe at any time