scientifyRESEARCH
research funding database

SciScore: um assistente para relatórios de métodos confiáveis

Share this post

SciScore: an assistant for reliable methods reporting Anita Bandrowski, PhD, CEO. The SciScore logo appears underneath this text, and a blue graphic of a desktop computer with the SciScore logo on the monitor is at the right.

Prefácio: Perguntámos a Anita Bandrowski da SciScore sobre a qualidade dos relatórios de métodos e ficámos a conhecer as ferramentas desenvolvidas para ajudar os investigadores a escrever secções de métodos completas, de forma rigorosa e a aumentar a capacidade de reprodução científica.  A SciScore possa ajudar a preencher os relatórios MDAR e as tabelas STAR exigidos por revistas específicas. No entanto, também fornece uma estrutura para verificar se coisas como oligos, estatísticas e códigos indicados num manuscrito antes de alguém sair do laboratório. Esta entrevista faz parte da nossa série contínua de conversas com pessoas que utilizam formas inovadoras para ajudar a apoiar a sua investigação.

Pode falar-nos um pouco de si e a que a levou a criar a SciScore?

Tenho trabalhado tanto em laboratório como na área de informática. Portanto, em relação à abordagem de tópicos científicos, tenho tendência a ter uma mentalidade de cientista de laboratório, o que pode ser benéfico em alguns casos.   

A SciScore surgiu da frustração de muitos cientistas de laboratório que tentaram encontrar anticorpos e outros recursos mas simplesmente não o conseguiram fazer. Inicialmente, começámos o projeto RRID project, que pede aos autores que procurem identificadores persistentes para anticorpos e outros recursos de investigação utilizados em papel. O problema com esta implementação é que alguém, ou esperamos que algo, tem de lembrar os autores de adicionar informação aos seus artigos. Esta ferramenta foi criada com o objetivo de lembrar aos autores, antes de publicarem, que tinham omitido algo, antes que se perdesse.

Como investigadora, tenho-me debatido com a tentativa de replicar métodos de artigos de investigação. Como é que o SciScore ajuda a comunidade com isto?

SciScore foi criada para ser ‘jogada’, ou seja, dá aos escritores que se lembram de várias coisas, como nomear corretamente o rato ou lembrar-se de colocar os critérios de inclusão e exclusão, uma pontuação numérica mais elevada. Desde que a SciScore é utilizada durante o processo de publicação, relembra os escritores caso se tenham esquecido de alguma coisa. São estas pequenas coisas (não conseguir encontrar um anticorpo ou o rato certo) que tornam muito difícil a reprodução de um estudo, mas que são fáceis de corrigir com um pouco mais de informação por parte do autor. Isto não garante a capacidade de reprodução de um estudo, mas ajuda-nos definitivamente a avançar nessa direção.

Pode contar-nos sobre os diferentes relatórios da SciScore, e quando nós investigadores precisaríamos de saber se os nossos manuscritos têm uma boa pontuação?  

A SciScore produz 3 relatórios: o relatório do autor (maior parte dos autores recebe-o das suas revistas), o relatório MDAR e a tabela STAR. A informação e a pontuação são acessíveis a partir do relatório do autor, uma vez que este se destina a ser o mais interativo possível. O relatório mostra a frase que os autores utilizaram e o que foi extraído da frase, na maioria dos casos. Este é também o único relatório com uma pontuação, que se destina a ser uma medida geral do número de itens encontrados versus o número esperado pela ferramenta. O relatório destina-se à medida que o documento aborda os aspetos omitidos, a pontuação melhora.

O relatório MDAR é suposto ser apresentado a uma revista que o exija. Baseia-se na mesma informação essencial, mas não é pontuado e é um pouco mais difícil para comprovar e verificar a correção. Um exemplo de revista que exige o MDAR é a revista científica AAAS. Para eles aceitarem um artigo, existe um requerimento para que o MDAR seja preenchido. A SciScore pode produzir uma lista de tarefas já preenchida e é baseada no próprio artigo, algo que esta lista de tarefas não garante já que pode ser preenchida sem que aumente o artigo em si.

A tabela START é um ficheiro csv que apenas inclui a tabela de recursos. Destina-se a ser utilizada por escritores que pretendam consultar automaticamente alguns dos seus RRID. Geralmente não inclui todos os recursos para que a tabela STAR possa ser simplesmente copiada e colada, mas pode ajudar os autores a começar com um ficheiro de fácil edição.

De que forma pode a SciScore ajudar investigadores a aprender e a seguir as melhores práticas para uma apresentação fiável dos métodos nos seus manuscritos?

Quando lemos artigos com o título “ARRIVE has not arrived” (A chegada ainda não chegou”) percebemos que é difícil para as pessoas seguirem listas de tarefas. Normalmente, os cientistas escrevem os seus artigos com fluidez e clareza, e não com uma lista, por isso SciScience é uma boa assistente. Utiliza a secção de métodos e rapidamente assinala as tarefas mais comuns da lista. Na maioria do tempo, em especial se eles escreveram de certa forma antes nos seus artigos, os autores esquecem-se de colocar se o estudo foi às cegas ou não ou se eles calcularam a dimensão do grupo. Se eles se lembram, eles podem pelo menos partilhar com os leitores o que eles fizeram, aumentando a transparência.

Acha que a publicação científica está a investir na exigência de métodos de informação mais fiáveis?

Parece que há vontade de o fazer. No entanto, antes de ferramentas com a SciScore, verificar itens era demasiado dispendioso para as revistas científicas, e por isso, revistas como Nature podia criar uma lista que era verificada de forma cara por humanos. Outras revistas pediram aos autores para preencher alguma informação na listas ou aos revisores para fazerem essas verificações. Estes esforços são bons, mas tendem a ser pouco eficazes especialmente se as listas não forem apoiadas por nada.

Imagine que existe uma caixa de verificação “incluiu todos os RRIDs necessários no seu manuscrito?” e que teria de assinalar a caixa que o fez, mas não há nada que verifique se realmente o fez. Algumas pessoas marcam simplesmente uma caixa para passarem à fase seguinte da apresentação. Se uma ferramenta pudesse verificar esta verificação, haveria mais incentivos para os autores melhorarem o seu manuscrito.

Reparei que nos relatórios do RDI as revistas científicas podem variar muito nas pontuações e no número de materiais publicados. Existem áreas ou especialidades específicas em que o SciScore e a publicação de métodos fiáveis são particularmente importantes?

O índice de Rigor e Transparência varia consoante o campo, e segue em grande parte os campos que seguem as diretrizes de forma mais aproximada. Por exemplo, as revistas médicas geralmente têm uma pontuação mais elevada, porque os autores geralmente seguem o CONSORT ou outras diretrizes de forma bastante rigorosa (a forma como os sujeitos são escolhidos de forma aleatória e quando abandonam o estudo é monitorizada de perto pela comunidade, porque isso pode indicar resultados fracos que afetam a vida dos pacientes). Os estudos médicos têm de ser pré-registados, ao passo que estas normas são menos frequentemente seguidas em revistas de biologia básica, o que resulta em pontuações mais baixas, e quase nunca são seguidas nas revistas de química.

Na minha opinião a literatura sobre cancro é um dos locais onde o SciScore é talvez o mais importante. Embora nem todos os itens de rigor sejam importantes para a literatura sobre o cancro, a inclusão de RRID impede em grande medida a utilização de linhas celulares contaminadas e mal identificadas. Assim, o SciScore lembra aos autores que devem adicionar RRIDs e autenticar linhas celulares, limpando os locais onde existem razões específicas do reagente para remover dados.

Pode partilhar qual é a sua visão para o futuro da reprodutividade de investigação? 

Sabe, eu gosto de xadrez e uma coisa que me agrada é a automatização de certas jogadas numa estratégia. Lembro-me de ter lido que os grandes mestres do xadrez não têm melhor memória de jogo do que qualquer outra pessoa, mas sim que pensam em conjuntos de várias jogadas, e não em jogadas individuais.

Imagino que, no futuro, haverá um conjunto de robôs que podem ajudar os humanos a verificar coisas que são aborrecidas, como verificar a informação e a autenticação de cada reagente. Estas verificações básicas deverão colocar-nos numa posição mais sólida, permitindo que os seres humanos façam coisas como pensar nas implicações do estudo.

Talvez isto seja pensar demasiado à frente, mas também imagino uma altura em que um estudo possa ser reproduzido por um robô a partir de instruções escritas por outro robô numa revista científica. Na verdade, penso que replicar estudos é um pouco aborrecido, mas se conseguirmos criar um sistema que o faça automaticamente, poderemos ser capazes de assumir tarefas maiores, como a estratégia global no xadrez, sabendo que as jogadas individuais serão efetuadas com precisão.

Agradecimentos

Gostaríamos de agradecer à Anita por partilhar a sua perspetiva!

Would you like to be featured on our blog?

Get in touch with us!

phd student funding

We value your opinion

Complete our 1-min user survey and receive complimentary full access to our premium research funding database.

Sign-up for our monthly
research funding newsletter

you can unsubscribe at any time