Prefácio: Na scientifyRESEARCH, temos todo o interesse em partilhar ideias, projetos e organizações que se tenham desenvolvido para apoiar a comunidade académica. Recentemente, tomámos conhecimento da Paperstars e conversámos com a fundadora, a Dra. Daniela Schnitzler, que está atualmente vinculada à Medical School Berlin.
Fale-nos um pouco mais sobre o seu percurso e o que a inspirou a fundar a Paperstars?
Sempre acreditei que a ciência devia ser uma busca genuína pelo conhecimento, que a academia seria um lugar movido pela curiosidade e pela integridade. Mas, mesmo enquanto estudante de licenciatura, comecei a notar um fosso entre esse ideal e a realidade. Disse a mim mesma que as coisas iriam melhorar durante o doutoramento. Em vez disso, o que encontrei foi uma cultura que recompensa as coisas erradas, onde o número de publicações importa mais do que aquilo que elas realmente contribuem.
Agora, como pós-doutoranda, tive de fazer algumas escolhas deliberadas que refletem os meus próprios valores, mesmo que estas se possam afastar das expectativas académicas tradicionais. Tenho a enorme sorte de trabalhar num laboratório que apoia isso e com pessoas que são tão entusiastas em relação à descoberta como eu.
A Paperstars nasceu dessa frustração e a verdade é que adoro um bom desafio! Quero ajudar a recolocar a ciência no rumo certo e senti que havia uma lacuna real que ninguém estava a preencher.
A Paperstars tem sido descrita como um “Goodreads para a ciência”. O que é que retirou desse modelo e o que é que teve de reinventar?
O que retirámos do Goodreads foi a simplicidade e a familiaridade do formato. As classificações por estrelas e as críticas informais são algo que as pessoas já compreendem intuitivamente não é necessária qualquer formação nem jargão. Isto reduz enormemente a barreira à participação, o que é fundamental quando estamos a tentar chegar a comunidades de investigadores ocupados.
O que tivemos de ponderar cuidadosamente foi o contexto. A ciência não é o mesmo que um romance; as consequências de uma crítica enganosa são diferentes. Por isso, tivemos de refletir seriamente sobre o que significa “qualidade” neste espaço, como deve ser a transparência e como tornar o sinal útil e significativo, em vez de apenas popular. Não estamos a tentar replicar os processos de revisão por pares já existentes e inovadores.
Estamos a tentar acrescentar uma camada humana de julgamento crítico que os acompanhe, especialmente agora, na era da Inteligência Artificial Generativa.
Numa única frase: o que é que a Paperstars está realmente a tentar resolver?
A Paperstars quer separar a ciência das métricas de publicação, reformulando a forma como a ciência é avaliada.
Como é que gere o seu trabalho atual na academia e o crescimento da Paperstars?
É muito trabalho, não vou fingir o contrário. Mas uma das coisas que passei a valorizar é que continuar na academia não é uma cedência, é uma vantagem. Ser pós-doutoranda mantém-me no lado de dentro.
Eu sei aquilo de que os investigadores em início de carreira precisam, o que os frustra e com o que é que eles se vão realmente comprometer. Há também algo que acho que os académicos muitas vezes não reconhecem em si mesmos: nem sempre tratamos o nosso trabalho como trabalho.
Sou profundamente apaixonada tanto pela minha investigação como pela Paperstars, e essa paixão é o que torna as longas horas sustentáveis. Mas também estou a tentar ser honesta comigo mesma sobre o esforço envolvido, isto é uma startup real e exige um compromisso real.
Porque é que os investigadores devem confiar na vossa nova plataforma, a Paperstars?
Porque foi construída por investigadores, para investigadores. Tanto eu como a minha cofundadora, a Jenna, temos doutoramento em ciências da vida. Vivemos esta cultura por dentro e, por isso, conhecemos as pressões, a política e o desejo genuíno que a maioria dos investigadores tem de fazer um bom trabalho. Além disso, a Paperstars é movida pela comunidade.
A confiança é algo que se conquista através da transparência, de saber ouvir e de construir algo que reflita realmente aquilo que os investigadores valorizam. Estamos a fazer o trabalho árduo de falar com todas as pessoas que conseguimos em todo o ecossistema de investigação, desde investigadores em início de carreira, financiadores e editoras, até parceiros da indústria, para garantir que construímos algo que os sirva genuinamente. Por fim, adotámos muitas medidas para garantir a segurança tanto dos utilizadores como dos autores dos artigos.
Em primeiro lugar, todas as críticas são moderadas por nós antes de ficarem online, para verificar se estão alinhadas com o nosso código de conduta — não moderamos o conteúdo, mas queremos garantir um nível básico de respeito. Em segundo lugar, as contribuições para a Paperstars são sempre anónimas, sendo atribuído um novo pseudónimo por artigo. Isto também se estende à parte administrativa, nem eu sei quem é o utilizador quando este deixa uma classificação e uma crítica!
Devido a esta camada de anonimato, criámos alertas ao nível da administração que nos avisam sobre utilizadores que deixem classificações baixas para um único autor em vários artigos ou que deixem três críticas negativas consecutivas. Isto permite-nos investigar se está a ocorrer um assédio real ou se as críticas são genuínas.
O que é que torna o vosso sistema de classificação fundamentalmente diferente da revisão por pares ou das altmetrias?
A revisão por pares tradicional acontece antes da publicação, à porta fechada, por um pequeno número de revisores. As altmetrias medem a força com que algo se espalha, mas a viralidade e o rigor não são a mesma coisa. Nenhuma destas abordagens diz muito sobre se o trabalho é realmente digno de confiança. A Paperstars é pós publicação, aberta e movida pela comunidade.
Não é um mecanismo de controlo de acesso, é uma conversa pública e contínua sobre qualidade. E, crucialmente, acrescenta algo que as ferramentas automatizadas são cada vez mais incapazes de fornecer: o julgamento humano. O tipo de avaliação contextual e de bom senso que consegue detetar um resultado estatisticamente significativo mas cientificamente sem sentido, falhas de lógica, ou sinalizar problemas metodológicos que um resumo de inteligência artificial deixaria passar completamente.
O que é que a “qualidade” na ciência significa realmente para si?
Para mim, qualidade significa rigor e reprodutibilidade. Pode ser difícil determinar se um estudo é realmente reprodutível apenas ao lê-lo, mas ver se os dados estão disponíveis, se a análise é minuciosa e se as conclusões são proporcionais à evidência é um excelente ponto de partida.
Significa também honestidade em relação às limitações. Alguns dos artigos mais valiosos que já li são aqueles que reconhecem claramente o que não sabem. Esse tipo de integridade intelectual é exatamente o que a Paperstars foi concebida para trazer à superfície e recompensar.
Se pudesse mudar uma norma na academia amanhã, qual seria?
Se pudesse mudar uma coisa, eliminaria as métricas quantitativas de publicação como indicador do valor científico. O fator de impacto da revista onde se publica não deveria ter qualquer peso na progressão na carreira, no financiamento ou na reputação.
O que deveria importar é a qualidade e a transparência da própria investigação. Anseio por um futuro onde fazer boa ciência importe mais do que a altura do índice H ou o número de revistas de alto impacto em que se publicou!
Agradecimentos:
Gostaríamos de agradecer sinceramente à Dra. Daniela Schnitzler pela disponibilidade para partilhar as suas perspetivas, experiências e a visão por trás da Paperstars. As suas reflexões sobre a qualidade da investigação, a cultura académica e o futuro da avaliação científica ofereceram uma perspetiva ponderada e inspiradora sobre os desafios que a ciência moderna enfrenta.