La declaración de San Francisco sobre la evaluación de la Investigación (DORA) surge ante la necesidad de cambiar la perspectiva en la que se evalúa actualmente la calidad investigadora.
Según la declaración, algunos de los problemas que han de ser solucionados son:
Por ello, se plantean una serie de recomendaciones que incluyen recomendaciones para agencias de financiación, las instituciones, las editoriales organizaciones que proporcionan métricas y para investigadores. Además plantea una recomendación general que resume las ideas de DORA:
No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.
Además propone otras medidas como el uso de una variedad de métricas más amplia, la importancia de la evaluación cualitativa frente a la cuantitativa, y la toma en cuenta de todo tipo de resultados de la investigación.
En la misma línea se posiciona el Manifiesto de Leiden sobre indicadores de investigación elaborado en 2014 en un congreso celebrado en la Leiden Universiteit (Holanda) y publicado en el año 2015 en la prestigiosa revista Nature.
El manifiesto de Leiden recoge 10 principios.
1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.
2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.
3. La excelencia en investigación de relevancia local debe ser protegida.
4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.
5. Los datos y análisis deben estar abiertos a verificación por los evaluados.
6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.
7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.
8. Debe evitarse la concreción improcedente y la falsa precisión.
9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.
10. Los indicadores deben ser examinados y actualizados periódicamente.
En 2022 se crea la Coalition for Advancing Research Assessment (COARA) que pretende transformar el sistema de evaluación científica a nivel europeo para hacerlo más justo y transparente. Propone, entre otros elementos:
Favorecer la evaluación por pares a la evaluación cuantitativa
Rechazar el uso inapropiado de rankings y métricas como el JIF o índice-h
España es el segundo país con número de miembros firmantes de COARA (también la UNED). La adhesión de la ANECA y de la FECYT ejemplifican el compromiso de las instituciones españolas con el cambio de paradigma.
La Estrategia Nacional de Ciencia Abierta publicada en mayo de 2023 tiene como objetivo establecer nuevas formas de medir el rendimiento de investigación. Así, la Estrategia pretende adecuar los procesos de evaluación del mérito docente, investigador y de transferencia a los parámetros de la ciencia abierta.
Para ello, se disminuirá de forma progresiva el uso de indicadores bibliométricos cuantitativos relacionados con el impacto de las revistas (JCR Journal Citation Reports y SJR SCImago Journal Rank) en la evaluación de méritos curriculares del personal investigador, incorporándose paulatinamente indicadores cualitativos. Se promoverá el uso de criterios de mérito basados en la importancia de las aportaciones científico-técnicas y su contenido. Se utilizarán criterios reconocidos internacionalmente que valoren la diversidad de aportaciones científico-técnicas del personal investigador más allá de las publicaciones científicas, tales como la divulgación y la asesoría científica, la gestión científica, la formación y el impacto de los resultados de la investigación en la sociedad. Se creará un foro de discusión estable de todos los actores del SECTI involucrados para avanzar de forma coordinada en la reflexión e implementación del cambio.