La evaluación de la calidad de la investigación seguirá siendo el pilar básico de la evaluación de la actividad investigadora. Se recomienda dar mayor prominencia a la evaluación cualitativa frente a la cuantitativa, siendo la evaluación por pares la mejor manera de evaluar la calidad de una publicación.
Las métricas pueden reforzar la evaluación cualitativa, pero DORA recomienda que se usen métricas a nivel de publicación (y no de revista o editorial) y que en cualquier caso se usen en contexto y de manera responsable.
Para consultar las herramientas tradicionales de evaluación de la investigación, puede consultarse la biblioguía Herramientas de evaluación de la investigación.
La publicación en acceso abierto es valorada positivamente en la evaluación de la investigación:
Ejemplo:
El artículo se ha publicado en acceso abierto en la revista X (incluir enlace), y los datos en el repositorio X (incluir enlace).
La gestión de datos ha de estar reflejada en un Plan de Gestión de Datos, asegurando el cumplimiento de los principios FAIR (encontrables, accesibles, interoperables y reutilizables), estén o no los datos en abierto.
Ejemplo:
Los datos recogidos en la investigación se han tratado conforme a lo especificado en el Plan de Gestión de Datos del proyecto X, elaborado con la herramienta X, y siguiendo los principios FAIR. Asimismo, los datos se han depositado en abierto en el repositorio X y han obtenido X visualizaciones y X descargas.
Se valora la producción de resultados de la investigación de naturaleza diversa, así su puesta a disposición de la comunidad investigadora a través de repositorios institucionales o especializados. De especial valor son los protocolos, cuadernos de código, etc., que permiten la reproducibilidad de la investigación, así como la creación de software libre.
Ejemplo:
Los cuadernos de código se han publicado en el repositorio X y como parte del dataset ya mencionado.
La evaluación por pares en abierto es una manera transparente de mostrar la calidad de la evaluación previa a la publicación.
Ejemplo:
La evaluación por pares se realizó en abierto, como puede observarse en el siguiente enlace.
En el caso de que la investigación cumpla el código ético o deontológico de un organismo o institución.
Ejemplo:
En esta investigación se han seguido las indicaciones del Comité X. Además, los autores han asegurado la replicabilidad de la investigación.
La múltiple autoría puede implicar una colaboración internacional, multidisciplinar o interdisciplinar que conviene destacar. Además, en el caso de múltiples autores, conviene especificar la labor específica de cada una de las contribuciones, preferiblemente usando la taxonomía CRediT.
Ejemplo:
En esta publicación, derivada de la tesis doctoral, la solicitante se ha encargado del diseño y de la recogida de datos, así como de la redacción del manuscrito. Destaca la colaboración interdisciplinar con la profesora X de la Escuela Superior de Ingeniería Informática.
En el caso de que la publicación esté vinculada a un proyecto de investigación nacional o internacional, estancias, tesis, premios, etc.
Ejemplo:
El artículo fue elaborado en el marco del proyecto X, cofinanciado por la Comisión Europea en el marco del programa Horizonte Europa.
Por ejemplo, en el caso de que la investigación se ha realizado por un grupo de investigación del que el solicitante es responsable o miembro, o si deriva de la formación de investigadores.
Ejemplo:
Esta publicación se ha elaborado por el grupo de investigación X...
En esta publicación el solicitante firma junto con X, doctorando procedente de la University of Oxford, tutorizado por la solicitante.
Fuentes: colección principal de la Web of Science, Scopus, Dialnet Métricas y Google Académico, entre otras. En el caso de libros, capítulos y congresos, puede usarse también Google Books.
Ejemplo:
El artículo ha recibido X citas en la colección principal de la Web of Science, X citas en Scopus, X citas en Dialnet Métricas y X citas en Google Académico.
El capítulo ha recibido X citas en la colección principal de la Web of Science, X citas en Scopus, X citas en Dialnet Métricas y X citas en Google Académico. Además, la búsqueda en Google Books informa de que el capítulo ha sido citado en X. Finalmente, el capítulo también ha sido citado en el libro X y en el congreso X.
Las citas pueden analizarse en función de su procedencia (revista, autor, etc.). Para ello, hay que clicar en el número de citas y realizar un análisis individualizado de cada caso para reconocer, por ejemplo, a los investigadores relevantes que hayan citado el trabajo.
Ejemplo:
Entre las citas recibidas, destacan la referencia del profesor X, con un índice h de X y un premio X, en un artículo de 2022, publicado en la prestigiosa revista internacional X.
La herramienta Scite puede resultar de utilidad para contextualizar la orientación positiva, neutra o negativa de las citas recibidas.
La Web of Science también ofrece información contextual, es decir, indica dónde se citan nuestras publicaciones (introducción, metodología o resultados) ayudando a elaborar una narrativa sobre el uso que otros investigadores han realizado de nuestra publicación.
En las mismas fuentes, puede realizarse una búsqueda por título de revista y año de publicación, para después ordenar los resultados por orden descendente de citación.
Ejemplo:
Si ordenamos de mayor a menor número de citas recibidas todos los trabajos publicados en la revista Psicothema en el año 2021 este trabajo ocupa la posición 22 de 162 (Fuente de información: Web of Science).
Indicador de citación normalizado por disciplina
Fuente: Scopus
Ejemplo:
El artículo ha obtenido un Field-Weighted Citation Impact de 1.23, lo que le indica que ha obtenido un 23% más de citas que el promedio mundial de la disciplina.
Indicador que muestra la distribución de citación por materia y año. El percentil nos muestra el número de artículos que han recibido una citación similar.
Fuente: pestaña Field Baselines, opción Percentiles de los Essential Science Indicators de la Web of Science.
Ejemplo:
El análisis de la citación revela que el artículo ha recibido 9 citas en la colección principal de la Web of Science, lo que le sitúa entre el 20% y el 50% de los artículos más citados de la especialidad Psychiatry/Psychology (Fuente de información: Field Baselines de los Essential Science Indicators – Web of Science).
El Author Impact Beamplot visualiza la citación normalizada por autores. El beamplot muestra el percentil de citación normalizada de cada publicación por materia y año.
Fuente: perfiles de autor en Web of Science
Ejemplo:
El artículo se ha situado en el percentil 78 de citación global atendiendo a los datos disponibles en el Author Impact Beamplot de la Web of Science.
Fuente: para las reseñas puede consultarse Dialnet (obras hispanoamericanas) Scopus, Web of Science y otros recursos (obras en inglés y otros idiomas diferentes al castellano) y fuentes personales. No son fáciles de localizar. En cuanto a las traducciones, el editor y el autor deben conocer esta información.
Ejemplo:
El libro ha sido reseñado por X en el número X de la revista X. Además, la obra ha sido traducida al idioma X.
Fuentes: web del editor, repositorio o similar.
Ejemplo:
El capítulo ha obtenido X visualizados y X descargas (Fuente: repositorio X, incluir enlace al identificador asignado al documento o a la web donde pueden consultarse los datos).
Fuente: búsqueda por revistas en MIAR.
Ejemplo:
El artículo está indizado en las bases de datos especializadas como ERIC o PsycINFO y en las multidisciplinares Web of Science y Scopus.
Presencia en catálogos de bibliotecas (solo para capítulos, libros y congresos).
Fuente: WorldCat. En ocasiones, es necesario indicar un código postal.
Ejemplo:
El libro forma parte de un amplio elenco de bibliotecas españolas, entre las que destacan X y X. A nivel internacional, el libro está presente en renombradas bibliotecas como X y X.
Los principios DORA y COARA rechazan justificar la calidad de la investigación exclusivamente con métricas asociadas al medio donde se publican. Sin embargo, puede realizarse un uso responsable de estas métricas siempre que se haga de forma contextualizada y acompañándolas de otras métricas.
Prestigio reconocido de la editorial, índice de impacto, la posición relativa de una revista y el cuartil
Fuentes: índices de impacto como Journal Citation Reports, Scimago Journal and Contry Rank, Dialnet Métricas. En el caso de no aplicar, y sobre todo para revistas de Ciencias Sociales, Ciencias Jurídicas y Ciencias Humanas, existen otras herramientas de evaluación de revistas como Latindex, CARHUS Plus+ o las revistas con sello FECYT.
Ejemplo:
El artículo está publicado en la revista X, de la prestigiosa editorial universitaria de X. La revista obtuvo ese año un índice de impacto de X según JCR, lo que la coloca en la posición 3/345 en la categoría X, situándose en una posición de primer cuartil.
Prestigio reconocido de la editorial.
Fuentes: SPI, Sello de Calidad en Edición Académica (CEA), ie-CSIC
Además, el prestigio de la editorial se puede valorar en función de las series que publica, la tasa de aceptación, el proceso de selección y evaluación de originales, si la empresa ha obtenido certificados de calidad (norma ISO o equivalente).
Ejemplo:
La prestigiosa editorial X ha sido evaluada en el ie-CSIC con una evaluación ALTA y en el SPI del año 2018 ocupa la tercera posición en la categoría X.
La relevancia de los congresos viene determinada por la periodicidad del evento, ubicación, rotación de sedes, porcentaje de especialistas extranjeros en el comité científico, número de miembros del comité científico, idioma oficial del congreso, sociedad científica organizadora, destinatarios…
En algunas áreas, como la ingeniería informática, también pueden incluirse las clasificaciones de herramientas como GII-GRIN-SCIE Conference Rating y otras disponibles en este enlace de la Biblioteca de la Universidad de Murcia.
Ejemplo:
Congreso de la International Society X celebrado en Manchester en 2020. En el comité científico figuraban investigadores como …