Response to: 'Bibliometric Analysis and Impact of Open-Access Editorials in Spain' report from ANECA
At the bottom of the announcement, you can read the Spanish version.
On 1 October 2021, ANECA released a public report entitled "Bibliometric analysis and impact of open-access publishers in Spain", raising controversy in the Spanish academic community. Stakeholders have quickly responded with surprise, criticism and rebuttal. In our own report analysis, we were perplexed by the evident lack of academic rigor and inappropriate methodology.
We were surprised and concerned that ANECA established the principles for the evaluation of researchers in Spain based on a report with a clear bias against open access journals. Similarly, we do not understand why such a report has been prepared by researchers specializing in marketing and tourism, without experience in the field of bibliometrics.
We believe that the Spanish university system deserves an exhaustive report, conducted by experts in the field, that moves away from prejudices towards open access and disregards the recommendations of the European Commission and the Ministry of Science and Innovation (Strategic Objectives | FECYT).
From the outset, the report leaves many unanswered questions: What were the criteria for choosing the study sample? Why are publishers and individual journals (e.g., Scientific Reports) mixed up in the analysis? Considering that the analysis has not been limited to open access publishers (Nature is included), one might also question why open access journals belonging to traditional publishers have been excluded from the analysis.
The report follows a perverse logic: whatever is not standard is considered negative, based on a standard defined by the average value of publication volume and rate of self-citations, without considering additional factors that may affect the parameters analyzed. Thus, the analysis is based on a series of non-contrasted or referenced statements that the authors use to manufacture their own paradigms.
The authors assume that a more significant number of articles inevitably implies lower “quality, rigor and degree of contribution and originality” (page 7 of the report). However, they do not provide any evidence or references to support this claim. Such a statement lacks logic and could also be used to discredit the best-known traditional publishers, many of which have published more than open-access publishers. Furthermore, many JCR Q1 subscription journals have also been designated as non-standard behavior due to the number of articles they publish.
Regarding the volume of publication at MDPI, we understand that articles must be correctly evaluated through a reputable peer-review process which remains unaltered by the number of articles published. However, we believe that rejecting scientifically correct articles is a practice that does not benefit the scientific community and, therefore, we also publish null results, even though they are not usually highly cited works.
Page 83 of the report mentions that if additional information is required to evaluate the works published in these journals, the review time could be considered to be an indicator of quality. We do not believe that review time is an appropriate criterion when evaluating the quality of the peer review; instead, the review report should be assessed for its quality and contribution to the article. We believe that long and unjustifiable publication periods hinder scientific progress, and that agile and rigorous publication should not be penalized in any instance.
Furthermore, we believe that the review process should be as transparent as possible. For this reason, we offer all our authors the possibility of publishing their articles in open peer review. This gives the reader the benefit of accessing the review reports and the authors' responses for a better contextualization of the article. In 2020 alone, MDPI journals published 34,293 articles following this model. In addition, an open review process allows the academic community as a whole to judge whether the review process is rigorous.
As for the economic data provided in the report, these are far from accurate as far as MDPI is concerned. For example, in the report, MDPI's income from Spain for the 2017-2019 fiscal years is estimated at EUR 20.7 million, when, in reality, it was EUR 7.68 million. Suppose the same margin of error applies to the other open-access publishers mentioned in the report. In that case, it could be understood that the report was intended to influence the perception of open access publishers within the Spanish scientific community. Furthermore, data referring to the income that traditional publishers generate in Spain are not provided—a point that would be very useful in establishing a global vision of the publishing scene in Spain.
In addition, the report includes data comparisons that we believe generate bias rather than provide a realistic view. For example, the authors compare the estimated global revenue of Open Access publishing publishers (472 million) to the revenue of traditional publishers based in Europe alone (720 million), concluding: “That is to say, currently, to publish in the open access journals of the publishers mentioned in JCR, almost 66% more must be added to what is paid for access to subscription journals in Europe” (pages 45 and 46). With this, the authors make another incorrect comparison to delegitimize the open-access model.
The authors of the report also indicate that open access journals receive fewer citations (Page 5). This is simply not true. There is abundant literature showing that open publications tend to have a higher number of citations (see link).
To conclude, we believe that this report violates the transparency ANECA has been defending in recent years. The proposed evaluation system fosters opacity and inequality in the Spanish academic evaluation system. We believe that ANECA's evaluation criteria should be well defined, public and equal to all.
For the reasons stated above and the multitude of objections that the academic community has highlighted, we request that the report be reconsidered by ANECA and evaluated in detail by experts in the field.
--- Spanish version ---
El pasado 1 de octubre la ANECA hacía público el informe titulado "Análisis bibliométrico e impacto de las editoriales Open Access en España" levantando cierta polémica en la comunidad académica española que desde hace días viene criticando distintos aspectos del mismo. Al analizar el informe hemos visto con perplejidad lo que consideramos una clara falta de rigor académico e inapropiada metodología.
Nos sorprende y preocupa que la ANECA establezca los principios para la evaluación de los investigadores en España sobre la base de un informe con un claro sesgo contra las revistas en acceso abierto. De igual modo que no comprendemos por qué dicho informe ha sido elaborado por investigadores especializados en marketing y turismo, sin experiencia previa en el ámbito de la bibliometría. Consideramos que el sistema universitario español merece un informe exhaustivo realizado por expertos en la materia que se aleje de prejuicios hacia el acceso abierto que creíamos ya superados y que van en contra de las recomendaciones de la Comisión Europea y el ministerio de ciencia e innovación (Objetivos estratégicos | FECYT).
De entrada, la lectura del informe deja muchas preguntas en el aire, tales como: ¿Cuál ha sido el criterio para elegir la muestra del estudio? ¿Por qué se mezclan en el análisis editoriales y revistas individuales (p. ej., Scientific Reports)? Considerando que el análisis no se ha limitado a editoriales Open Access (Nature see incluye), cabría también preguntarse por qué se han excluido del análisis las revistas de acceso abierto pertenecientes al resto de editoriales tradicionales.
El informe sigue además una lógica perversa según la cual lo que no es estándar es considerado como negativo, entendiendo como estándar el valor medio en términos de volumen y tasa de autocitas, sin tener en consideración factores adicionales que pueden afectar a los parámetros analizados. Así, el análisis se fundamenta en una serie de afirmaciones no contrastadas ni referenciadas que los autores utilizan para crear sus propios paradigmas.
Los autores asumen que un mayor número de artículos implica inevitablemente una menor “calidad, rigor y grado de contribución y originalidad” de los mismos (página 7 del informe). Sin embargo, no aportan ningún tipo de prueba o referencia que respalde esta afirmación. Esta afirmación es tan carente de lógica que podríamos fácilmente usarla también para desprestigiar las editoriales tradicionales más conocidas y argumentar que al publicar más que las editoriales en acceso abierto su calidad, rigor y originalidad ha de ser menor. De hecho, un buen número de revistas de suscripción en Q1 de JCR también han sido señaladas como publicaciones con comportamiento no estándar debido a la cantidad de artículos que publican.
Con respecto al volumen de publicación, en MDPI entendemos que los artículos deben ser correctamente evaluados mediante un proceso de revisión por pares sólido no alterado por la cantidad de artículos publicados. Creemos que rechazar artículos científicamente correctos es una práctica que no favorece a la comunidad científica y por ello publicamos también resultados nulos aun cuando no suelen ser trabajos muy citados.
El informe menciona (página 83) que en caso de precisarse información complementaria para evaluar los trabajos publicados en estas revistas se podría considerar como indicador de calidad el tiempo de revisión. Desde MDPI no entendemos que el tiempo de revisión sea un criterio a tener en cuenta a la hora de evaluar la calidad de la revisión por pares, el informe de revisión debería evaluarse por la calidad del mismo y su aportación a la mejora del artículo. Creemos que los largos e injustificables plazos de publicación entorpecen el avance científico y en ningún lugar debería penalizarse una publicación ágil y rigurosa.
Además, creemos que el proceso de revisión debe ser lo más transparente posible. Por ello, ofrecemos a todos nuestros autores la posibilidad de publicar sus artículos en open peer review. Esto favorece que el lector se beneficie de los informes de revisión y de las respuestas de los autores para una mejor contextualización del artículo. Solo en 2020, las revistas de MDPI han publicado 34,293 artículos siguiendo este modelo. Ofrecer el proceso de revisión en abierto permite además que sea la propia comunidad académica quien juzgue si el proceso de revisión es riguroso.
En cuanto a los datos económicos proporcionados en el informe, en lo que a MDPI concierne, estos distan mucho de la realidad. En el informe se estima en 20,7 millones los ingresos de MDPI en España para los ejercicios 2017-2019, cuando en realidad fueron de 7,68 millones de euros. Si el mismo margen de error es aplicable al resto de editoriales de acceso abierto que se muestran en el informe, podría entenderse que existe la intención de condicionar la percepción que la comunidad científica española tiene de las editoriales de acceso abierto. En este sentido no se proporcionan los datos referentes a los costes que las editoriales tradicionales generan en España, punto este que sería de gran utilidad para establecer una visión global del panorama editorial en España.
Asimismo, el informe incluye comparativas de datos que parecen más encaminadas a generar un prejuicio que a proporcionar una visión realista. En el informe los autores comparan la estimación de ingresos globales de las revistas editoriales Open Access (472 millones) frente a los ingresos de las tradicionales sólo en Europa (720 millones), para concluir que: “Es decir, actualmente, por publicar en las revistas de acceso abierto de las editoriales mencionadas en JCR hay que añadir casi un 66% más a lo que se paga por el acceso a las revistas de suscripción en Europa” (páginas 45 y 46). Haciendo por tanto comparativas incorrectas en un esfuerzo por deslegitimar el modelo abierto.
Los autores también indican en el informe que las revistas de acceso abierto reciben un menor número de citas (Página 5). Existe abundante literatura en la que se demuestra que las publicaciones en abierto tienden a tener un mayor número de citas (ver el enlace).
Para concluir entendemos que este informe atenta contra la política de transparencia que ANECA viene defendiendo en los últimos años. El sistema de evaluación propuesto propicia la opacidad y la desigualdad en el sistema de evaluación académico español. Creemos que los criterios de evaluación de ANECA deberían de estar bien definidos, ser públicos e iguales para todos.
Por los motivos arriba expuestos, así como por las distintas objeciones que la comunidad académica ha resaltado, desde MDPI consideramos que dicho informe debería ser reconsiderado por parte de la ANECA y ser evaluado en detalle por expertos en la materia.
Contact:
Dr. Unai Vicario
Publisher & Scientific Officer, MDPI Barcelona
vicario@mdpi.com