Problems and Considerations in the Design of Bibliometric Indicators for National Performance-Based Research Funding Systems

This article presents an overview of ten specific problems and considerations that are typically involved in designs of bibliometric indicators for national performance-based research funding systems (PRFS). While any such system must be understood and respected on the background of different national contexts, mutual learning across countries can inspire improvements. The paper is partly based on experiences from a Mutual Learning Exercise (MLE) on Performance Based Funding Systems which was organized by the European Commission in 2016–17and involved fourteen European countries, partly on experiences from advising a few other countries in developing such systems. A framework for understanding country differences in the design of PRFS is presented first, followed by a presentation of the five specific problems and considerations that are typically involved in designs of bibliometric indicators for such system. The article concludes with an overview of how Norway’s PRFS has dealt with the same five problems.

Problemy i zagadnienia związane z projektowaniem bibliometrycznych wskaźników dla krajowych systemów finansowania badań opartych na wynikach

Artykuł obejmuje przegląd dziesięciu konkretnych problemów i zagadnień, które zazwyczaj pojawiają się przy projektowaniu bibliometrycznych wskaźników dla krajowych systemów finansowania opartych na wynikach (z ang. „performance-based research funding systems” -PRFS). Każdy taki system należy analizować w specyficznym kontekście krajowym, ale wzajemne uczenie się może inspirować do wprowadzania usprawnień. Artykuł powstał częściowo w oparciu o doświadczenia z warsztatów wzajemnego uczenia się (MLE) dotyczących systemów finansowania opartych na wynikach. Warsztaty dla czternastu krajów europejskich zorganizowała w latach 2016–2017 Komisja Europejska. Poza tym podstawą do napisania artykułu są doświadczenia związane z doradzaniem kilku krajom przy opracowywaniu takich systemów. Pierwsza część dotyczy różnic przy projektowaniu PRFS pomiędzy państwami, następnie przedstawiono pięć konkretnych problemów i zagadnień, które zazwyczaj wiążą się z projektowaniem wskaźników bibliometrycznych dla takiego systemu. Na koniec znajduje się opis tego, jak te pięć problemów rozwiązano w norweskim systemie PRFS.

REFERENCES:

Literature:

• Aagaard K., How incentives trickle down: Local use of a national bibliometric indicator
  system, “Science and Public Policy” 2015, No. 5.
• Debackere K., Arnold E., Sivertsen G., Spaapen J., Sturn D., Performance-based Research
  Funding Systems, Brussels 2017.
• Geuna A., Martin B.R., University research evaluation and funding: an international comparison,
  “Minerva” 2003, No. 41.
• Geuna A., Piolatto M., Research assessment in the UK and Italy: Costly and difficult, but
  probably worth it (at least for a while), “Research Policy” 2016, No. 45.
• Hicks D. et al., Bibliometrics: The Leiden Manifesto for Research Metrics, 2015.
• Hicks D., Performance-based university research funding systems, “Research Policy”
  2012, No. 41.
• Hicks D., Wouters P., Waltman L., de Rijcke S., Rafols I., Bibliometrics: The Leiden Manifesto
  for Research Metrics, “Nature” 2015, vol. 520.
• Jonkers K., Zacharewicz T., Research Performance Based Funding Systems: A Comparative
  Assessment, Brussels 2016.
• Malmberg A., Kettis Å., Maandi C., KoF17. Quality and Renewal 2017. Research Environment
  Evaluation at Uppsala University, Uppsala 2017.
• Sivertsen G., Balanced multilingualism in research, “BiD: textos universitaris de biblioteconomia
  i documentació” 2018, No. 40, http://dx.doi.org/10.1344/BiD2018.40.25.
• Sivertsen G., Finansowanie oparte na publikacjach – Model norweski, „Nauka i Szkolnictwo
  Wyższe” 2017, nr 1(49).
• Sivertsen G., Rousseau R., Zhang L., Measuring Scientific Production with Modified Fractional
  Counting, “Journal of Informetrics” 2019, No. 2.
• Sivertsen G., The Norwegian Model in Norway, “Journal of Data and Information Science”
  2018, No. 4.
• Sivertsen G., Unique, but still best practice? The Research Excellence Framework (REF)
  from an international perspective, “Palgrave Communications” 2017, No. 3.
• Swedish Government, Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft,
  Stockholm 2016.
• Swedish Research Council, Research Quality Evaluation in Sweden – Fokus, Stockholm 2015.
• Wilsdon J. et al., The Metric Tide: The Independent Review of the Role of Metrics in Research
  Assessment and Management, 2015, DOI: 10.13140/RG.2.1.4929.1363.