Publikationsmetriken
Voraussetzung bibliometrischer Analysen des Forschungsoutputs ist ein verantwortungsvoller Umgang mit Metriken und Kennzahlen. Die KIT-Bibliothek unterstützt Sie dabei und bietet dafür vielfältiges Angebot von Schulungen und Tools sowie bei Bedarf individuelle Beratung.
sprungmarken_marker_6888
Meine Forschung in Zahlen
Mit dem Tool KITopen Kennzahlen lassen sich Kennzahlen – z. B. für Jahresberichte, Rankings, Programm- und Zentrenfortschrittsberichte im Rahmen der programmorientierten Förderung (PoF) – ermitteln.
KITopen Kennzahlen
Was ist Bibliometrie?
Bibliometrie bezeichnet die quantitative Analyse bibliografischer Informationen von (wissenschaftlichen) Textveröffentlichungen, etwa Zeitschriftenaufsätzen oder Monografien. Bibliografische Daten umfassen alle Metadaten einer Veröffentlichung und geben Aufschluss über Autorenschaft, Herausgeber und die Zeitschrift. Darüber hinaus werden in Datenbanken auch die Referenzen oder Artikelangaben erfasst, die einen Aufsatz zitieren. Diese Informationen können statistisch ausgewertet werden und geben einen Hinweis auf die Sichtbarkeit sowie die Wirkung eines Fachartikels. Die Kennzahlen der Bibliometrie – häufig als Metriken oder Indikatoren bezeichnet – basieren dabei auf mathematischen und statistischen Modellen. Untersucht werden Merkmale bezogen auf einzelne Publikationen, Personen oder Institutionen sowie Publikationsorgane, etwas Zeitschriften.
Die Analyse des wissenschaftlichen Outputs in Form von Publikationen (z. B. Artikel, Forschungsdaten oder Vorträge), etwa durch Publikations- und Zitationsanalysen ist ein Baustein der Forschungsbewertung (eng. Research Assessment). Forschungsbewertung findet in allen Bereichen des Forschungsalltags statt:
- Analyse und Monitoring von Publikationen sowie deren Wirkung innerhalb der wissenschaftlichen Gemeinschaft und darüber hinaus
- Evaluation von Forschenden und Organisationen im Rahmen von Preisvergaben, Mittelvergaben oder Einstellungsverfahren, etwa bei Berufungen
- Identifizierung und Bewertung wissenschaftlicher Trends
- Auswahl geeigneter Publikationsorgane sowie Entwicklung einer Publikationsstrategie
- Identifizierung potenzieller neuer Kooperationspartner oder interdisziplinärer Forschungsbereiche
Bibliometrie und andere quantitative Erhebungen sollten niemals allein zur Bewertung von Forschungsleistungen und deren Impact herangezogen werden. Grundlage einer Evaluation sollte stets eine qualitative Analyse sein. Kennzahlen dienen hierbei als sinnvolle Ergänzung und evidenzbasierte Datengrundlage.
Services der KIT-Bibliothek
Die KIT-Bibliothek führt bibliometrische Analysen für Forschende sowie Institutionen des KIT durch.
Durchführung bibliometrischer Analysen
Die KIT-Bibliothek führt folgende bibliometrische Analysen für das KIT durch:
- Zusammenstellung von bibliometrischen Kennzahlen auf der Basis von KITopen, "Web of Science" und "Scopus" für Personen, Institute und Bereiche des KIT
- Ermittlung exzellenter Wissenschaftlerinnen und Wissenschaftler am KIT für die Vergabe von Forschungspreisen und Fördergeldern sowie Unterstützung bei der Entscheidung in Berufungsverfahren
- Publikationsbasierte Kooperations- und Zitationsnetzwerkanalysen
Bibliometrie und Reporting mit KITopen
Als Hochschulbibliografie bündelt KITopen alle wissenschaftlichen Veröffentlichungen des KIT an einem zentralen Ort. Neben bibliometrischen Analysen ist KITopen die Grundlage für das wissenschaftliche Reporting im Rahmen der Helmholtz-Berichte.
Für bibliometrische Evaluationen stehen Ihnen folgende Werkzeuge zur Verfügung:
- Ermittlung von klassischen und alternativen bibliometrischen Metriken von KIT-Publikationen mit dem KITopen-Kennzahlen-Tool
- Erstellung von formatierten Publikationslisten für Forschende bzw. Institute mit KITopen-Publikationslisten
Bei Fragen zu bibliometrischen Werkzeugen in KITopen wenden Sie sich gerne an das Team Bibliometrie. Bei Fragen zu Ihren Publikationen in KITopen und Ihrem KITopen-Account steht Ihnen das Team KITopen zur Verfügung.
Weitere Angebote
Neben grundlegenden bibliometrischen Analysen stehen Ihnen folgende Angebote zur Verfügung:
- Schulungen und Vorträge zu bibliometrischen Analysen und Forschungsmetriken im Rahmen der Informationskompetenzangebote
- Individuelle Schulungs- und Beratungsangebote für Institute und Arbeitsgruppen – vor Ort oder virtuell
- Individuelle Beratung zu wissenschaftlicher Sichtbarkeit und Publikationsstrategien sowie zu Autorenprofilen
Wie wird meine Forschung sichtbar?
Tipps, wie Sie Ihre Sichtbarkeit und die Wirkung Ihrer Publikationen erhöhen können:
Autorenprofile wie ORCID helfen Ihnen, Ihre Veröffentlichungen und Aktivitäten gebündelt nach außen zu tragen
Teilen Sie Ihre Aktivitäten in akademischen Netzwerken (z.B. LinkedIN, ResearchGate)
Nutzen Sie Open Access-Modelle für Ihre Textpublikationen und FAIR-Prinzipien für Ihre Forschungsdaten
Metriken bewusst einsetzen
Bibliometrische Evaluationen basieren auf quantitativen Merkmalen, den Metriken oder auch Indikatoren. Zweck dieser Kennzahlen ist das Monitoring, Ranking und die Bewertung des Einflusses wissenschaftlicher Veröffentlichungen. Sie sind Teil der Forschungsbewertung und können qualitative Evaluationen stützen.
Je nach Fragestellungen können verschiedene Metriken herangezogen werden. Alle Indikatoren beziehungsweise Metriken sind mit Einschränkungen verbunden und sollten nicht ohne Kontextualisierung verwendet werden.
Personenbezogene Metriken oder Indikatoren dienen als Werkzeug zur Messung der Forschungsleistung, indem sie die Publikationen einer Person durch einzelne Kennzahlen messbar und vergleichbar machen. Die gängigsten Metriken sind Publikations- und Zitationszahlen sowie daraus abgeleitete Kennzahlen, etwa der h-Index.
Der h-Index, auch Hirsch-Index, wurde 2005 von dem Physiker Jorge E. Hirsch entwickelt. Der h-Index entspricht der Anzahl Publikationen h, die mindestens h oder mehr Zitationen aufweisen. Zur Bestimmung werden die Publikationen einer Person nach absteigender Anzahl der Zitationen sortiert. Ein Vorteil des h-Index ist die Stabilität gegenüber Ausreißern. Ein einzelner stark zitierter Artikel beeinflusst den h-Index nicht, da dieser die Zitationen immer in Bezug zur Gesamtzahl der veröffentlichten Artikel und deren Zitationszahlen setzt.
Beispiel: Eine Forscherin hat 10 Fachartikel veröffentlicht. Davon wurden 3 Artikel 12-mal zitiert, 1 Artikel 5-mal und die übrigen 6 Artikel weisen jeweils eine einzelne Zitation auf. Dann ist der h-Index dieser Person 4, da 4 ihrer Artikel mindestens 4-mal zitiert wurden. Angenommen, einer dieser bereits sehr viel zitierten Artikel würde noch mehr Zitationen erreichen. Dann wäre der h-Index dieser Forscherin weiterhin 4, auch wenn ihre Zitationen insgesamt gestiegen sind.
Grenzen der Bibliometrie und negative Effekte
Die Entscheidungsgrundlage für die Wahl der geeigneten bibliometrischen Indikatoren richtet sich nach der Fragestellung, die der Evaluation zugrunde liegt, insbesondere der Leistungsmessung einzelner Personen oder dem Monitoring eines Forschungsthemas.
Bibliometrische Indikatoren – unabhängig von der Bezugsgröße – können ein sinnvolles erstes Indiz sein, um Wirkung und Sichtbarkeit der Forschungsleistung zu messen. Sie ersetzen nicht die qualitative Evaluation. Die Bezeichnung „Indikator“ macht bereits deutlich, dass nur ein Teil der Wirklichkeit abgebildet wird. Sie sollten niemals als direkte Repräsentation der Realität betrachtet werden. Ebenso ist es notwendig, immer mehrere Metriken und Kennzahlen gemeinsam zu betrachten, da einzelne Zahlenwerte aufgrund systematischer Verzerrungen und Bias-Effekte verfälscht sein können.
Aus der starken Gewichtung einzelner bibliometrischer Indikatoren, insbesondere des h-Index und des JIF, folgt zunehmend Publikationsdruck auf Forschende und Institutionen – oft bezeichnet als „publish or perish“-Dilemma. Rankings, die andere, vergleichbare Prinzipien als Grundlage nutzen, tragen zusätzlich zu diesem negativen Trend bei. Dies führt in schlimmster Konsequenz zur Missachtung der Prinzipien guter wissenschaftlicher Praxis, beispielsweise durch Betrugsmodelle wie Predatory Publishing und Paper Mills. Diese schaden nicht nur individuellen Forschenden oder Institutionen, sondern auch dem Wissenschaftssystem als Ganzem.
Der h-Index wird von allen gängigen Datenbanken zur Verfügung gestellt. Hier zeigen sich auch die Schwächen dieses Indikators: Je nach Umfang der indexierten Artikeln unterscheiden sich die der Ermittlung des h-Index zugrunde gelegten Publikationszahlen bei den verschiedenen Datenbanken stark. Zudem ist er kein gängiges Mittel, um Forschende verschiedener Fachdisziplinen oder Forschende verschiedener Karrierestufen zu vergleichen. Eine Wissenschaftlerin oder ein Wissenschaftler mit langjähriger Arbeit in der Forschung hat beispielsweise einen höheren h-Index als eine Nachwuchswissenschaftlerin oder ein Nachwuchswissenschaftler.
Forschende in Fachdisziplinen mit hohem Publikationsaufkommen, etwa Medizin oder Physik, haben einen deutlich höheren h-Index als Forschende in den Geistes- und Sozialwissenschaften. Das heißt, die Fachkultur muss zwingend berücksichtigt werden, wenn der h-Index betrachtet wird. Ein Vergleich über verschiedene Disziplinen hinaus, ist nicht sinnvoll.
Der steigende Publikationsdruck, auch „publish or perish“-Dilemma genannt, hat negative Folgen auf verschiedenen Ebenen. Besonders kritisch ist die (bewusste) Missachtung der guten wissenschaftlichen Praxis. Beispiele sind die sogenannte Salami-Methode im Publizieren. Hierbei wird ein Forschungsergebnis nicht in einer großen, umfangreichen Veröffentlichung geteilt, sondern in mehrere, kleine Artikel geteilt. Ein weiteres Beispiel auf Personenebene ist die wiederholte, unbegründete Selbstzitation eigener Veröffentlichungen.
Neben diesen Verfehlungen auf individueller Ebene, nehmen auch kommerzielle bis zu kriminellen Methoden zu. Diese werden unter dem Sammelbegriff „predatory practices“ zusammengefasst. Häufig erwähnt werden in diesem Zusammenhang die „Predatory publishers“ (deu.: Raubverlage). Diese Verlage dienen rein der kommerziellen Verwertung von Forschungsergebnissen, und das ohne die Achtung jeglicher ethischer Grundsätze des wissenschaftlichen Publizierens. Unter anderem werden Peer-Review-Prozesse gefälscht oder finden schlicht nicht statt. Des Weiteren bedienen sich diese Verlage teils betrügerischer Methoden, indem sie die Weboberfläche von seriösen Zeitschriften imitieren oder sogar deren Webadresse kapern. Für Laien ist diese Fälschung nur schwer vom Original zu unterscheiden. Sollten Sie dennoch auf einen Raubverlag hereingefallen sein, dann zögern Sie nicht, dies zu melden.
Das Phänomen Paper Mills agiert ähnlich wie Raubverlage, folgt aber einem anderen Prinzip. Wie der Name „Artikelmühlen“ bereits andeutet, geht es hierbei rein um das Erzeugen von möglichst viel Output. Gegen eine Gebühr, können Forschende sich Fachartikel generieren lassen, inklusive Ko-Autorenschaften und Referenzen. Mit dem Einzug der künstlichen Intelligenz hat diese Betrugsmasche an Fahrt gewonnen und flutet zunehmend das Wissenschaftsystem mit teils plagiierten oder falschen Informationen.
Tools wie Think.Check.Submit helfen, Raubverlage zu identifizieren. Im Zweifel berät Sie Ihre KIT-Bibliothek und steht für Rückfragen bereit.
Forschungsbewertung im Wandel
Bereits im Dezember 2019 unterzeichnete das Karlsruher Institut für Technologie (KIT) die San Francisco Declaration on Research Assessment (DORA) und gehört damit zu den Erstunterzeichnern in Deutschland. Damit hat sich das KIT dem Entschluss vieler Forschungseinrichtungen angeschlossen, die Bewertung von Forschungsleistungen zu reformieren und insbesondere die Verwendung von journalbasierten Metriken zu begrenzen.
Weitere Initiativen, die eine Reform der Forschungsbewertung anstreben, sind die Coalition for Advancing Research Assessment (CoARA) und das Leiden Manifesto for Research Metrics.
Der Kurs bietet einen Einstieg in das Thema Raubverlage, welche Warnzeichen Sie beachten sollten und welche Tools Ihnen die Identifikation seriöser Verlage erleichtern. Zusätzlich bietet der Kurs auch einen Leitfaden, wie im Falle einer unbeabsichtigten Veröffentlichung in einem Raubverlag vorzugehen ist.
Zum Kurs
Der Kurs Introduction to Responsible Research Assessment führt in die Thematik Forschungsbewertung, Bibliometrie und Metriken ein. Lernen Sie, welche Probleme die Gewichtung von quantitativen Metriken mit sich bringt und wie Sie verantwortungsbewusst mit Metriken umgehen und Veränderungen in Ihre Institutionen tragen können.
Zum Kurs
Das Helmholtz Open Science Office setzt sich aktiv für Reformen in der Forschungsbewertung, besonders innerhalb der Helmholtz-Zentren, ein. In verschiedenen Task Groups werden neue Wege und Standards für die Forschungsbewertung und Qualitätsindikatoren in der Helmholtz-Gemeinschaft entwickelt.
Mehr
Im Rahmen der Kampagne zu KITopen und ORCID unter dem Motto „This is me. This is my research.“ wird gezeigt, wie einfach die Verknüpfung funktioniert und welchen Mehrwert sie bietet.
Zur Kampagne
Das Ergebnis des BMFTR-Projekts "Entwicklung eines Referenzmodells zum Reporting in wissenschaftlichen Einrichtungen anhand von DORA – ERRED" (Laufzeit 2023-2025) ist eine Sammlung von Indikatoren und Maßnahmen zur Umsetzung einer Reform der Forschungsbewertung.