Sci-Stalker: KI-Software verfolgt die Umwandlung von Kongress-Abstracts in wissenschaftliche Veröffentlichungen

Unter der Leitung von Dr. Emre Geçer entwickelt, ist Sci-Stalker eine automatisierte Recherchesoftware, die nachverfolgt, ob auf medizinischen Kongressen vorgestellte Abstracts im Laufe der Jahre in peer-reviewte wissenschaftliche Publikationen überführt werden.

Hunderte von Studien werden auf jedem medizinischen Kongress vorgestellt. Diese Abstracts enthalten oft die neuesten Erkenntnisse aus der klinischen Praxis, akademischen Forschung und wissenschaftlichen Neugier. Es ist jedoch nur selten systematisch bekannt, wie viele dieser Studien später in Fachzeitschriftenartikeln veröffentlicht wurden, die ihren Platz in der wissenschaftlichen Literatur fanden, und welche in den Konferenzbänden blieben und unentdeckt blieben.

Sci-Stalker richtet den Blick genau auf diese Frage: Wird eine auf einem Kongress präsentierte wissenschaftliche Studie mit der Zeit zu einer peer-reviewten Publikation? Die Software bietet eine Infrastruktur, die den unsichtbaren Weg zwischen Kongress-Abstracts und wissenschaftlichen Publikationen verfolgt, den Werdegang akademischer Beiträge messbar macht und dem Forschungsökosystem eine neue Beobachtungsebene hinzufügt.

Was leistet Sci-Stalker?

Sci-Stalker nimmt einen Kongress-Tagungsband als Ausgangspunkt. Aus dieser PDF-Datei extrahiert es die Beiträge, identifiziert die Autorinnen und Autoren, strukturiert Titel und Texte und sucht diese Daten anschließend in internationalen wissenschaftlichen Datenbanken.

Mit Hilfe von Quellen wie OpenAlex, PubMed und CrossRef erstellt die Software evidenzbasierte Übereinstimmungen zwischen Kongressabstracts und den anschließend veröffentlichten Artikeln. Für jedes Abstract wird der Publikationsstatus auf vier Evidenzebenen bewertet:

• EXAKT — eine starke, direkte Übereinstimmung.
• WAHRSCHEINLICH — ein hochwahrscheinlicher Treffer.
• MÖGLICH — ein möglicher Treffer, der eine sorgfältige Prüfung erfordert.
• KEINE BEWEISE — Eine Zusammenfassung, für die keine Hinweise auf eine Konvertierung in eine Veröffentlichung gefunden wurden.

Diese Struktur ermöglicht es, wissenschaftliche Ergebnisse nicht nur in numerischen Begriffen, sondern auch unter Berücksichtigung von Bewertungsstufen zu lesen.

Warum ist das wichtig?

Medizinische Kongresse sind oft der erste Ort, an dem wissenschaftliche Ergebnisse sichtbar werden. Eine Studie wird typischerweise zunächst als mündlicher Vortrag oder Poster präsentiert; sie wird dann erweitert, bei einer begutachteten Zeitschrift eingereicht und Teil der wissenschaftlichen Literatur. Dieser Prozess läuft jedoch nicht immer vollständig ab.

Einige Abstracts werden zu starken Artikeln. Einige werden Jahre später veröffentlicht. Einige erscheinen unter völlig anderen Titeln. Und einige bleiben in den Konferenzberichten und gelangen nie in den wissenschaftlichen Umlauf.

Sci-Stalker bringt dieses bisher unklare Terrain ans Licht. Es hilft systematisch zu analysieren, welche Abstracts in Publikationen überführt wurden, in welchen Fachgebieten die Konversionsraten hoch sind, in welchen Jahren der wissenschaftliche Output stärker war und welche Studien keine Spuren in der Literatur hinterlassen haben. Aus diesem Grund ist Sci-Stalker nicht bloß ein technisches Softwareprojekt; es ist ein wichtiges Werkzeug für akademische Transparenz, wissenschaftliche Nachvollziehbarkeit und die Bewertung der Forschungsqualität.

Erste Anwendung: TOTDER 2011–2024

Die erste umfassende Anwendung von Sci-Stalker wurde an den Kongress-Abstracts der Türkischen Gesellschaft für Orthopädie und Traumatologie (TOTDER) durchgeführt. Analysiert wurden vierzehn Jahre an Kongressdaten, von 2011 bis 2024.

Im Rahmen dieser ersten Studie wurden 898 Kongresspräsentationen und 1.375 eindeutige Autoren bewertet. Nach der Bereinigung doppelter Datensätze erreichte der Publikationspool, der aus PubMed und CrossRef gezogen wurde, einen Suchraum von 100.276 wissenschaftlichen Publikationen. Die ersten Ergebnisse liefern ein frappantes Bild davon, wie oft Kongressabstrakte in wissenschaftliche Publikationen umgewandelt werden.

TOTDER 2011–2024: Erste Ergebnisse

• Analysierte Kongressjahre: 2011–2024
• Gesamtpräsentationen: 898
• Eindeutige Autoren: 1.375
• Publikationspool: 100.276
• Bestätigte Übereinstimmungen der Veröffentlichung (EXAKT): 182 (20,3 %)
• Hohe Trefferwahrscheinlichkeit (WAHRSCHEINLICH): 30 (3,3%)
• Mögliche Publikationsübereinstimmung (MOGELICHE PUBLIKATIONÜBEREINSTIMMUNG): 10 (1,1%)
• Zusammenfassungen ohne Veröffentlichungsnachweis (KEIN_BEWEIS): 670 (74,6 %)

Diese Ergebnisse basieren auf Daten von PubMed und CrossRef. Mit der laufenden Integration von OpenAlex wird erwartet, dass die Zahlen noch steigen werden.

Wie die Software funktioniert

Die Logik von Sci-Stalker verfolgt Schritt für Schritt die Kette vom Kongress-Tagungsband bis zur wissenschaftlichen Publikation. Zunächst wird die Kongress-PDF in eine strukturierte Beitragstabelle überführt. Anschließend werden Titel, Autorennamen, Institutionen und Beitragsdetails aufbereitet.

In der nächsten Stufe sammelt die Software Kandidatenpublikationen aus OpenAlex, PubMed und CrossRef. Diese Publikationen werden dann anhand von Kriterien wie DOI, PMID und Titelähnlichkeit vereinheitlicht, und doppelte Datensätze werden bereinigt. Im letzten Schritt läuft ein mehrstufiger Abgleichsprozess zwischen den Kongressabstracts und den Publikationen.

Dieser Prozess betrachtet nicht nur die Titelähnlichkeit. Er bewertet Überschneidungen bei den Autoren, das Veröffentlichungsjahr, starke Identifikatoren wie DOI und PMID sowie den Zeitrahmen – alles zusammen. Auf diese Weise wird jede Übereinstimmung innerhalb einer Bewärkungskette klassifiziert.

Wissenschaftlicher Wert und zukünftige Anwendungen

Sci-Stalker bietet ein wiederverwendbares Framework, das eingesetzt werden kann, um die Publikationsleistung von Kongress-Abstracts über verschiedene medizinische Fachgebiete hinweg zu messen. Das TOTDER-Projekt ist die erste umfassende Anwendung dieses Systems; dieselbe Methode lässt sich ebenso auf andere Fachgesellschaften, Disziplinen und Kongressreihen übertragen.

Mit dieser Software können akademische Institutionen, Fachverbände und Forscher beginnen, systematischere Antworten auf Fragen wie die folgenden zu suchen:

• Wie viele der auf einem bestimmten Kongress präsentierten Abstracts werden in Fachzeitschriftenartikel umgewandelt?
• In welchen Jahren steigt oder fällt die Veröffentlichungs-Konversionsrate?
• Welche Arten von Studien werden häufiger in Veröffentlichungen umgewandelt?
• Welche Autorengruppen oder Institutionen zeigen eine stärkere kontinuierliche Publikationsleistung?
• Wie viel tragen Kongresspräsentationen zur wissenschaftlichen Literatur bei?

Diese Fragen sind nicht nur aus akademischer Neugier von Bedeutung, sondern auch für die Bewertung der Qualität, Nachhaltigkeit und Sichtbarkeit wissenschaftlicher Leistungen.

Validierung und Vorbereitung für die wissenschaftliche Veröffentlichung

Die Ausgaben von Sci-Stalker sind so konzipiert, dass sie von unabhängigen menschlichen Gutachtern überprüfbar sind. Für die Matching-Schichten lassen sich Kennzahlen wie Precision, Recall und F1 berechnen. Zur Messung der Übereinstimmung zwischen Gutachtern kann zudem Cohens Kappa verwendet werden.

Für das TOTDER-Projekt ist ein manuell annotierter Goldstandard-Evaluierungssatz von 150–300 Präsentationen geplant. Dieser Satz wird verwendet, um die Genauigkeit der Software zu messen und ihre methodische Zuverlässigkeit vor der akademischen Veröffentlichung zu demonstrieren.

Team und Beiträge

Sci-Stalker wurde unter der Leitung von Dr. Emre Geçer entwickelt, der für die Software-Architektur, das Pipeline-Design und das Projektmanagement verantwortlich war. Ecrin Alihoca hat zu den Fetch-Engines für OpenAlex, PubMed und CrossRef sowie zu den Merge-, Match- und Übersetzungskomponenten beigetragen. Gökalp Çetin arbeitete an den Modulen für die Autoren-Kanonisierung, das Mapping und die Normalisierung.

Diese Teamstruktur ermöglichte es, dass Sci-Stalker mehr als nur eine Idee wurde — und sich zu einer funktionierenden Forschungsinfrastruktur entwickelte, die Datenextraktion, Datenbereinigung, das Crawling wissenschaftlicher Quellen, Matching und Validierung umfasst.

Schlussfolgerung

Sci-Stalker ist eine Recherchesoftware der nächsten Generation, die den Werdegang der auf medizinischen Kongressen vorgestellten Studien in der wissenschaftlichen Literatur verfolgt. Sie betrachtet Kongress-Abstracts nicht bloß als archivierte Texte; sie macht deren wissenschaftlichen Weg über die Jahre hinweg nachvollziehbar.

Auf diese Weise legt Sci-Stalker die unsichtbare Seite akademischer Leistung offen. Es ermöglicht, auf evidenzbasierter Grundlage zu beurteilen, welche Studien zu Zeitschriftenartikeln wurden, welche in der Literatur Spuren hinterlassen haben und welche im Tagungsband geblieben sind. Forschenden, Fachgesellschaften und akademischen Einrichtungen, die die Publikationsleistung von Kongressbeiträgen in der Medizin analysieren möchten, bietet es einen starken Ausgangspunkt.