Sci-Stalker: Программное обеспечение с ИИ для отслеживания преобразования тезисов конференций в научные публикации

Разработанный под руководством Dr. Emre Geçer, Sci-Stalker — это автоматизированное исследовательское программное обеспечение, предназначенное для отслеживания того, конвертируются ли тезисы, представленные на медицинских конгрессах, в течение лет в рецензируемые научные публикации.

На каждом медицинском конгрессе представляются сотни исследований. В этих тезисах часто содержатся самые свежие результаты клинической практики, академической деятельности и научного любопытства. Однако систематически неизвестно, сколько из этих исследований впоследствии превращаются в статьи в журналах, которые находят свое место в научной литературе, и сколько остаются в конференционных материалах и теряются.

Sci-Stalker фокусируется именно на этом вопросе: превращается ли научное исследование, представленное на конгрессе, со временем в рецензируемую публикацию? Программное обеспечение предлагает инфраструктуру, которая отслеживает невидимый путь между тезисами конгрессов и научными публикациями, делает судьбу академического вывода измеримой и добавляет новый слой мониторинга в исследовательскую экосистему.

Что делает Sci-Stalker?

Sci-Stalker берёт сборник материалов конгресса в качестве отправной точки. Из этого PDF-документа он извлекает презентации, парсит авторов, структурирует названия и тексты, а затем ищет эти данные в международных научных базах.

Используя такие источники, как OpenAlex, PubMed и CrossRef, программное обеспечение устанавливает основанную на доказательствах связь между тезисами конференций и последующими опубликованными статьями. Для каждого тезиса оценивается статус публикации на четырёх уровнях доказательств:

• ТОЧНО — точное, прямое соответствие.
• ВЕРОЯТНЫЙ — высоковероятное совпадение.
• ВОЗМОЖНЫЙ — возможный совпадение, который требует внимательного рассмотрения.
• НО_ДОКАЗАТЕЛЬСТВ — абстракт, для которого не было найдено доказательств преобразования в публикацию.

Эта структура позволяет анализировать академические результаты не только в количественном выражении, но и с точки зрения уровней доказательности.

Почему это важно?

Медицинские конгрессы часто являются первым местом, где научные результаты становятся заметными. Исследование обычно впервые представляется в виде устного доклада или постера; затем оно расширяется, отправляется в рецензируемый журнал и входит в научную литературу. Однако этот процесс не всегда доводится до конца.

Некоторые тезисы становятся сильными статьями. Некоторые публикуются через много лет. Некоторые выходят под совершенно другими названиями. И некоторые остаются в материалах конференций и никогда не попадают в научный оборот.

Sci-Stalker выводит эту неопределённую территорию на свет. Он помогает систематически анализировать, какие тезисы были конвертированы в публикации, в каких областях коэффициенты конвертации высоки, в какие годы вывод был сильнее и какие исследования не оставили следа в литературе. По этой причине Sci-Stalker — это не просто технический программный проект; это важный инструмент для академической прозрачности, научной отслеживаемости и оценки качества исследований.

Первое приложение: TOTDER 2011–2024

Первое всестороннее применение Sci-Stalker было осуществлено на тезисах конгрессов Турецкой ассоциации ортопедии и травматологии (TOTDER). Были проанализированы данные конгрессов за четырнадцать лет, с 2011 по 2024 год.

В рамках этого первоначального исследования было проанализировано 898 презентаций на конгрессах и выявлено 1375 уникальных авторов. После удаления дубликатов база данных, полученная из PubMed и CrossRef, включала 100 276 научных публикаций. Первые результаты дают поразительное представление о том, насколько часто тезисы конгрессов превращаются в научные публикации.

TOTDER 2011–2024: Первые результаты

• Проанализированы годы Конгресса: 2011–2024
• Общее количество презентаций: 898
• Уникальные авторы: 1 375
• Пул публикаций: 100 276
• Подтверждено совпадений публикаций (точно): 182 (20,3%)
• Высокая вероятность соответствия публикации (ВЕРОЯТНО): 30 (3,3%)
• Возможное соответствие публикации: 10 (1,1%)
• Абстракты без доказательств публикации (НО_ДОКАЗАТЕЛЬСТВ): 670 (74,6%)

Эти результаты основаны на данных PubMed и CrossRef. Ожидается, что с интеграцией OpenAlex эти цифры увеличатся.

Как работает программное обеспечение

Логика Sci-Stalker шаг за шагом следует цепочке от материалов конгресса до научной публикации. Сначала PDF-файл конгресса превращается в структурированную таблицу презентаций. Затем упорядочиваются названия, имена авторов, учреждения и детали презентаций.

На следующем этапе программное обеспечение собирает потенциальные публикации из OpenAlex, PubMed и CrossRef. Эти публикации затем объединяются с использованием критериев, таких как DOI, PMID и схожесть заголовков, а дубликаты удаляются. На заключительном этапе между тезисами конференций и публикациями проводится многоступенчатый процесс сопоставления.

Этот процесс не ограничивается лишь сходством заголовков. Он анализирует совпадение авторов, год публикации, сильные идентификаторы, такие как DOI и PMID, а также временной интервал, объединяя все это вместе. Таким образом, каждая совпадающая запись классифицируется в рамках цепочки доказательств.

Научное значение и будущие применения

Sci-Stalker предлагает повторно используемый фреймворк, который может быть применён для измерения публикационной эффективности тезисов конгрессов в различных медицинских специальностях. Проект TOTDER — это первое всестороннее применение этой системы; тот же метод может быть адаптирован и для других ассоциаций, специальностей и серий конгрессов.

С помощью этого программного обеспечения академические учреждения, отраслевые ассоциации и исследователи могут начать поиск более систематических ответов на такие вопросы, как:

• Сколько из тезисов, представленных на конкретном конгрессе, преобразуются в статьи в журналах?
• В какие годы наблюдается рост или падение коэффициента конверсии публикаций?
• Какие виды исследований чаще всего превращаются в публикации?
• Какие авторские группы или учреждения демонстрируют более высокий устойчивый уровень публикаций?
• Как вклад презентаций на конгрессах в научную литературу?
  
  Презентации на научных конгрессах и конференциях вносят значительный вклад в научную литературу несколькими способами:
  
  1. Обмен текущими исследованиями: Исследователи представляют свои последние открытия, методы и результаты, что позволяет сообществу быть в курсе последних тенденций и достижений.
  
  2. Обсуждение и критика: В ходе дискуссий и вопросов после презентаций коллеги могут критически оценить работу, предложить новые идеи и указать на возможные недостатки, что способствует улучшению качества исследований.
  
  3. Формирование сетевых связей: Конгрессы предоставляют платформу для установления контактов между учеными, что может привести к совместным проектам и обмену знаниями.
  
  4. Популяризация науки: Презентации помогают донести научные достижения до широкой аудитории, включая студентов, журналистов и представителей общественности, тем самым повышая осведомленность о важности научных исследований.
  
  5. Публикации в сборниках материалов: Многие конгрессы публикуют тезисы или полные тексты выступлений в сборниках, которые индексируются в научных базах данных, тем самым формализуя вклад в научную литературу.
  
  6. Инспирация для будущих исследований: Обсуждения и обмен идеями на конгрессах часто вдохновляют исследователей на новые проекты и направления работ.
  
  Таким образом, презентации на конгрессах являются важным элементом научного процесса, дополняющим традиционные публикации в рецензируемых журналах.

Эти вопросы важны не только с точки зрения академического любопытства, но и для оценки качества, устойчивости и видимости научных результатов.

Валидация и подготовка к академическому изданию

Выходные данные Sci-Stalker спроектированы так, чтобы их можно было верифицировать независимыми рецензентами-людьми. Для слоёв сопоставления могут быть вычислены такие метрики, как precision, recall и F1. Каппа Коэна также может использоваться для измерения согласованности между рецензентами.

Для проекта TOTDER планируется вручную аннотированный эталонный набор данных для оценки, состоящий из 150–300 презентаций. Этот набор будет использоваться для измерения точности программного обеспечения и демонстрации его методологической надежности перед академическим опубликованием.

Команда и вклады

Sci-Stalker был разработан под руководством Dr. Emre Geçer, который курировал архитектуру программного обеспечения, проектирование пайплайна и управление проектом. Ecrin Alihoca внесла вклад в движки fetch для OpenAlex, PubMed и CrossRef, а также в компоненты merge, match и перевода. Gökalp Çetin работал над модулями канонизации авторов, маппинга и нормализации.

Именно такая структура команды позволила Sci-Stalker стать чем-то большим, чем идея, — вырасти в работающую исследовательскую инфраструктуру, охватывающую извлечение данных, очистку данных, обход научных источников, сопоставление и валидацию.

Заключение

Sci-Stalker — это исследовательское программное обеспечение нового поколения, которое отслеживает в научной литературе след исследований, представленных на медицинских конгрессах. Он не рассматривает тезисы конгрессов лишь как архивные тексты; он делает их научный путь на протяжении лет отслеживаемым.

Тем самым Sci-Stalker раскрывает невидимую сторону академического вывода. Он позволяет на доказательной основе оценить, какие исследования были превращены в журнальные статьи, какие оставили след в литературе, а какие остались лишь в материалах конференции. Для исследователей, профильных ассоциаций и академических институтов, желающих проанализировать публикационную эффективность презентаций конгрессов в медицине, он предлагает прочную отправную точку.