Изменения в ранжировании и рейтинговании научных журналов
Предлагаем ознакомиться с новыми трендами в наукометрии. В настоящее время в России параллельно запущено сразу несколько проектов по ранжированию журналов.
- Ранжирование журналов, входящих в Перечень ВАК
Выполняется с целью разбиения Перечня ВАК на несколько категорий. Методика разрабатывается в РИЭПП. В ранжировании участвуют все журналы, входящие в Перечень ВАК (около 2700 наименований). Для ранжирования используется комплексный показатель, использующий метрики журналов в РИНЦ с различными весовыми коэффициентами:
— рейтинг Science Index (включает нормированный по научным направлениям пятилетний импакт-фактор РИНЦ и индекс Херфиндаля по цитирующим журналам);
— индекс Херфиндаля по организациям авторов;
— индекс Джини;
— средний индекс Хирша авторов;
— десятилетний индекс Хирша журнала;
— среднее число просмотров аннотаций.
Ранжирование производится отдельно для каждой специальности ВАК. Для журналов, зарегистрированных в Перечне ВАК по нескольким специальностям, высчитывается усредненное значение рейтинга. Реальное распределение статей по специальностям в журнале на данный момент времени не учитывается. Хотя разработчиками рейтинга такой учет, по-видимому, планируется. Для этой цели издателям предписано занести в специально созданную систему информацию о всех статьях в журнале, опубликованных в 2022 году, с указанием кодов новой номенклатуры специальностей ВАК.
- Ранжирование журналов, входящих в RSCI
Эта работа проводилась в РАН с целью совершенствования процедуры оценки, отбора и мониторинга качества журналов RSCI (около 950 наименований). Методика построения рейтинга похожа на методику ВАК, то есть используются несколько показателей журналов, рассчитываемых в РИНЦ, с различными весовыми коэффициентами. Однако, в отличие от ВАК, здесь в качестве основного показателя был использован импакт-фактор журнала по ядру РИНЦ, а не по РИНЦ в целом. Используемые метрики:
— пятилетний или двухлетний импакт-фактор по ядру РИНЦ (в зависимости от научного направления);
— индекс Херфиндаля по цитирующим журналам;
— индекс Херфиндаля по организациям авторов;
— индекс Джини;
— среднее число просмотров аннотаций за 2 или 5 лет.
Ранжирование проводилось отдельно для каждой области науки по верхнему уровню OECD, что соответствует структуре экспертных групп, отбирающих журналы для RSCI. Был построен также сквозной рейтинг путем нормирования показателей по отношению к средним значениям в тематических группах.
- Ранжирование журналов, входящих в Белый список
Работа по отбору и ранжированию журналов, входящих в Белый список (около 30 тысяч наименований), проводится в РЦНИ.
Как только категоризация Белого списка будет проведена, НЭБ планирует провести и опубликовать аналогичные расчеты для определения базовых весовых коэффициентов. Далее эти базовые коэффициенты могут быть, конечно, скорректированы в нужную сторону в соответствии с задачами научной политики. Например, для стимулирования публикаций ученых в лучших международных журналах, или в лучших российских журналах, или для учета специфики отдельных научных направлений.
- Ранжирование журналов, входящих в РИНЦ
Первая версия рейтинга журналов Science Index была разработана в НЭБ более 6 лет назад. Рейтинг охватывал все научные журналы, индексируемые в РИНЦ и соответствующие некоторым формальным требованиям (связанным, в основном, с необходимостью иметь полный набор данных для расчета показателей). В качестве базового показателя использовался пятилетний импакт-фактор РИНЦ, который нормировался с учетом среднего числа ссылок в списках цитируемой литературы в различных научных направлениях, а также доли ссылок, попадающих на пятилетний период, используемый при расчете импакт-фактора. Для переводных журналов при расчетах рейтинга учитывалось также цитирование англоязычных версий.
В настоящее время произошли кардинальные изменения в расчете рейтинга журналов Science Index. Рассмотрим эти изменения.
1) Переход на учет цитирования только из ядра РИНЦ
Все библиометрические показатели, используемые при расчете нового рейтинга, учитывают только цитирование из ядра РИНЦ. Сам оцениваемый журнал может и не входить в ядро, но ссылки на него берутся только из ядра. Все журналы из ядра РИНЦ проходят довольно строгую экспертизу, в том числе могут быть исключены из ядра за нарушения издательской этики и слабый контроль за обоснованностью цитирования в статьях.
2) Учет только идентифицированных ссылок
В первой версии рейтинга Science Index ссылка засчитывалась журналу, если его название в каком-то из вариантов было выделено в тексте ссылки. Сама ссылка при этом могла быть и не привязана к конкретной статье в РИНЦ, либо из-за ее отсутствия, либо если такую связь по какой-то причине установить не удалось. Такой подход позволял рассчитывать импакт-фактор даже при отсутствии полного архива выпусков журнала в РИНЦ. Сейчас проблемы с заполнением архивов в основном уже остались в прошлом. Подавляющее большинство журналов имеют полные архивы за последние 10-15 лет, что вполне достаточно для точного расчета всех библиометрических показателей, используемых при оценке журналов. Поэтому в новой версии рейтинга учитываются только идентифицированные ссылки, то есть те, которые привязаны к конкретной публикации в РИНЦ.
3) Тематическая нормировка на уровне статей
Практика цитирования в различных научных направлениях отличается. Поэтому сравнивать библиометрические показатели, основанные на цитировании, для разных направлений можно только с учетом соответствующей нормировки.
В первой версии рейтинга Science Index тематическая нормировка осуществлялась путем отнесения каждого журнала к одному из десяти основных направлений по OECD (9 тематических плюс отдельно мультидисциплинарные журналы). Затем для каждой тематической коллекции журналов рассчитывались средние значения.
В новом рейтинге Science Index использован кардинально другой подход. Нормировка происходит, во-первых, на уровне отдельных статей, и, во-вторых, вообще без использования каких-либо тематических рубрикаторов. Соответственно, снимаются все проблемы, связанные с отнесением журналов к каким-то рубрикам, неидеальности самих рубрикаторов, распределения статей в журнале по различным направлениям и учета практики цитирования для разных типов журналов и публикаций.
Как осуществляется такая автоматическая нормировка? Покажем на примере расчета пятилетнего импакт-фактора за 2021 год. Вначале для каждой цитирующей статьи (в нашем случае, для всех статей из ядра РИНЦ за 2021 год) рассчитывается так называемый потенциал цитирования (N). Это суммарное число ссылок из данной статьи только на статьи в журналах и только на предыдущие 5 лет. Каждая ссылка из этой статьи теперь будет засчитываться не как единица, а как 1/N. Чем больше ссылок в цитирующей статье, точнее, чем больше из них идет на статьи в журналах за последние 5 лет, тем меньше будет вес каждой ссылки. Просуммировав эти веса для каждой ссылки на статьи в оцениваемом журнале за 5 лет, получаем число цитирований, уже автоматически нормированное на специфику цитирующих статей. Для расчета нормированного таким образом импакт-фактора остается только поделить на число статей в журнале за эти 5 лет.
4) Выбор показателей и весовых коэффициентов
Были отобраны 12 показателей журналов, рассчитываемых в РИНЦ, включающих, в том числе, все показатели, используемые при расчетах рейтингов Перечня ВАК и RSCI.
По результатам исследования экспертами «Научной электронной библиотеки» были отобраны 4 показателя, влияющие на рейтинг журнала.
- Пятилетний нормированный импакт-фактор по ядру РИНЦ
Этот показатель характеризует средний уровень статей в журнале за последние годы. Способы тематической нормировки и причины использования показателей по ядру РИНЦ были описаны выше.
- Десятилетний нормированный индекс Хирша журнала по ядру РИНЦ
Этот показатель отражает количество высокоцитируемых статей в журнале. Его вес достаточно велик и иногда даже превышал вес импакт-фактора. Это может означать, что для экспертов, оценивающих журнал, очень важно наличие прорывных, запоминающихся работ в журнале.
- Средний индекс Хирша авторов статей за последние три года
Этот новый показатель был специально рассчитан для данного рейтинга. Для этого для каждого российского ученого был рассчитан нормированный индекс Хирша по ядру РИНЦ в ретроспективе. Это позволяет определить, какие индексы Хирша были у авторов статьи на момент ее публикации и рассчитать для каждой статьи среднее значение по авторскому коллективу. Данный показатель отражает средний научный уровень авторов статей в журнале и работает, в том числе, и для совсем свежих статей, еще не успевших набрать цитирования.
- Средняя длина текста статей за последние 3 года
Этот показатель оказался в списке довольно неожиданно. Но тем не менее стабильно показывал хорошую корреляцию с уровнем качества журнала на основе экспертной оценки.
Результаты
В результате проведенного исследования были подобраны показатели и определены весовые коэффициенты, дающие максимальное приближение библиометрической оценки журналов к экспертной. Итоговая формула для расчета комплексного показателя нового рейтинга Science Index для журнала выглядит так:
SI = 8*IF5 + 7*H10 + 4*HA3 + 4*LN3
IF5 — нормированный импакт-фактор журнала по ядру РИНЦ за 5 лет;
H10 — нормированный индекс Хирша по ядру РИНЦ статей в журнале за 10 лет;
HA3 — средний нормированный индекс Хирша по ядру РИНЦ авторов статей в журнале за 3 года;
LN3 — средняя длина текста статей за 3 года.
Подпишись на тг-канал "Наш ГУУ"
Дата публикации: 12.04.2023