Телеграм канал «Выше квартилей»

Оценка научной результативности - выбор между спорным, дорогим и страшноватым

Использование наукометрических показателей для оценки науки давно вызывает критику. Главные аргументы известны: количество публикаций и цитирований лишь косвенно отражает качество исследований; погоня за метриками стимулирует не научный прогресс, а оппортунизм. Эта критика во многом справедлива.

Если наукометрия так несовершенна для оценки, чем ее заменить? Заменить на оценку практической отдачи исследований невозможно - во многих областях практический эффект исследований не подразумевается вовсе. Один из вариантов это экспертная оценка. Если говорить о национальном масштабе, наиболее известный пример такой системы - британский Research Excellence Framework (REF), результаты которого используются для распределения государственного финансирования университетов.

Основа REF - экспертное рецензирование научных результатов. Обычно отмечают, что экспертная оценка значительно дороже наукометрии. Но насколько она дорога? В 2023 году был опубликован отчет с подробной оценкой затрат на проведение волны оценки REF 2021, позволивший увидеть цену одной из самых известных систем оценки науки.

По оценкам авторов отчета, совокупные затраты на проведение REF 2021 составили около 471 млн фунтов стерлингов. В эту сумму вошли не только расходы финансирующих организаций, но и издержки самих университетов: подготовка материалов для оценки, рабочее время членов экспертных комиссий, административного персонала и исследователей, участвовавших в подготовке заявок.

В этом цикле оценки участвовали 157 университетов. Если разделить общую сумму на число университетов, то получится, что в среднем оценка научной результативности одного вуза обошлась почти в 3 млн фунтов стерлингов (заметим, что эти затраты не являются ежегодными, REF проводится примерно раз в 6–8 лет).

Представить, сколько бы стоила оценка REF в российском контексте довольно сложно. Нельзя просто умножить оцененные расходы в 3 млн фунтов на число российских занимающихся наукой организаций (> 4000) или вузов (> 1000 c филиалами). С одной стороны, стоимость труда в России ниже, чем в Великобритании. С другой - британские университеты уже имеют многолетнюю инфраструктуру и опыт подготовки к REF (в российских вузах ее нет).

Тем не менее очевидно, что проведение национальной системы экспертной оценки стало бы заметной статьей расходов на науку. Для сравнения, совокупные затраты на REF 2021 превышают годовой бюджет РНФ, включая все его грантовые программы.

При этом наукометрический подход тоже не бесплатен. Вопрос сколько ресурсов российская наука тратит на функционирование своей системы оценки результативности организаций - весьма интересный, исследовать его непросто. Даже простая оценка числа специалистов, занятых "административной наукометрией" в России, - нетривиальная задача.

На этом фоне уже не хочется отметать сразу идею об использовании ИИ-инструментов в оценке научных результатов (хотя сначала хочется). В начале этого года Майк Телволл (Mike Thelwall), один из наиболее известных исследователей в области наукометрии, опубликовал статью о перспективах использования ИИ-моделей для оценки научной результативности.

Профессор Телволл с коллегами активно проводят эмпирические исследования, в которых они смотрят, как LLM-оценки согласуются с оценками экспертов. На базе этого опыта в обзорной статье автор не продвигает идею, о том что LLM - хорошая альтернатива наукометрии и экспертам, но напоминает о проблематичности двух традиционных подходов и рассуждает о том, по каким причинам мы в целом все равно не испытываем энтузиазма перед передачей оценки науки на аутсорс ИИ.

Если ранее у нас было два "плохих" подхода к оценке, теперь у нас их может стать три. Кажется разумным комбинировать три несовершенных способа так, чтобы они нейтрализовали недостатки друг друга. Однако, пожелать это легче,чем сделать.

​​Дайджест июнь 2026:

Представляем дайджест научных событий за последний месяц.

ИИ в науке

•  Anthropic запустила Claude Science — специализированное приложение для учёных, объединяющее доступ к более чем 60 научным базам данных. Самое время запланировать создание нового аккаунта, после блокировки старого.

•  Проект First Proof протестировал четыре ИИ-системы на десяти ранее не публиковавшихся математических задачах исследовательского уровня: лучший результат показала команда ETH Zurich, решившая шесть из десяти задач, однако, в целом, модели уступили ведущим математикам.

•  Математическое сообщество реагирует на успехи ИИ сразу на двух фронтах. Группа ведущих математиков приняла Лейденскую декларацию (документ, призывающий сохранить прозрачность при использовании ИИ). Параллельно молодые математики ощущают давление: если раньше именно юниоры считались главными генераторами прорывных идей, то теперь эту нишу начинает занимать ИИ.

•  Nature опубликовал обзор рисков и возможностей ИИ для социальных наук: по оценкам исследователей, до 45% ответов в онлайн-опросах уже генерируется языковыми моделями, что подрывает достоверность данных о человеческом поведении.

Научная этика

•  Springer Nature отозвал две статьи Макса Планка 1940 и 1942 годов из Naturwissenschaften по причине «нарушения авторских прав»: одна была переопубликована в нескольких изданиях, что по современным стандартам считается самоплагиатом.

•  Парижский университет лишил степени доктора наук известного французского физика и популяризатора науки Этьена Кляйна: расследование установило, что плагиат присутствует примерно на двух третях страниц его диссертации 1999 года. 

•  Запущена бесплатная платформа Journal Trends, отслеживающая публикационные паттерны журналов и предупреждающая исследователей о потенциально проблемных изданиях до подачи рукописи.

•  Science сообщает о волне методологически сомнительных публикаций, генерируемых студентами-медиками с помощью платформы TriNetX.

•  Retraction Watch сообщает, что Springer Nature начнёт публиковать «выражения озабоченности» (expressions of concern) для книг. Ранее этот механизм применялся преимущественно к статьям.

•  Retraction Watch также опубликовал результаты анализа почти 1 200 ссылок на отозванные статьи в Википедии: медианное время до исправления ссылок в электронной библиотеке превышает в данном случае 3,5 года.

Рейтинги и базы данных

•  Опубликованы данные по CiteScore Scopus за 2025 год.

•  Clarivate опубликовала ежегодное обновление Journal Citation Reports: обновлены импакт-факторы и другие наукометрические показатели журналов Web of Science за 2025 год. А мы традиционно обновили наш дашборд, который доступен по ссылке.

•  Wiley приобрело издательство Emerald Publishing: компания выпускает около 500 журналов и 8 000 книг преимущественно в области социальных наук.

Наука в России

•  Пожалуй, одна и главных новостей-утечек: коллеги из eLIBRARY опубликовали проект методики РЦНИ по отбору зарубежных журналов в Белый список (ЕГПНИ), критический разбор, а также полную базу данных журналов и сравнение старой и новой версий списка с показателями Scimago. Обсуждение зарубежной части ЕГПНИ продолжается и в отделениях РАН.

•  В России появилась открытая платформа о правилах использования ИИ в вузах.

•  НБЖД также сообщает, что в РАН намерены за два года увеличить число журналов издательства «Наука» до 200. Надеемся, что у российского научного сообщества не появится примерно на 40 % больше поводов переживать за отечественную научную периодику.

Анонсы

•  С 4 июля по 7 декабря фестиваль актуального научного кино ФАНК проводит бесплатную онлайн-программу «Дни научного кино»: более двадцати документальных фильмов об археологии, психологии, эволюции и геологии, лекции от экспертов и учёных, а также квизы с призами от «Лекториума» и Stepik.

#дайджест #новостинауки #WoS #Scopus #базыданных #рейтинги #наукавроссии