Телеграм канал «Выше квартилей»

​​Дайджест июль 2026:

Представляем дайджест научных событий за последний месяц.

Наука в мире

• Медали Филдса 2026 года присуждены Юй Дэну, Джону Пардону, Джейкобу Цимерману и Хун Ван; церемония прошла на Международном конгрессе математиков в Филадельфии.

• Группа исследователей запустила проект на платформе PubPeer: исследования, повторно проверяющие уже опубликованные результаты, теперь напрямую связываются с исходными статьями. 

ИИ в науке

• Nature публикует путеводитель по рынку «ИИ-учёных»: наряду с Claude Science Anthropic конкурируют Co-Scientist от Google DeepMind и открытый Biomni от академических исследователей

• Nature сообщает о появлении инструмента "humanizer", удаляющего из научных текстов и грантовых заявок языковые паттерны, характерные для ИИ: он фактически делает детекторы ИИ-текста бесполезными и открывает путь к скрытому использованию генеративного ИИ без раскрытия информации.

Научная этика

• Анализ 70 000 биомедицинских препринтов показал, что их ключевые выводы крайне редко меняются после рецензирования, а статьи, прошедшие стадию препринта, отзываются вдвое реже тех, что публиковались в журналах сразу.

• Анализ 110 303 рукописей, поданных в Science и Science Advances с 2016 по 2020 год, показал, что авторы из Китая принимаются в 3,3 раза реже, чем авторы из США и Канады (2,5% против 8,3%); при этом штрафной эффект сохраняется на всех этапах рецензирования и распространяется даже на западных исследователей с китайскими фамилиями.

• Нобелевский лауреат, нейробиолог Томас Зюдхоф призвал США или ЕС ввести государственное регулирование научного издательского рынка по аналогии с FDA.

• Springer Nature восстановил две отозванные статьи Макса Планка 1940 и 1942 годов.

Редакционна политика

• Журнал Biology Open протестировал оплату рецензентам и сократил время до первого редакционного решения на 85%, не потеряв в качестве рецензий; главный редактор рассказывает Nature, почему этот подход работает и может ли он стать моделью для отрасли.

Наука в России

• НБЖД сообщает, что в РАН обсудили создание единого национального реестра отозванных научных статей.

• Подписан закон об искусственном интеллекте в России.

#дайджест #новостинауки #иивнауке #новости #научнаяэтика #научнаяполитика

Оценка научной результативности - выбор между спорным, дорогим и страшноватым

Использование наукометрических показателей для оценки науки давно вызывает критику. Главные аргументы известны: количество публикаций и цитирований лишь косвенно отражает качество исследований; погоня за метриками стимулирует не научный прогресс, а оппортунизм. Эта критика во многом справедлива.

Если наукометрия так несовершенна для оценки, чем ее заменить? Заменить на оценку практической отдачи исследований невозможно - во многих областях практический эффект исследований не подразумевается вовсе. Один из вариантов это экспертная оценка. Если говорить о национальном масштабе, наиболее известный пример такой системы - британский Research Excellence Framework (REF), результаты которого используются для распределения государственного финансирования университетов.

Основа REF - экспертное рецензирование научных результатов. Обычно отмечают, что экспертная оценка значительно дороже наукометрии. Но насколько она дорога? В 2023 году был опубликован отчет с подробной оценкой затрат на проведение волны оценки REF 2021, позволивший увидеть цену одной из самых известных систем оценки науки.

По оценкам авторов отчета, совокупные затраты на проведение REF 2021 составили около 471 млн фунтов стерлингов. В эту сумму вошли не только расходы финансирующих организаций, но и издержки самих университетов: подготовка материалов для оценки, рабочее время членов экспертных комиссий, административного персонала и исследователей, участвовавших в подготовке заявок.

В этом цикле оценки участвовали 157 университетов. Если разделить общую сумму на число университетов, то получится, что в среднем оценка научной результативности одного вуза обошлась почти в 3 млн фунтов стерлингов (заметим, что эти затраты не являются ежегодными, REF проводится примерно раз в 6–8 лет).

Представить, сколько бы стоила оценка REF в российском контексте довольно сложно. Нельзя просто умножить оцененные расходы в 3 млн фунтов на число российских занимающихся наукой организаций (> 4000) или вузов (> 1000 c филиалами). С одной стороны, стоимость труда в России ниже, чем в Великобритании. С другой - британские университеты уже имеют многолетнюю инфраструктуру и опыт подготовки к REF (в российских вузах ее нет).

Тем не менее очевидно, что проведение национальной системы экспертной оценки стало бы заметной статьей расходов на науку. Для сравнения, совокупные затраты на REF 2021 превышают годовой бюджет РНФ, включая все его грантовые программы.

При этом наукометрический подход тоже не бесплатен. Вопрос сколько ресурсов российская наука тратит на функционирование своей системы оценки результативности организаций - весьма интересный, исследовать его непросто. Даже простая оценка числа специалистов, занятых "административной наукометрией" в России, - нетривиальная задача.

На этом фоне уже не хочется отметать сразу идею об использовании ИИ-инструментов в оценке научных результатов (хотя сначала хочется). В начале этого года Майк Телволл (Mike Thelwall), один из наиболее известных исследователей в области наукометрии, опубликовал статью о перспективах использования ИИ-моделей для оценки научной результативности.

Профессор Телволл с коллегами активно проводят эмпирические исследования, в которых они смотрят, как LLM-оценки согласуются с оценками экспертов. На базе этого опыта в обзорной статье автор не продвигает идею, о том что LLM - хорошая альтернатива наукометрии и экспертам, но напоминает о проблематичности двух традиционных подходов и рассуждает о том, по каким причинам мы в целом все равно не испытываем энтузиазма перед передачей оценки науки на аутсорс ИИ.

Если ранее у нас было два "плохих" подхода к оценке, теперь у нас их может стать три. Кажется разумным комбинировать три несовершенных способа так, чтобы они нейтрализовали недостатки друг друга. Однако, пожелать это легче,чем сделать.