Телеграм канал «Выше квартилей»

Импакт vs. ИИмпакт: эмпирические свидетельства влияния LLM на цитирование публикаций

В последнее время мы часто пишем о том, как ИИ меняет привычный научный ландшафт: во все большем числе работ генеративный ИИ помогает не только дописывать отдельные абзацы, но и с подачи промптов берет на себя исследовательские функции. Между тем немалое количество ученых все еще рассматривает генеративный ИИ только в качестве помощника по редактуре текста, позволяющего "подогнать" публикацию под требования журнала или же стандарты академического языка (в особенности иностранного для самих авторов). Казалось бы, добросовестное и декларируемое применение ИИ в части работы с текстом статьи при прочих равных не должно давать дополнительных преимуществ исследователям в сравнении с их коллегами. Но так ли это?

В свежем исследовании, опубликованном в Scientometrics, наши коллеги из кампуса НИУ ВШЭ в Перми попытались ответить на этот вопрос, сфокусировавшись на взаимосвязи между использованием больших языковых моделей (LLM) при подготовке текста и показателями последующей цитируемости публикаций.

На основе анализа более 234 тыс. научных работ 2019–2025 годов при обращении к собственной модели идентификации паттернов ИИ-письма (LLM-assisted writing), авторы пришли к выводу, что публикации с такими признаками получали в среднем примерно на 7,04 % больше цитирований, чем работы с аналогичными характеристиками: опубликованные в тех же журналах, в рамках схожих по объему авторских коллективов, со схожим числом источников, длиной аннотации и предыдущей цитируемостью авторов. Значимость всех указанных характеристик для обученной модели приведена на графике.

Как отмечают сами авторы, применение ИИ может и не повышать качество самих научных исследований, но благодаря проработке аннотаций — улучшению структуры, удалению лишних слов, стандартизации формулировок и приведению текста к академическому стилю — улучшается видимость публикаций для читателей, что и способствует росту цитируемости. Внимание к аннотациям особенно важно, поскольку именно они попадают в поисковые системы, базы научного цитирования и могут использоваться самими LLM моделями и иными рекомендательными системами при подготовке списков литературы по теме.
В контексте же наукометрии исследование подчёркивает значимость ИИ-признаков как потенциального инструмента продвижения научных работ. Если ранее большее значение (хотя и не всегда) имело содержание статей, то теперь только особенности текста и использованных формулировок, могут при прочих равных влиять на повышение читательского интереса.

ИИ при этом прямо «не накручивает» цитаты, но ставит под сомнение один из основных столпов библиометрического анализа — индекс цитирования. Если даже относительно безобидная редактура текста систсематически связана с преимуществом в цитировании, то сама цитата сегодня — уже не только мера научной значимости работы, но и оценка ее "упаковки". По всей видимости, для исследователя, до сих пор сторонившегося ИИ-письма, рациональной стратегией все же становится использование LLM-инструментов при финальном редактировании текста публикации.

#обзор #ИИ #цитируемость #scientometrics

ИИ, CSRanking и БРИКС: взгляд "Выше квартилей"

Сегодня обсуждение достижений ИИ во многом строится вокруг отдельных ярких результатов продвинутых моделей. Чего только стоит свежая история решения задачи Навье–Стокса и дискуссия о первенстве в споре "машина vs. человек".

При этом развитие исследований в области ИИ можно рассматривать, безусловно, и через наукометрическую оптику. В последнем дайджесте мы обещали чаще возвращаться сюда с собственными аналитическими материалами. Одним из них хотим поделиться сегодня.

Что мы сделали?

Мы проанализировали 10 ведущих конференций в области искусственного интеллекта и машинного обучения. Все относятся к конференциям уровня A* в ICORE 2026 и при этом представляют разные направления компьютерных наук: от обработки естественного языка и компьютерного зрения до машинного обучения и анализа данных.

Напомним, что для области конференционные публикации имеют особое значение и являются одним из основных способов представления новых научных результатов. В качестве одного из ориентиров для проекта использовали подход CSRankings, но мы расширили для себя задачу: нас интересовали не только отдельные организации, но также их типы и структура сотрудничества между ними.

Что считали?

В основу анализа легли метаданные Scopus за 2020–2025 годы. В итоговый массив вошло более 104 тыс. публикаций (около 97,3 % материалов сборников). Отдельно выделили основные программы и дополнительные треки, рассчитали показатели публикационной активности, фракционного вклада, цитирования и FWCI, а также рассмотрели различные типы связей.

Часть процедур по сбору, проверке и обработке данных удалось автоматизировать с помощью ИИ. В этом смысле проект об исследованиях ИИ сам в определённой степени оказался продуктом совместной работы человека и ИИ.

Основной фокус мы решили сделать не на всех странах, а на классической пятерке БРИКС: Бразилии, России, Индии, Китае и ЮАР.

Каковы основные результаты?

Прежде всего, своим масштабом обращает на себя внимание Китай: более 38 тыс. публикаций, второе место в мире по объёму публикаций в рассматриваемом корпусе и с большим отрывом лидерство среди стран БРИКС как на уровне отдельных организаций, так и на уровне исследовательских команд. При сохранении текущей динамики выход Китая на 1 место в мире по отобранной десятке конференций – вопрос времени.

Интересна и структура цитирований. Более половины цитирующих аффилиаций для китайских публикаций также относятся к Китаю. Для сравнения: у России и Индии эта доля составляет около 6–8 %. Речь здесь не о самоцитированиях, а о высокой внутренней концентрации научной коммуникации.

Существенно различается и структура национальных исследовательских систем. Для Китая и России характерно более тесное взаимодействие академического и корпоративного секторов. В Индии, Бразилии и ЮАР заметно более выражена ведущая роль академических организаций.

Фокус на России

Российский кейс особенно показателен. Среди академических организаций НИУ ВШЭ лидирует по общему числу публикаций, Сколтех – по фракционному вкладу; важное место занимает и МФТИ. В корпоративном секторе основными участниками остаются Яндекс и Сбер, однако в последние годы заметным становится присутствие Т-Банка и МТС. Отдельно стоит отметить AIRI, который занимает особое место по масштабу публикационной активности и положению в сети сотрудничества.

При этом связь академии и индустрии проявляется не только в совместных публикациях. В данных заметна группа исследователей с одновременными академическими и корпоративными аффилиациями. Такие «люди-мосты» фактически соединяют два сектора и играют заметную роль в российской модели исследований в области ИИ.

Что дальше?

Пока рассматриваем нашу работу как первую версию проекта. В дальнейшем планируем расширять набор конференций и показателей и уточнять результаты по мере обновления данных.

Результаты проекта доступны на сайте Наукометрического центра по ссылке.

#аналитика #ИИрейтинг #БРИКС #ICORE

Поздравляем всех читателей с началом нового академического года! В ближайшее время планируем вернуться к авторским материалам в канале. А пока представляем дайджест за август.

ИИ в науке

•  В Nature появилась заметка об очередном исследовании использования ИИ в научных публикациях. Результаты впечатляют: почти 9 из 10 статей, опубликованных в декабре 2025 года и заархивированных PubMed, несут следы ИИ-редактирования. За весь 2025 год таких материалов набралось почти 77 %, против 52 % годом ранее. Заметим, что речь идет о наличии признаков AI-редактирования, а не о написании статей "с нуля".

•  Anthropic представил MCP для науки: единый интерфейс для ИИ-агентов, который позволит последним подключаться к лабораторному оборудованию и фактически управлять проведением ряда экспериментов. Первые опыты не всегда были гладкими, но уже сейчас понятно, что первая новость дайджеста — далеко не предел перспектив использования ИИ в науке.

•  Куда же без ИИ-оценки: вышла заметка и интервью с создателями инструмента QED Science, который направлен на отбор топ 1 % препринтов исключительно по их оригинальности и валидности. Пока декларируемая цель — помощь исследователям в оценке текущего прогресса, но сервис по сути автоматизирует процесс рецензирования.

•  В продолжение: на The Scholarly Kitchen предлагают переосмыслить роль ИИ в рецензировании: прежняя дискуссия о внедрении нейросетей как «революционного или эволюционного» процесса является некорректной в новых реалиях — куда важнее, готово ли сообщество обсуждать и уточнять идеи публично, а не за закрытыми дверьми.

•  Ну и еще один эксперимент с ИИ-агентами, описанный в Science, был посвящен проверке воспроизводимости результатов более 6 тысяч материалов, поданных на одну из ведущих конференций в области компьютерных наук: International Conference on Machine Learning. Судьёй выступала модель GLM-5.2, выносившая один из четырёх вердиктов: verified, falsified, toy, inconclusive. Из выборки в 2226 материалов почти половина поддалась верификации в том или ином виде.

Редакционная политика

•  В Nature вышел большой репортаж, посвящённый «войне рецензирования»: недобросовестные исследователи оставляют однотипные и зачастую бесполезные отзывы — например, требуют сократить заключительную часть статьи или исправить грамматические ошибки, — сопровождая их просьбами процитировать коллег. Ситуация не только осложняет работу академических изданий, но и затрудняет процесс публикации для исследователей.

•  В совсем свежей статье Scientometrics авторы эмпирически показывают, что заведомо лучшая индексация журналов Elsevier в Scopus приводит к ожидаемому результату: рейтинг топ-2 % влиятельных ученых от Дж. Ионнидиса оказывается смещен в пользу тех ученых, у которых больше статей в журналах… Elsevier.

•  Вышло исследование реальной стоимости публикаций. На основе большой базы APC авторы сделали датасет, включающий 69 856 наблюдений по 12 540 журналам за 2019–2025 годы, а затем провели исследование глобальных расходов на публикацию статей в Open Access в 2025 году. Выяснилось, что при тратах в $3,7 млрд, более 85 % расходов приходится на несколько крупных издателей.

Наука в России

•  Научные данные, собранные в России и СССР, планируют оцифровать для обучения ИИ. Таким образом, государственная система научно-технической информации (ГСНТИ), насчитывающая более 2 млрд единиц научной информации, может стать основой для развития отечественных моделей ИИ.

•  Коллеги из ИСИЭЗ представили обзор исследований в области ИИ. На основе библиометрического анализа 180+ тысяч документов удалось проследить динамику и тематическую структуру исследований в области. Кажется, что без ИИ уже никуда и в нашей работе. Поэтому призываем следить за анонсами)

#дайджест #иивнауке #редакционнаяполитика #наукавроссии