Телеграм канал «Выше квартилей»

🌸APRES: An Agentic Paper Revision and Evaluation System🌸
#nlp #nlp_papers

Может ли процедура рецензирования быть автоматизирована? И как к этому вопросу вообще подойти, чтобы адекватно оценивать идеи и их реализацию?
Применяем агенты на стыке LLM-агентов и наукометрии.

🌸TL;DR
Рецензенты оценивают статьи относительно стандартов науки, устоявшихся годами, но год от года меняющихся.
Можем ли мы, посмотрев на исторические данные, построить систему, которая предсказывает эти стандартны, и непосредственно оценивает по ним, насколько статья будет импактной, важной для сообщества?
В качестве прокси-метрики можно взять количество цитирований другими импактными статьями спустя год после публикации. 
Оценивая статью по предсказанным рубрикам, скоррелированным с будущими цитированиями, мы можем итеративно улучшать уже готовую статью, чтобы в конце концов максимально оптимально донести свою мысль, чтобы статья была полезна.

🌸Общий пайплайн
берем AIDE или другой Tree Search скаффолд, даем ему набор рубрик для старта — у нас это критерии оценки NeurIPS.
Другие компоненты агента: o1 или Gemini 2.5, а также парсер статей

1. Предсказываем рубрики
Генерация рубрик: LLM-агент генерирует или уточняет набор из k элементов рубрики для рецензирования (например, «техническая обоснованность» или «ясность изложения»).
Оценка: Агент-рецензент оценивает статьи в датасете по этим элементам рубрики, присваивая баллы.
Анализ: Модель отрицательной биномиальной регрессии прогнозирует количество цитирований на основе баллов, с измерением качества прогноза через MAE.
Выбор и уточнение: Система выбирает наиболее эффективную рубрику и возвращает её для дальнейшего уточнения.
Этот процесс замкнутой оптимизации продолжается до сходимости, обычно в пределах 25 итераций. По итогу имеет более детальные рубрики, куда более конкретные, чем изначальные от конференции/журнала.

2. Оптимизирует текст статьи
После того как оптимальная рубрика R* найдена, она используется для автоматизированной ревизии статьи:
— Система сначала оценивает исходную статью по найденной рубрике, генерируя как количественные баллы, так и конструктивную обратную связь.
— LLM-агент-редактор предлагает изменения, направленные на повышение баллов статьи по рубрике R*.
Переработанная версия статьи повторно оценивается, и процесс итеративно продолжается до сходимости, при этом все версии отслеживаются, а лучшая версия выбирается для дальнейшего уточнения.


🌸Результаты:
— Mean Averaged Error предсказания цитирований у такого метода примерно на 20% лучше альтернатив, а общий прирост предсказанных цитирований больше, причем основные идеи и результаты статьи не редактируются.
— Метод также снижает разброс оценок статьи среди рецензентов, а сами рубрики легко валидировать.
— Рубрики, полученные методом оптимизации, дают более серьезное улучшение качества статьи, чем использование реальных гайдлайнов рецензирования -- они, как правило, не достаточно подробные, и могут по-разному трактоваться. Сгенерированные подробные рубрики оценки статей задают гораздо более детальные и интересные критерии (см аппендикс статьи)

— В эксперименте с двойным слепым рецензированием с PhD ML рецензенты предпочитали улучшенные версии статей в 79% случаев.
Улучшение в среднем достаточно существенное: может вывести статью из Clear reject в Borderline, из Borderline в Accept -- при условии, что сама идея изначально полезная, и сам текст статьи плохо написан.

— Оценка результатов рецензирования и будущих цитирований -- очень спекулятивная тема.  Мы прекрасно знаем, что большая доля статей на NeurIPS годами получает случайные решения.
Теперь, когда объем статей на историческом максимуме и стресс-тестирует все сообщество, автоматические инструменты просто необходимы. В целом, если все авторы будут использовать что-то подобное, суммарная проблема неконсистентности ревью может частично решиться.

🟣Arxiv https://arxiv.org/abs/2603.03142
🟣AlphArxiv https://www.alphaxiv.org/overview/2603.03142

Дайджест февраль 2026:

Представляем дайджест научных событий за последний месяц.

Рейтинги и базы данных

• OpenAlex объявил о переходе к платной модели доступа к API и впервые опубликовал расценки на использование сервиса: теперь доступ строится по принципу usage-based pricing (оплата по объёму запросов), с чётко прописанной стоимостью различных типов обращений к API и возможностью приобретать дополнительные пакеты использования сверх бесплатного лимита.

• K&M опубликовало первый рейтинг научно-технического развития крупнейших российских компаний, — сообщает «Что-то на научном». 

Рецензирование

• В The Scholary Kitchen предложили систему рецензирования “Continuum of Consensus”, как ответ на кризис традиционного научного рецензирования и проблемы качества публикаций. Предложенная модель заменяет традиционный подход «принять/отклонить» на постоянно развивающуюся, прозрачную и коллективную систему оценки. Также бинарная система рецензирования была раскритикована в LSE Blog.

• В Nature обсудили новую систему, объединяющую пять моделей ИИ: она анализирует тексты рецензий и предлагает более конструктивные и корректные формулировки обратной связи. Там же снова затронули тему "AI slop" (большой объём сгенерированных научных материалов и заявок), проблему, приводящую к кризису рецензирования в компьютерных науках. 

ИИ в науке

• Isomorphic Labs разработала IsoDDE, прорывную ИИ-модель для открытия лекарств. Сама архитектура и методы модели остаются закрытыми.

• Биологи, физики и специалисты по информатике начали предлагать свои навыки таким агентам, как RentAHuman.ai, что отражает новый формат взаимодействия технологий и человека за пределами чисто цифровых задач.

• Издательство Elsevier представило новый ИИ-инструмент — LeapSpace, который может анализировать миллионы научных статей с платным доступом.

• The Institute of Electrical and Electronics Engineers (IEEE) представила результаты исследования о технологиях, которые могут изменить мир в 2026 году, — сообщает «Нацподписка». 

Научная политика

• Европейский союз решил исключить китайские научные организации из участия в большинстве грантов программы Horizon Europe — одного из своих ключевых фондов финансирования научных исследований, ссылаясь на риски для стратегической безопасности.

• Министерство науки Китая вводит наказания для университетов, не проводящих расследования серьезных нарушений научной этики. Новая политика также предусматривает создание национальной базы данных отозванных публикаций.

• Китайская академия наук перестанет оплачивать APC в более чем 30 международных журналах, включая Nature Communications, Cell Reports и Science Advance. Мера направлена на сдерживание растущих затрат на открытый доступ и может способствовать укреплению позиций отечественных научных журналов.

• НБЖД сообщает, что Совет по высшему образованию Турции объявил о переходе на Scopus и отказе Web of Science при оценке научной деятельности. Там же отметили, что Microsoft и Meta оплатят контент Wikipedia, главного источника обучения ИИ-моделей.

Научная этика

• В социальных сетях ученые все больше пытаются противостоять дезинформации в ответ на широкое распространение отрицания изменения климата, скептицизма по поводу вакцин и псевдонаучных представлений о здоровье.

•Журнал Nature отозвал опубликованную несколько десятилетий назад статью по иммунологии, которая цитировалась более 1000 раз.

•Журнал Heliyon (Elsevier) отозвал сотни опубликованных статей после внутреннего аудита, инициированного в ответ на критику качества его публикаций.

#OpenAlex #открытыйдоступ #базыданных #научнаяэтика #научнаяполитика #рейтинги #иивнауке #новостинауки