Наверняка здесь много выпускников ВМК МГУ (и не только ВМК или МГУ, а просто неравнодушных к науке). Хотим поделиться информацией, что для поддержки факультета ВМК создан новый фонд: Фонд развития прикладной математики и информационных технологий имени академика А.Н. Тихонова.
Методы оценки синтезированного программного кода и управления его генерацией с применением языковых моделей
Дмитрий Витальевич Федрушков, аспирант, Университет ИТМО
Яндекс Телемост->
При генерации программного кода с помощью больших языковых моделей зачастую отсутствует эталонное решение, с которым можно было бы сравнить полученный результат, а существующий набор тестов может быть неполным или вовсе отсутствовать. Поэтому для практического использования таких систем необходимы методы оценки качества, способные работать непосредственно с сгенерированным кодом, не опираясь на референс и выполнение тестов. В докладе будет рассмотрен подход к многокритериальному безреференсному оцениванию, объединяющий формально проверяемые свойства кода с вероятностными и семантическими оценками языковых моделей. Будет показано, как различные оценочные сигналы дополняют друг друга и позволяют получить более устойчивую и интерпретируемую оценку качества. Отдельно будет рассмотрено использование такой оценки в качестве обратной связи для управления генерацией.
С сентября продолжит работу семинар ИОИПР (Исследование Операций и Интеллект Принятия Решений). Доклады будут проходить также в онлайн формате по средам, по умолчанию в 12:00 МСК (но иногда будут небольшие смещения). Следите за детальными анонсами предстоящих докладов в @noml_digest или @noml_community и сохраняйте в календари интересные темы:
2 сентября | Дмитрий Витальевич Федрушков (Университет ИТМО), Методы оценки синтезированного программного кода и управления его генерацией с применением языковых моделей.
16 сентября | Павел Владимирович Снурницын (ВМК МГУ), Лунный свет модулярных форм: арифметика, физика, кибернетика.
30 сентября | Андрей Дмитриевич Пудовиков (Институт ИИ МГУ), Методы автоматического выставления ставок в рекламных аукционах.
14 октября | Сергей Павлович Строев (ФМИТ ОГУ), О некоторых задачах теории массового обслуживания и имитационного моделирования.
28 октября | Глеб Владимирович Фёдоров (Университет Сириус), Об одной задаче моделирования Монте-Карло.
11 ноября | [Тема будет объявлена позже].
25 ноября | Александр Андреевич Петров (ФКИ МГУ), Определение множества достижимости в динамических системах с помощью нейронных сетей.
9 декабря | Дарья Александровна Горбань (ФКИ МГУ), Дмитрий Игоревич Королёв (ФКИ МГУ), Совместная оптимизация конфигурации и поведения: обзор simulation-based optimization для пространственно-процессных систем.
Созвон про состояние адаптации LLM и GenAI в бизнесе
Яндекс Телемост->
Денис Афанасьев из Клуба CDO @cdo_club недавно делился исследованием: Состояние клиентских GenAI-агентов в финансовых услугах.
Решили с Денисом собрать созвон для обсуждения следующих вопросов:
• Какие сейчас в целом есть бизнес-кейсы на базе LLM и GenAI? Что реально работает, а что остаётся на уровне идей и пилотов?
• Почему после трёх лет хайпа LLM/GenAI лицом к клиенту — всё ещё редкость, а не норма?
• Во сколько обходится страх галлюцинаций? И как контролировать процессы на базе LLM/GenAI?
• Строить свой стек или покупать готовое? Почему у разных организаций ответы диаметрально противоположные?
• Что мешает доводить пилоты и идеи на базе LLM/GenAI до прода?
• Наконец, кто в организации должен отвечать за риски связанные с ИИ?
Как обычно, формат открытый и свободный, приглашаются все желающие и послушать, и высказаться по теме!