Наверняка здесь много выпускников ВМК МГУ (и не только ВМК или МГУ, а просто неравнодушных к науке). Хотим поделиться информацией, что для поддержки факультета ВМК создан новый фонд: Фонд развития прикладной математики и информационных технологий имени академика А.Н. Тихонова.
Методы оценки синтезированного программного кода и управления его генерацией с применением языковых моделей
Дмитрий Витальевич Федрушков, аспирант, Университет ИТМО
Яндекс Телемост->
При генерации программного кода с помощью больших языковых моделей зачастую отсутствует эталонное решение, с которым можно было бы сравнить полученный результат, а существующий набор тестов может быть неполным или вовсе отсутствовать. Поэтому для практического использования таких систем необходимы методы оценки качества, способные работать непосредственно с сгенерированным кодом, не опираясь на референс и выполнение тестов. В докладе будет рассмотрен подход к многокритериальному безреференсному оцениванию, объединяющий формально проверяемые свойства кода с вероятностными и семантическими оценками языковых моделей. Будет показано, как различные оценочные сигналы дополняют друг друга и позволяют получить более устойчивую и интерпретируемую оценку качества. Отдельно будет рассмотрено использование такой оценки в качестве обратной связи для управления генерацией.
С сентября продолжит работу семинар ИОИПР (Исследование Операций и Интеллект Принятия Решений). Доклады будут проходить также в онлайн формате по средам, по умолчанию в 12:00 МСК (но иногда будут небольшие смещения). Следите за детальными анонсами предстоящих докладов в @noml_digest или @noml_community и сохраняйте в календари интересные темы:
2 сентября | Дмитрий Витальевич Федрушков (Университет ИТМО), Методы оценки синтезированного программного кода и управления его генерацией с применением языковых моделей.
16 сентября | Павел Владимирович Снурницын (ВМК МГУ), Лунный свет модулярных форм: арифметика, физика, кибернетика.
30 сентября | Андрей Дмитриевич Пудовиков (Институт ИИ МГУ), Методы автоматического выставления ставок в рекламных аукционах.
14 октября | Сергей Павлович Строев (ФМИТ ОГУ), О некоторых задачах теории массового обслуживания и имитационного моделирования.
28 октября | Глеб Владимирович Фёдоров (Университет Сириус), Об одной задаче моделирования Монте-Карло.
11 ноября | [Тема будет объявлена позже].
25 ноября | Александр Андреевич Петров (ФКИ МГУ), Определение множества достижимости в динамических системах с помощью нейронных сетей.
9 декабря | Дарья Александровна Горбань (ФКИ МГУ), Дмитрий Игоревич Королёв (ФКИ МГУ), Совместная оптимизация конфигурации и поведения: обзор simulation-based optimization для пространственно-процессных систем.