Про тренды трендов

Кстати, интересно посмотреть на то, как сложность D&A отражается в подаче самих трендов Gartner:
▫️ Когда-то был так называемый Gartner Magic Quadrant для DS/ML платформ — по сути рейтинг 10-20 вендорских платформ. В связи со взрывом ландшафта решений и фреймворков для DS/ML он потерял актуальность и был заменен на так называемый Market Guide Report, описывающий каким функционалом должна в принципе обладать идеальная DS/ML платформа, но уже без попыток проанализировать и обозреть все существующие платформы.
▫️ Когда-то в D&A/ML/AI трендах от Gartner проскакивали конкретные технологии, такие как например графы, причинно следственный анализ или Edge-аналитика. В какой-то момент это тоже потеряло особый смысл, и был обозначен один тренд Emergent AI — все новые методы и технологии ML/AI потенциально полезные для бизнеса с посылом, что полезно за всеми этими технологиями следить.
▫️ А теперь потеряло смысл и выделение каких-то отдельных трендов D&A, таких например как Data Fabric, Observability или Responsible AI. Просто обозначены 4 крупные группы.

Вообще, даже эти 4 тренда Gartner 2024 можно еще сгруппировать в 2 ключевых мотива:
▫️ Важность D&A для бизнеса (тренд №4 в целом решает ту же задачу эффективного достижения бизнес целей организации с помощью широкой адаптации D&A);
▫️ Управление сложностью (проблемы доверия к данным и аналитике из тренда №3 — по сути следствие этой сложности).

А управление сложностью в конечном счете тоже нужно для решения бизнес задач, так что тренд остаётся один:
▫️ Используйте данные и аналитику осознанно для решения ваших бизнес задач)) Саша Бородин, привет;)

Уже меньше чем через полтора часа начнём наше обсуждение трендов, подключайтесь→

Про тренды D&A Gartner

Обсуждение на этой неделе приурочено к ежегодной публикации трендов в области Data & Analytics от Gartner. Вот короткий пост с верхнеуровневым описанием трендов:
▫️ Gartner Identifies the Top Trends in Data and Analytics for 2024 (3 минуты).

Подробнее — в двух докладах:
▫️ Выступление на коференции Gartner: Gareth Herschel - Top Trends in Data and Analytics 2024 l Gartner Data & Analytics Summit (30 минут);
▫️ И примерно тот же рассказ в формате вебинара, с обсуждением вопросов (потребуется регистрация): Gareth Herschel - The Gartner Top Trends in Data & Analytics for 2024 (1 час);
▫️ Слайды тут (прямая ссылка, без регистрации).

Если кратко, на этот раз тренды упаковали поплотнее — 4 штуки (как сказали в докладе, вообще хотели сделать 3, но получилось 4):
▫️ №1 Betting the Business. Максимальная адаптация практик принятия решений на базе данных и аналитики (включая AI) является ключевым фактором выживания любого бизнеса. Это, наверное, все понимают. Gartner делает акценты на эффективности этой адаптации. Помимо прочего подчеркивается важность умения со стороны data-команд доносить до бизнеса, как конкретные D&A инициативы влияют на конкретные бизнес-цели организации, а также важность вопросов управления ресурсами и финансированием проектов D&A. Хороший термин — аналитические франшизы внутри организации (D&A Franchise). Речь про определение и распространение лучших технологических и методологических практик аналитики данных по всей организации с последующим контролем соблюдения этих практик. По сути, промежуточное состояние между централизованной и децентрализованной моделями функции D&A, о которых мы тут часто говорим.
▫️ №2 Managed Complexity. Снова речь про то, что ландшафт D&A (в широком смысле: от источников, в которых данные появляются, до бизнес процессов, в которых принимаются решения на этих данных) является очень сложным и нужно этой сложностью управлять. Многие темы, которые раньше в отчётах Gartner были сами по себе трендами, теперь упоминаются как подходы, отвечающие на вызовы растущей сложности data-ландшафта: Digital Twins, Process Mining, Augmented Data Management, Augmented Analytics, Data Fabric, Decision Automation, Self-learning AI, …
▫️ №3 Be Trusted. Уверенность в данных и принимаемых на основе аналитики этих данных бизнес решениях. Аналогично предыдущему пункту, много знакомых слов из предыдущих трендов Gartner предлагаются как подходы к решению проблем доверия к данным и аналитике: Data Quality, AI Ready Data, Observability, Explainability, Responsible AI, Privacy ML & Data Security, AI Governance, Decision Intelligence, …
▫️ №4 Empowered Workforce. Важность понимания эффектов и подходов принятия решений на базе D&A (включая AI) на всех уровнях в организации. Не только AI Ready Data, но и AI Ready People))

В докладах на самом деле более многомерный подход: вокруг этих 4 тем с одной стороны 12 проблем/вызовов, с которыми сталкиваются организации в области D&A, с другой — 11 советов, что со всем этим делать.

На нашем созвоне круглом столе постараемся всё это обсудить. При этом понятно, что Gartner оперирует терминами на достаточно высоком и абстрактном уровне, а у нас у всех есть свои личные тренды в нашем окружении и в наших задачах анализа данных. Так что озвучивайте свои топ 3 тренда завтра на созвоне или в чате @noml_community, по результатам оформим небольшой пост про тренды D&A от NoML;)

Про космический день карьеры

На прошлой неделе мы сходили на день карьеры ФКИ МГУ. Рассказали, какие задачи бывают в области данных и аналитики в целом, и чем занимается наша компания GlowByte и команда Advanced Analytics в частности. В процессе рассказа много махали руками и вспоминали всякие интересные кейсы. Для тех участников дня карьеры, кто вдруг дошел до нашего канала, ловите подборку с деталями;)

▫️ Про оптимизацию работы промышленного оборудования, в частности кейс оптимизации работы цементного измельчителя: Александра Московко, Александр Собенников - Оптимизация цикла измельчения цемента, 2023 (2 часа 15 минут).
▫️ Про методы оптимизации и их приложения (обзорно): Максим Гончаров - Введение в прикладную математическую оптимизацию, 2023 (1 час 35 минут).
▫️ Про мультиагентные технологии: Сергей Грачев - Мультиагентные технологии: решение сложных бизнес задач на принципах самоорганизации активных агентов, 2023 (2 часа 5 минут); также про два космических мультиагентных кейса (проектирование сложных аппаратов и логистика МКС) можно почитать в книге коллег (главы 11 и 13): Ржевский Г.А., Скобелев П.О. - Как управлять сложными системами? 2015.
▫️ Про некоторые задачи клиентской аналитики: Дмитрий Забавин, Вадим Глухов, Сергей Вакунов - Моделирование оттока, удержания и реактивации, 2022 (2 часа).
▫️ Про применение методов оптимизации в задачах клиентской аналитики: Вазген Амбарцумов - Маркетинговая оптимизация и задача Next Best Offer, 2024 (1 час 15 минут).
▫️ Про оптимизацию цен на нейросетях: Михаил Малышков, Максим Гончаров, Михаил Куляскин - Применение нейросетевого подхода для ценовой оптимизации, кейс сети Магнит, 2024 (1 час 10 минут).
▫️ Про нашу команду: Про работу в DS/ML консалтинге и практику AA GlowByte, 2023 (1 час 40 минут).

Также напоминаем, что у нас будет летняя стажировка по методам оптимизации и исследованию операций, на которой разберём несколько реальных бизнес задач. Подробности можно найти в посте выше. Сбор заявок до 13 мая, ещё есть время!

Созвон про тренды Data & Analytics 2024, часть III

▫️ 2 мая (четверг), 19:00 МСК
▫️ Подключение→

На этой неделе у нас планируется финальная часть нашей трилогии про тренды D&A 2024. Предыдущие два раза мы вместе с Константином Полухиным и Максимом Гончаровым разбирали, насколько сбылись/сбываются прогнозы прошлого года. В этот раз мы наконец поговорим о том, что видится в ближайшем будущем в области D&A.

Так что слушайте и переслушивайте наши прошлые обсуждения и подключайтесь к дискуссии в этот четверг!
▫️ Тренды Data & Analytics, часть I, 2023 (1 час 50 минут);
▫️ Тренды Data & Analytics, часть II, 2024 (1 час 20 минут).

Мероприятия NoML в мае

План наших мероприятий на май, сохраняйте релевантные темы в свои календари:

▫️ 2 мая (четверг) 19:00 МСК | созвон | Тренды D&A, часть 3;

▫️ 8 мая (среда) 17:00 МСК | семинар | Захар Понимаш (ФракталТех), Виктор Носко (ФракталТех) - Мультиагентный искусственный интеллект: современные тренды и преимущества синергии с LLM;

▫️ 15 мая (среда) 17:00 МСК | семинар | Tiancheng Zhang (Cardinal Operations) - COPT: a mathematical optimization solver for large-scale problems;

▫️ 22 мая (среда) 17:00 МСК | семинар | Александр Андреев (GlowByte AA, ИТМО) - Алгоритмы решения SAT: теоретические и практические аспекты;

▫️ 29 мая (среда) 17:00 МСК | семинар | Егор Дудырев (НИУ ВШЭ, Университет Лотарингии) - Неформальное введение в Анализ Формальных Понятий;

Ссылка для подключения пока та же: Google Meet→, но на всякий случай следите за обновлениями в наших канале @noml_digest и чате @noml_community, там же публикуются более детальные анонсы предстоящих докладов.

Запись семинара

▫️ Михаил Зайцев, Григорий Шутов, Евгений Вилков - Платформа для DS/ML Kolmogorov: архитектура и демо (1 час 20 минут).
▫️ Презентация в базе знаний→

Семинар про Kolmogorov AI

▫️ 24 апреля (среда), 17:00 МСК
▫️ Подключение→

Выступают:
▫️ Михаил Зайцев, Kolmogorov AI
▫️ Григорий Шутов, GlowByte Advanced Analytics
▫️ Евгений Вилков, Data Ocean Nova

Тема: Платформа для DS/ML Kolmogorov: архитектура и демо

Аннотация
На семинаре расскажем про решения Kolmogorov AI и Data Ocean Nova для построения Data+ML платформы и покажем сквозной процесс разработки аналитических моделей на этой платформе: от постановки бизнес-задачи и управления рабочим процессом её решения, до внедрения моделей в промышленный контур с их последующей эксплуатацией. В процессе демо покажем:
▫️ Управление жизненным циклом моделей в Kolmogorov Continuity;
▫️ Подготовку фич для обучения моделей в Feature Store Kolmogorov Axiom, акцентируем внимание на спуск вычислений переменных в Apache Spark и сквозную интеграцию с платформой данных Nova;
▫️ Разработку моделей в Kolmogorov A2P — сборке SOTA OSS компонент, объединённых единым зонтичным пользовательским интерфейсом;
▫️ Валидацию и мониторинг моделей в Kolmogorov Predicate;
▫️ Деплоймент моделей в сборке Kolmogorov A2P.

Запись семинара

▫️ Михаил Малышков, Максим Гончаров, Михаил Куляскин - Применение нейросетевого подхода для ценовой оптимизации, кейс сети Магнит (1 час 10 минут).
▫️ Презентация и код в базе знаний→

Про ClearML

Недавно у нас на семинаре выступали коллеги из ClearML. Публикуем подборку материалов про функционал продукта от Тины и Натана.

Общие ресурсы:
▫️ Docs→
▫️ GitHub→
▫️ Slack→
▫️ YouTube→
▫️ Blog→ & Case Studies→

(Очередной) отчёт про важность платформ для DS/ML/AI:
▫️ The State of AI Infrastructure at Scale 2024 (5 минут).

Материалы и примеры про функционал пайплайнов и сёрвинга:
▫️ Pipelines: Pipelines Introduction (общее описание из документации), Pipeline from Tasks (разбор примера) и код примера на GitHub;
▫️ Serving: Serving Introduction (общее описание из документации), ClearML-Serving GitHub Repo (инструкция и примеры).

Некоторые вводные и обзорные видео в дополнение к тому, что было рассказано на нашем семинаре:
▫️ Improving a day in the life of: Data Scientist - How ClearML is actually used (30 минут);
▫️ Improving a day in the life of: MLOps Engineer - How ClearML is actually used 2 (50 минут);
▫️ Model Serving Monitoring and Traceability - The Bigger Picture (30 минут);
▫️ ClearML Onboarding Walkthrough: Part 1, Part 2, Part 3 (1 час 35 минут).

Ну и в наше время нельзя пройти мимо темы LLM:
▫️ ClearGPT - Your Data, Your LLM: How to Build a Support Slack Bot (20 минут).

Небольшой NoML Recap

Запись прошедшего вчера семинара будет через пару дней, а пока предлагаем вспомнить другие доклады в сообществе про применение прогнозной и оптимизационной аналитики в задачах ритейла и FMCG:
▫️ Максим Гончаров - Комплексный подход к оптимизации ассортимента, 2021 (1 час 25 минут);
▫️ Андрей Иванов - Применение квантильных оценок и прогнозирования вероятностных распределений в задачах прогнозно-оптимизационной аналитики, 2022 (1 час 10 минут);
▫️ Максим Гончаров, Вазген Амбарцумов - Управление промо-календарём на базе методов прогнозной и оптимизационной аналитики, 2023 (1 час 55 минут).

Плюс первые два доклада на митапе про анализ временных рядов (ссылки с таймкодами):
▫️ Андрей Иванов - Нейросетевые методы анализа временных рядов, использующие частотные характеристики, графовые нейронные сети, сети с вниманием и частотный анализ, 2022 (40 минут);
▫️ Антон Эм, Валерий Лоев - Повышение точности прогноза продаж с нестационарной сезонностью для сквозного операционного планирования при помощи вейвлет-разложений, 2022 (40 минут).

Про ML на графах

Ссылки на материалы из доклада Вадима @Eighonet.

Пара обзоров:
▫️ M. Galkin, H. Ren, Zh. Zhu - Graph ML in 2023: The State of Affairs, 2023 (30 минут);
▫️ M. Galkin et al. - Graph & Geometric ML in 2024: Where We Are and What’s Next: Part I - Theory & Architectures, Part II - Applications, 2024 (1 час 30 минут).

Приложения
Рекомендательные системы:
▫️ A. Jain, I. Liu, A. Sarda, P. Molino - Food Discovery with Uber Eats: Using Graph Learning to Power Recommendations, 2019 (15 минут);
▫️ R. Ying et al. - Graph Convolutional Neural Networks for Web-Scale Recommender Systems, 2018 (40 минут).

Предсказание дорожного трафика:
▫️ V. Mashurov, V. Chopuryan, V. Porvatov, A. Ivanov, N. Semenova - Gct-TTE: graph convolutional transformer for travel time estimation, 2024 (25 минут);
▫️ Yu. Fang et al. - Spatio-Temporal meets Wavelet: Disentangled Traffic Flow Forecasting via Efficient Spectral Graph Attention Network, 2022 (30 минут).

Drug discovery & protein design:
▫️ J.M. Stokes et al. - A Deep Learning Approach to Antibiotic Discovery, 2020 (45 минут);
▫️ J.L. Watson et al. - De novo design of protein structure and function with RFdiffusion, 2023 (45 минут).

Методы:
▫️ node2vec: A. Grover, J. Leskovec - node2vec: Scalable Feature Learning for Networks, 2016 (45 минут);
▫️ metapath2vec: Y. Dong, N.V. Chawla, A. Swami - metapath2vec: Scalable Representation Learning for Heterogeneous Networks, 2017 (40 минут);
▫️ GCN: Th.N. Kipf, M. Welling - Semi-Supervised Classification with Graph Convolutional Networks, 2017 (25 минут);
▫️ GraphSAGE: W.L. Hamilton, R. Ying, J. Leskovec - Inductive Representation Learning on Large Graphs, 2017 (30 минут);
▫️ GAT: P. Veličković et al. - Graph Attention Networks, 2018 (25 минут);
▫️ HAN: X. Wang et al. - Heterogeneous Graph Attention Network, 2019 (40 минут);
▫️ Deep Graph InfoMax: P. Veličković et al. - Deep Graph Infomax, 2018 (25 минут);
▫️ Graphormer: Ch. Ying et al. - Do Transformers Really Perform Bad for Graph Representation? 2021 (25 минут).

Фреймворки:
▫️ DGL (Deep Graph Library);
▫️ PyG (PyTorch Geometric);
▫️ NetworkX;
▫️ Pyvis для интерактивной визуализации.

Семинар про оптимизацию на нейросетях

▫️ 17 апреля (среда), 17:00 МСК
▫️ Подключение→

Выступают:
▫️ Михаил Малышков, Магнит
▫️ Максим Гончаров, Data Sapience Kolmogorov AI
▫️ Михаил Куляскин, GlowByte Advanced Analytics

Тема: Применение нейросетевого подхода для ценовой оптимизации, кейс сети Магнит

Аннотация
На семинаре мы расскажем о:
▫️ Целях и задачах проекта;
▫️ Постановке задачи оптимизации регулярного ценообразования для максимизации ожидаемой прибыли;
▫️ Использовании подхода, когда та же нейросеть, прогнозирующая объём продаж, используется и для оптимизации маржи;
▫️ Методах учёта ограничений в суррогатной задаче безусловной оптимизации (штрафные методы, модифицированный метод Лагранжа, метод точных штрафов).
▫️ Также продемонстрируем все рассматриваемые варианты реализации алгоритма на простом синтетическом примере.
▫️ И разберём сложности, с которыми мы столкнулись при реализации проекта.

Запись семинара

▫️ Вадим Порватов - Введение в глубокое обучение на графах (1 час 20 минут).
▫️ Презентация в базе знаний→

Семинар про глубокое обучение на графах

▫️ 10 апреля (среда), 17:00 МСК
▫️ Подключение→

Выступает: Вадим Порватов, старший аналитик, GlowByte Advanced Analytics

Тема: Введение в глубокое обучение на графах

Аннотация:
Вводный семинар о месте графов в глубоком обучении — поговорим о том, в каких областях графы встречаются, а также об эволюции методов их обработки. Среди прочего, коснёмся не только наиболее популярных архитектур (GCN, GraphSAGE, GAT), но и их расширения на гетерогенные графы (metapath2vec, HAN), а также альтернативных message passing моделям подходов (Graphormer).

Запись семинара

Запись доклада, который был в прошлую среду, уже пару дней как опубликована:
▫️ Tina Naro, Nathan Mogilchenko - ClearML: Introduction & Demo (1 час 45 минут).

Сори, иногда забываю написать сразу в канал.