Агент поддержки дал неверный ответ о возврате товара. Где возникла ошибка — при поиске по базе знаний или при формировании ответа моделью? Чтобы разобраться, нужно увидеть весь путь запроса клиента и связать действия агента между собой.
27 октября в 18:00 на открытом уроке курса по эксплуатации ИИ-агентов развернёте Langfuse локально и разберёте наблюдаемость и оценку качества на примере агента поддержки интернет-магазина.
Агент использует YandexGPT и отвечает на вопросы о возврате и доставке. Вы подключите сбор данных о его работе и проследите обращения к модели, поиск по базе знаний и задержки. Найдёте проблемный запуск по трассировке и добавите автоматическую оценку ответа.
Разберёте установку Langfuse через Docker Compose и подключение Python-приложения. Узнаете, как собирать связанные трассировки, ответы модели, метаданные клиента и сессии, чтобы восстанавливать ход выполнения задачи.
Урок подойдёт ML-инженерам, разработчикам ИИ-агентов и специалистам платформенных и MLOps-команд. Особенно тем, кому важно быстрее находить причины ошибок и держать данные наблюдаемости на собственной инфраструктуре.
Урок проведёт Николай Осипов.
Зарегистрироваться: https://vk.cc/d38NyI
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Подборка каналов по поиску работы в разных IT специализациях.
Вакансии по QA: telemetr.me/qajobsoffers
Вакансии по Python: telemetr.me/pypijob
Вакансии по Java: telemetr.me/javaoffers
Вакансии по PHP: telemetr.me/rabotaphp
Вакансии по GO: telemetr.me/jobgolang
Вакансии по тестированию(QA): telemetr.me/jobforqa
Вакансии по C#: telemetr.me/rabotacschap
Вакансии по релокации в IT: telemetr.me/relocatesme
Вакансии PM: telemetr.me/projectmanagersjob
Вакансии Frontend: telemetr.me/rabotafrontend
P.S во всех каналах можно связаться с HR в телеграме
ИИ-агент отвечает на вопросы и вызывает инструменты, но почему один ответ занимает 40 секунд? И сколько он стоит, если агент несколько раз обращается к модели или зацикливается на одной задаче? Общий счёт за API не покажет, где именно расходуются деньги.
12 октября в 20:00 на открытом уроке курса по эксплуатации ИИ-агентов разберёте, как увидеть каждый шаг агента, измерить задержки и посчитать стоимость отдельного ответа.
На практике возьмёте готового ReAct-агента с инструментами и подключите трассировку через OpenTelemetry. Проследите путь от задачи до вызовов модели и инструментов, найдёте самый дорогой шаг и зацикливание. Посмотрите, как введение одного лимита влияет на стоимость ответа.
Разберёте, какие метрики собирать на уровне сессии, задачи и отдельного шага. Познакомитесь с платформами Arize Phoenix, Langfuse и LangSmith, а трассировки рассмотрите в бесплатном локальном интерфейсе.
Урок подойдёт ML-инженерам и разработчикам, которые уже используют API языковых моделей и хотят понимать поведение агентов после запуска. Вы узнаете, как находить лишние вызовы, причины задержек и точки отказа по данным о выполнении задачи.
Урок проведёт Игорь Стурейко.
Зарегистрироваться: https://vk.cc/d2t1Am
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru