Телеграм канал «Эд Хорьков из КОД9»

Автоматизация разработки - цифры

Продолжаем эксперимент с OpenHands. Сколько времени агенты тратят на задачи и что приходится исправлять.

Средние данные по последним 10 задача:
- Написать код — 20 минут
- Сделать ревью — 10 минут
- Прогнать автотесты — 5 минут
- Проверить на Android через Test Lab — 10 минуты (сама эта проверка тоже требует написание кода под нее)
- Исправить после этой проверки — 10 минуты
- Цикл исправлений после замечаний в PR - от 30 минут до нескольких часов.

Этапы вроде быстрые, но было пару конкретных завтыков - одна задача заняла 70 часов, другая 90 часов.

В общем, агент уже довольно быстро пишет код. Но чтобы проверить этот код по всем этапам - уходит много времени и на каждом из этапов могут потребоваться правки. Из-за этого в автоматическом режиме за день делаются 1-2 задачи а не 5-10 как надо.

Наша цель - сделать так чтобы мелкие задачи агент мог делать за десятки минут, сейчас на это уходит часы.

Пивот который мы заслужили

GoPro (экшн-камеры) сообщили о слиянии с производителем спец оптики для ИИ. Новый вектор - оборудование для ИИ-дата-центров и (сюрпрайз) оборонки.

Акции GoPro выросли на 50% сразу.

Вывод тут такой - если вы делаете продукт, учитывайте, что работать он будет в новом прекрасном мире с AI. И варианты такие тут:

1. Быть полезным для самого ИИ.
Давать ему то, без чего он не работает: вычисления, данные, энергию, связь. Лопаты для золотодобычи.

2. Быть полезным для продуктов, которые появятся благодаря ИИ.
Агентам и следующим поколениям ИИ-продуктов понадобятся память, проверка результатов, управление доступами, инструменты совместной работы.

3. Давать агентам возможность пользоваться вашим продуктом.
Если раньше клиент сам открывал сайт и нажимал кнопки, теперь он может поручить задачу агенту.

4. Быть строго Анти-ИИ
Делать продукт для людей от людей. Без нейрослопа и синтетического контента и чтобы это было гарантировано и проверяемо.

Пятого пункта не будет)

Если вы автоматизируете разработку с ИИ советую сразу замерять время и стоимость выполнения задач.

Мы пока делаем это не системно, а просто в виде вот такого комментария со стоимостью. Стоимость считается по токенам.

Если вдруг вам удалось использовать подписку для такой задачи - все равно рекомендую переводить в токено-деньги, так сильно понятнее.

ROI с таким подходом все равно нормально не подсчитаешь. Но хоть какая-то метрика для оценки.

Обычно я тут пишу про ИИшку, но эта штука меня впечатлила.

Вообще первая мысль была, что это нейрослоп, но это не он, поэтому разберемся - как это работает, откуда такая тяга.

В Roadster используются двигатели на холодном газу. Газ (воздух) запасают в специальном хранилище под высоким давлением. Когда нужна тяга — клапаны открывают, газ расширяется и выходит. При расширении газ ускоряется, а машина получает импульс в противоположную сторону.
Газ хранится в специальном композитном баллоне под высоким давлением (690 бар) - на фото выше.

Главное ограничение такой схемы - это запас рабочего тела. Каждый импульс расходует газ. Тесла не сказала, какая продолжительность тяги/полета, но все думают, что это несколько секунд. И дальше не ясно как возобновлять этот запас - Маск говорит что машина сама будет это делать, но для этого нужно много энергии и мощные двигатели. И еще много других деталей.

Но что точно ясно по вчерашней презентации - то, что Маск - это гениальный маркетолог.

Автоматизация разработки - продолжаем эксперимент

Я уже писал про скиллы для разных этапов разработки продукта.

Мы собрали один процесс на одном из своих продуктов в КОД9.

Идея такая:
- менеджер или тестировщик заводит задачу или баг
- дальше агент сам пишет код, тесты, проверяет приложение, создает PR.
- другой агент делает ревью, первый исправляет замечания, и после проверок изменения попадают в основную ветку.
- первый агент так же записывает видео с результатом и кидает его в задачу с описанием результата.

Честно, пока такой процесс работает через раз, но все же работает. Агент часто спотыкается, и стопориться. Отдельная проблема это то что текущий пайплайн выстроен для создания небольшого мобильного приложения - а с мобилками все не так просто как с вебом.

Что используем:
- Открытый SDLC харнесс OpenHands - подозреваю что если бы взяли коммерческий Factory - было бы получше
- ChatGPT 6.1 SOL - компромиссный вариант по цене и качество почки как у Астра + не блочит как Антропик
- Для записи агентом видосов с тестами - Firebase TestLab

Новости искусственного интеллекта

Ряд наших продуктов использует AI-решения от Яндекса.

У Яндекса есть несколько площадок с GPU (V100/A100) где они крутят свои ML-сервисы
- ru-central1-a  в Мытищах (МО)
- ru-central1-b - в Рязанской области
- ru-central1-e - кажется еще только вводится в эксплуатацию, тоже где-то в МО

На площадке в Рязанской области ночью случился пожар в итоге большая часть сервисов в ru-central1-b недостуна: https://status.yandex.cloud/ru/incidents/2092?retpath=%2Fru%2Ftimeline

Недоступны и наши продукты 🫤

Не держите все свои сервисы на одной площадке.

Вот и мы дошли до того, чтобы крутить свой микро-инференс на GPU.

Задача - делать ASR/STT (распознавание речи), при этом доступные облачные решения от местных бигтехов работают плохо.

Поэтому берем опенсорсные модельки и гоняем их на своем GPU.