Телеграм канал «А что если... ?»

Какое главное профессиональное качество автослесаря программиста?

Умение пользоваться динамометрическим ключом? Регулировать карбюратор? Менять прошивку на на китайской электричке? Нет, одним из главных качеств или даже умений для автослесаря является способность отличать право от лева!

Теперь про программистов. Писать код на высокоуровневом языке программирования? Может быть на ассемблере? Знать алгоритмы? Нет, умение есть слона по кусочкам.

Периодически провожу менторинг по кондингу с ИИ агнетами. И недавно понял, что такая простая штука как нарезать большую задачу на мелкие это один из важных навыков. Писать код могут и агенты. То что я не замечаю даже, у других часто вызвает сложности.

Вспомнил ещё что наш препод по матану говорил что-то похожее про математиков. Математик не всегда знает как решить задачу. Но часто можно задачу переделать так, чтобы она была похоже на то, что ты уже умеешь решать. А дальше дело техники.

Кстати это софт или хард скилл?

Недавно познакомился с Алексеем. Конечно он тоже пишет про ИИ в телеграме. И делает какие-то сумаcшедшие вещи. Например у него 1 844 видео и 67 000 комментов с ютуба выкачиваются за пару минут! Детали у него в посте. От него же узнал про опен сорс фреймворк для пентестинга https://pentagi.com. А ещё он собирается поехать на Tech Week в Кремниевой долине. Анбеливбл. В общем крайне рекомендую на него подписаться.

telemetr.me/nedyrov

Использование кэша - самый простой способ снизить стоимость работы агентов

Не так давно писал как мне удалось снизить стоимость переводов в 72 раза. Один из важных кирпичиков этой системы - использование кэша.

Недавняя статья OpenAI как раз про это.

Вот основные моменты:
- главный принцип - чем меньше меняется начало запроса между вызовами, тем лучше кэш
- не менять порядок тулов и их схему без необходимости
- прогрев кэша перед запуском однотипных запросов
- кэш сохраняется 30 минут

В моём кейсе тексты нужно было переводить на несколько десятков языков разными агентами. Важно было сделать, чтобы переводчики не переписывали каждый раз заново промпт, а меняли только его части. У меня получилась структура промптов примерно такая:

---
Общий промпт для всех агентов
---
Специфика грамматики для конкретного языка
---
Пары важных терминов: на языке оригинала - желаемый перевод
---
Текст для перевода
---

Получается модульная структура. Переводчикам удобно менять для разных языков только те модули, которые нужно. Общая часть остаётся всегда одинакова. Общую часть можно условно назвать редакционной политикой.

Максимальный объём промпта у меня был 8000 токенов. Если использовать модель вроде Luna у которой контекст 1 млн токенов, то эффективные инструкции без потери качества могут быть до 300 000 токенов. На основе исследований заметная деградация начинается примерно после 12.5–25% заявленного контекстного окна.

Из интересного, китайские модели плохо переводят славянские языки: сербский и болгарский. Самый плохой перевод был для венгерского. OpenAI модели справляются сильно лучше. С другими европейскими языками особых проблем не было.

Agent first подход в разработке софта

Подумалось, что в нынешней разработке софта часто можно не делать фронтенд вообще.

Если нужно посмотреть какие-то данные, подрубаешь MCP к своему агенту и запрашиваешь что нужно и в той форме как тебе нужно.

В случае с фронтендом у тебя нет такой вариативности.

Например, задачи в Линеаре (или Жире) можно смотреть в интерфейсе. А можно попросить агента показать в нужном порядке и сразу начать делать.