Телеграм канал «Эксперименты сумасшедшего»

Недавно у меня состоялась интересная дискуссия и мы пришли к одному вопрос:
ИИ обесценивает знания?
Мне кажется, точнее будет сказать иначе... ИИ обесценивает привычные способы доказывать, что эти знания у тебя есть.

Раньше всё было относительно просто -> если человек быстро решает сложную техническую задачу, пишет эксплойт, разбирает бинарь, находит причину проблемы в инфре... это довольно хороший сигнал, что он действительно обладает соответствующими знаниями и опытом.

Сегодня между человеком и результатом появился очень мощный посредник...
- Можно не помнить синтаксис
- Можно не знать конкретную библиотеку
- Можно не до конца понимать какой-то механизм

Достаточно хорошо описать проблему, передать контекст модели, получить несколько гипотез, проверить их... и в итоге прийти к правильному решению.

Поэтому сам факт - "человек решил задачу", всё хуже отвечает на вопрос:
Что именно этот человек умеет сам?
И особенно хорошо это видно на CTF.

Все сейчас ссутся кипятком от CTF который намутил Бузон и формата, где команда из трёх человек сидит за одним компьютером в изолированной среде без доступа к ИИ.

А давайте-ка мысленно вернёмся на три-четыре года назад...

Если бы тогда организаторы сказали - "у вас команда из трёх человек, но на всех будет один компьютер без выхода в инет"

Реакция была бы примерно - "Каво?" 🤔

CTF традиционно строятся на параллельной работе
Один человек решает web
Другой - reverse
Третий - pwn

Один компьютер для трёх человек выглядел бы просто искусственным ограничением, которое мешает нормально работать... ну это я еще мягко выразился...

А сегодня ровно то же самое ограничение воспринимается уже совершенно иначе

Потому что команда не просто сидит за одним ПК, она изолирована от привычных AI-инструментов.

И внезапно один компьютер становится не странной организационной особенностью, а способом снова сделать человеческое участие наблюдаемым.

То, что несколько лет назад выглядело бы как архаизм, сегодня начинает восприниматься как механизм проверки компетенции... правда грустно?

И вот это, на мой взгляд, гораздо интереснее самого вопроса "можно ли пользоваться ChatGPT на CTF"

Потому что ИИ ломает привычную связь:
результат -> знания человека.

Раньше хороший "observable output" (как это модно сейчас называть) был неплохим proxy для реального уровня специалиста, а сегодня уже нет 💀

ИИ не полностью обесценивает знания

Он прежде всего обесценивает знания, которые легко вынести наружу, там например:
- Знать команду
- Помнить синтаксис
- Вспомнить название тулы
- Знать конкретный параметр
- Держать в голове справочную информацию

Цена всего этого падает...

Зато гораздо важнее становится другое:
- понимать систему
- уметь поставить правильный диагноз
- понимать, какой информации тебе не хватает
- строить гипотезы
- отбрасывать неправильные ответы
- замечать, когда модель уверенно несёт технически правдоподобный бред

Два человека могут одинаково пользоваться ИИ...

Первый пишет:
"Вот CTF-таск. Реши ПЫЖЫ"

Второй пишет:
"Я вижу здесь UAF. Вот версия libc, protections, allocator state и место падения. Проверь, не ошибаюсь ли я в предположении вот здесь"

Формально оба используют один инструмент... а фактически уровень между ними может отличаться на порядок.

Поэтому, скорее всего, со временем появятся две совершенно нормальные модели соревнований.

Первая - AI allowed.
Побеждает тот, кто лучше решает задачи, используя весь доступный технологический стек.

Это ближе к реальной работе.

Вторая - human-only / constrained tooling.
Где организаторы сознательно ограничивают инструменты, чтобы попытаться измерить именно знания и мышление человека.

И здесь возникает довольно забавный парадокс.
Мы много лет старались делать технические соревнования всё ближе к реальной работе:
- свои ноутбуки
- интернет
- любые инструменты
- любые IDE
- любые скрипты

Но сегодня реальная работа всё чаще включает ИИ... как бы этого не хотелось избежать

И чтобы продолжать измерять человека, соревнования вынуждены становиться менее похожими на реальную работу.

Возможно, ИИ не обесценивает знания.

Он просто заставляет нас заново придумать, как отличать знания человека от качества результата, который он способен получить вместе с машиной.
Главное - получить верный ответ, и плевать, что ты ничего не понял.Карл Саган
Когда я читал книжку Карл Сагана... "Мир полный демонов", я думал человек слишком скептически смотрит на мир, как грустно соглашаться с ним сейчас

Вот такая хуйня... собачка 😳