Аналитика Telegram-канала
Подписчики
12 878
Охват за 24 ч
3,5K
ER за 24 ч
27,34%
Публикаций
962

Динамика подписчиков

7 дней 30 дней 6 месяцев Больше
14 ноя17 ноя20 ноя
Показаны последние 7 дней Больше истории →

Охваты публикаций

22.1026.1027.1003.1117.11
1,7K
Средний охват
2,6K
Лучший результат
Показаны 5 публикаций — последние в канале Больше статистики →

Упоминания

304
Упоминаний
157
Из них репостов
118
Каналов
Все упоминания

Последние посты

3 из 962 2 из 962
Фото
Как устроены словари в Python? Часть 1 Один из самых популярных вопросов на собесах. Так много статей в интернете, так мало правильных ответов! Сегодня будем разбирать. Базовое устройство Если вы не смотрели классический доклад Реймонда Хеттингера про устройство словарей в Python3.6+, то нужно срочно посмотреть. Там он рассказывает про устройство хеш-таблицы, проблему хеш конфликтов, сохранение порядка вставки и даже про кеш линии процессора. Давайте попробуем для начала понять, что за хеш-таблица, и где она. typedef struct { PyObject ob_base; Py_ssize_t ma_used; // number of keys uint64_t _ma_watcher_tag; // dict watches PyDictKeysObject *ma_keys; PyDictValues *ma_values; } PyDictObject; Пока вроде бы все ожидаемо: структура словаря хранит в себе базовый класс, количество ключей, "watchers" (обсудим позже), ключи, значения. Как выглядят сами ключи? struct _dictkeysobject { Py_ssize_t dk_refcnt; // own refcount uint8_t dk_log2_size; // key size uint8_t dk_kind; #ifdef Py_GIL_DISABLED PyMutex dk_mutex; // protect shared keys #endif uint32_t dk_version; // version number Py_ssize_t dk_usable; // number of usable entries in dk_entries Py_ssize_t dk_nentries; // number of used entries char dk_indices[]; // actual hashtable }; А вот теперь посмотрим на возможные инварианты словарей: - ma_keys->dk_kind может быть одним из трех значений: general (как мы все привыкли), unicode (оптимизация для словарей только с str ключами), split (оптимизация для `instance.__dict__`) - Если ma_keys->dk_kind != DICT_KEYS_SPLIT, то ma_values == NULL - Если ma_keys->dk_kind == DICT_KEYS_SPLIT, то ma_values != NULL Ну и сами split значения: struct _dictvalues { uint8_t capacity; uint8_t size; uint8_t embedded; uint8_t valid; PyObject *values[1]; }; Важные оптимизации - Ключи могут быть оптимизированы под str (`DICT_KEYS_UNICODE`), тогда происходит важное: мы начинаем использовать PyDictUnicodeEntry вместо PyDictEntry, у первого нет хранения hash. Что делает его меньше в размере: sys.getsizeof({'a': 1}) # 184 sys.getsizeof({1: 1}) # 224 - Словарь может быть "разделен" с DICT_KEYS_SPLIT, тогда ключи и значения хранятся отдельно. Зачем? Обычно все объекты одного класса имеют одинаковый набор ключей CACHED_KEYS(Py_TYPE(obj)). Что позволяет нам переиспользовать один "shared" объект ключей для всех инстансов. Данная оптимизация использует str ключи внутри в том числе - Еще одна оптимизация рядом для instance.__dict__ (работает по-умолчанию, для всех типов с Py_TPFLAGS_INLINE_VALUES и Py_TPFLAGS_MANAGED_DICT): ma_values->embedded. Такие "словари" хранятся прямо в памяти самого объекта (не более 16 объектов): PyObject header | object fields | PyDictValues header | values[0..capacity-1] На чем я вчера и погорел, когда дизайнил свою C-API функцию PyDict_AsFrozenDictAndClear. Такие словари можно "материализовать" в обычные: instance.__dict__ как раз вызовет такую машинерию при обращении. Словарь и instance.__dict__ - отличаются примерно всем внутри до материализации. Важные детали реализации - У ключей есть свой refcount. Потому что ключи могут переиспользоваться в разных словарях, но они не PyObject *. В CPython есть много отдельных refcount штук. Если интересно, могу подробнее рассказать. - А Py_EMPTY_KEYS вообще бесмертный объект - DictWatcher'ы и _ma_watcher_tag нужны, чтобы управлять Tier 1 speciailizing оптимизациями. Изменился объект или тип? Watcher скинет статистику для данного объекта в интерпретаторе. Аналогично и dk_version - для использования в качестве ключа для кеша в JIT - PyFrozenDict устроен точно так же, только сразу хранит в себе ma_hash, для быстрого хеширования Что мы не успели обсудить в 1 части? Саму хештаблицу, логику увеличения памяти под ключи, поиск по хешу и логику сравнения значений с одинаковым хешом, какие бывают слоты, локи для FT. Обсуждение: Узнали ли вы что-то новое о словарях? Были ли у вас такие вопросы на собесе?
ещё
1 379 40 3 26 17 ноя, 12:47
Виртуальная машина regex в Python Мы уже говорили про дополнительные виртуальные машины в CPython. Посмотрели на pickle, сегодня настала очередь re. Немного не в формате канала, что мы смотрим джуновские штуки, но все равно интересно, может быть какие-то детали будут незнакомы и сениор специалистам. Документация: https://docs.python.org/3/library/re.html Исходник: https://github.com/python/cpython/blob/main/Modules/_sre/sre.c Допустим у нас есть такой паттерн: re.compile(r'@[a-z\d]\d{2,}'). Начинается с @, далее буква латиницей в нижнем регистре или цифра, далее как минимум две цифры. И мы можем посмотреть opcod'ы для данного выражения: LITERAL 64 IN RANGE (97, 122) CATEGORY CATEGORY_DIGIT MAX_REPEAT 2 MAXREPEAT CATEGORY CATEGORY_DIGIT 0. INFO 8 0b1 4 MAXREPEAT (to 9) prefix_skip 1 prefix [0x40] ('@') overlap [0] 9: LITERAL 0x40 ('@') 11. IN 7 (to 19) 13. RANGE 0x61 0x7a ('a'-'z') 16. CATEGORY UNI_DIGIT 18. FAILURE 19: REPEAT_ONE 6 2 MAXREPEAT (to 26) 23. CATEGORY UNI_DIGIT 25. SUCCESS 26: SUCCESS re.compile('@[a-z\\d]\\d{2,}', re.DEBUG) Все опкоды можно посмотреть тут: https://github.com/python/cpython/blob/main/Modules/_sre/sre_constants.h Процесс компиляции Сам процесс компиляции написан на Python, он довольно понятный: https://github.com/python/cpython/blob/e9c9a339035c9b96a5ebca8337a13140725ecf2a/Lib/re/_compiler.py#L34 Есть куча оптимизаций, кешей, утилит для дебага. Тот же dis, вывод которого мы видим при использовании re.DEBUG выше. Данная часть довольно чувствительна к перформансу. Буквально сегодня видел свежий баг, когда ВДРУГ становится медленнее. Выполнение опкодов Раз мы можем скомпилировать инструкции для VM, то мы можем их и выполнить. Исходники самой VM: https://github.com/python/cpython/blob/main/Modules/_sre/sre_lib.h Сначала немного интересных фактов: - Для данной VM в некоторых местах тоже используются COMPUTED_GOTO, если они поддерживаются (пост о них) - Почему-то нет поддержки _Py_TAIL_CALL_INTERP, хотя возможно оно тоже дало бы неплохой буст. Очень интересная задачка на подумать. Может кто-то хочет взять и попробовать? (пост о нем) - В Python3.15 произошел глобальный рефакторинг re модуля: удалили модули sre_compile, sre_constants, sre_parse А вот так выглядят обработчик LITERAL опкодов: TARGET(SRE_OP_LITERAL): /* match literal string */ /* <LITERAL> <code> */ TRACE(("|%p|%p|LITERAL %d\n", pattern, ptr, *pattern)); if (ptr >= end || (SRE_CODE) ptr[0] != pattern[0]) RETURN_FAILURE; pattern++; ptr++; DISPATCH; Про DSL с TARGET и DISPATCH я уже рассказывал в посте про основную VM в питоне. Остальная логика очень простая: если встречаем другой символ, то просто возвращаем 0, если встречаем нужный - продолжаем. ptr++ и pattern++ берут следующий указатель на строку и следующий pattern для матча. Таким образом в DISPATCH попадет уже следующий опкод. Классика. Еще интересно глянуть REPEAT_ONE, который нам нужен в самом конце. Он довольно большой, я спрятал его под ссылку. Из интересного там могу выделить оптимизацию под повторение опкода LITERAL. Остальное - довольно стандартно. Проверяем размер строки, ее символы внутри. Оказывается, что регулярные выражения - довольно простые и понятные, если смотреть на них как на инструкции для выполнения. А не как на текст. И помните: > Если у вас есть проблема, и вы решили использовать регулярные выражения, чтобы её решить... Теперь у вас две проблемы Обсуждение: Любите ли вы писать regex? Поможет ли вам данный пост в дебаге сложных выражений? Есть ли у вас какие-то хитрые оптимизации на уме, которые можно было бы добавить в CPython? | Поддержать | YouTube | GitHub | Чат |
ещё
1 426 10 30 23 3 ноя, 12:36
Фото
Что происходит с ИИ в опенсорсе? Пост можно было бы назвать "Not so OpenSource anymore". Массовое использование ИИ моделей в опенсорсе привело к масштабным изменениям. Мне почему-то очень грустно от таких новостей. Пусть и вам будет! Мой доклад про то же самое: https://www.youtube.com/watch?v=oHIgRZNpS00 - CPython ограничил количество PRов от внешних контрибьюторов тремя открытыми - OpenJDK запретил PRы с использованием ИИ в любом виде - Litestar закрыл PRы для всех внешних контрибьюторов, поток слопа был настолько большой, что я в какой-то момент просто бросил открывать уведомления в проекте. Максим написал большой пост про данный случай - JazzBand после 10 лет открытой коллаборации для десятков проектов закрылся по их формулировке из-за "слопаппокалипсиса", новые участники больше не принимаются - Sindre Sorhus (один из самых популярных опенсорс разработчик в мире) закрыл все свои проекты для внешних контрибьюторов - JS фреймворк hono закрывает внешние PRы - Браузер LadyBird закрывает внешние PRы - Godot запретил использование ИИ - Платформа Codeberg объявила себя свободной от LLM-сгенерированного контента - Zig запретил использование ИИ у себя (читайте полную историю про переписывание Zig -> Rust и при чем тут bun) - Node.js будет молча закрывать PRы с ИИ-слопом - Linux прекращает поддержку старых сетевых драйверов, чтобы справиться с количеством ИИ-багрепортов Есть только один вопрос: как проекты, которые "запретили" ИИ будут такое контролировать? GitHub Сама платформа тоже меняется. Местами развивается, местами работает с каждым днем все хуже и хуже: от UI до CI. - GitHub все время падает под нагрузкой (с их слов) - GitHub ввел функцию количественного ограничения количества PRов от внешних контрибьюторов для всех репозиториев, потому что проблема массовая - У GitHub больше нет CEO, теперь они часть Microsoft AI - Массовая миграция проектов с GitHub: Gentoo, Zig, Ghostty, BookStack, Flathub, Tenacity BugBounty умирает Ну и конечно же проекты и компании закрывают программы BugBounty для внешних участников. - curl как самый известный пример - Google OSS VPR закрыт в октябре, Intel закрыл свою программу в сентябре - HackerOne закрылся Продвижение и сообщество Я больше не знаю, как продвигать новый опенсорс (кроме постов в нашем чате с тегом #opensource конечно же) . Большинство старых площадок вводят суровые правила против постов со ссылками на свои проекты: - r/Python запретил публикацию своих проектов, мой пост с анонсом django-modern-rest был удален автоматически - r/opensource запретил публиковать AI-slop проекты, формулировки у них вышли очень странные и размытые - Hacktoberfest больше не считает PRы, теперь только митапы - Культура "Good first issue" мертва. Теперь на такой тег приходят только боты Польза Но! После всех новостей важно не впадать в думерство. Польза от ИИ в опенсорсе тоже есть. Недавние находки критических уязвимостей в PHP, Node, GitLab - доказывают пользу грамотного использования ИИ. Многие проекты созданы только благодаря ИИ. Оптимизации, помощь в объяснении исходников, поиск багов, мертвого кода и несоответствий документации и кода. А сколько полезных маленьких проектов люди навайбкодили для себя? Давайте держаться здравого баланса. Искать технические ответы на возникающие сложности и вопросы. Опенсорс - каким мы его знали - мертв. Вывод: необходимо перестраивать систему. Как? Предлагайте в комментариях, обсудим.
ещё
2 581 138 105 78 27 окт, 13:18
Больше постов

Продолжить анализ этого канала

  • История роста подписчиков
  • Просмотры и охваты публикаций
  • Кто упоминает канал и кого упоминает он
  • Похожие каналы и подбор для рекламы
Открыть аналитику
Демо до 14 дней