Телеграм канал «Osinit Master»

👁Мессенджер MAX видит всё, что происходит в его мини-приложениях

Учёные из международной группы разобрали Android-версию MAX и выложили работу на arXiv. Называется "Don't Trust the Super-App".
Доказательств, что MAX пользуется своими возможностями для наблюдения, авторы не нашли. Зато нашли сами возможности, и их оказалось много.

🔍Всё упирается в устройство:
Мини-приложения (госсервисы, магазины, всё, что открывается прямо в мессенджере) живут внутри WebView самого MAX. Для Android это одно приложение, и стену между мессенджером и тем, что в нём запущено, система не строит. Авторы перечисляют, что такой суперапп может: захватывать интерфейс мини-приложения, читать и писать локальное хранилище, внедрять JavaScript и контролировать сетевой трафик.

На практике вышло так:
🟦Снять содержимое чужого экрана через PixelCopy получилось 31 раз из 35, на кадрах оказались поисковые запросы и текст из форм.
🟦Данные для входа в госсервисы проходили через процесс MAX, прежде чем открывался системный браузер. ID устройств, ключи API и токены лежали в процессе в открытом виде.
🟦Трафик в российской сборке шёл по TLS с ГОСТ-шифрами, при этом MAX стоял между мини-приложением и внешним сервером. Всего в выборку попало 90 мини-приложений.
Для сравнения авторы берут WeChat: он пассивно отслеживает активность пользователей.

⚡️ Парсинг — один из самых недооценённых навыков в IT

Пока одни вручную копируют контакты, цены и объявления, другие за минуты собирают тысячи записей, анализируют рынок, ищут клиентов, мониторят конкурентов и строят сервисы, которые сами приносят деньги.

💻 Держи 10 мощных open-source проектов с GitHub, которые точно стоит добавить в закладки.

1️⃣ Firecrawl

Настоящий комбайн для AI. Превращает практически любой сайт в чистый Markdown или структурированный JSON, умеет искать, скрейпить и взаимодействовать с веб-страницами. Отлично подходит для RAG, LLM и AI-агентов.

2️⃣ Crawl4AI

Современный Python-краулер, который сразу подготавливает страницы для LLM. Получаете чистый Markdown без лишнего HTML и рекламы — идеально для AI-проектов и больших пайплайнов.

3️⃣ Browser Use

AI-агент, который сам управляет браузером: кликает, авторизуется, заполняет формы, переходит по страницам и собирает нужную информацию через интерфейс сайта.

4️⃣ Crawlee

Production-фреймворк для серьёзного парсинга. Очереди, ретраи, прокси, браузерная автоматизация, сохранение результатов и масштабирование «из коробки».

5️⃣ Scrapy

Классика Python-парсинга, которая до сих пор остаётся одним из лучших инструментов для создания быстрых и надёжных краулеров.

6️⃣ Scrapling

Фреймворк, рассчитанный на более устойчивый парсинг сайтов, которые регулярно меняют свою HTML-разметку.

7️⃣ scrcpy

Позволяет полностью управлять Android-смартфоном с компьютера. Полезен, если нужные данные доступны только через мобильное приложение.

8️⃣ AutoScraper

Показываете пример нужных данных — библиотека сама пытается определить шаблон и найти аналогичные элементы на странице. Отличный вариант для быстрого старта.

9️⃣ curl-impersonate

Специальная версия curl, которая имитирует сетевой профиль популярных браузеров. Полезна для тестирования совместимости и работы с сайтами, чувствительными к отпечатку клиента.

1️⃣0️⃣ Playwright

Если сайт полностью построен на JavaScript, без современного браузерного движка уже никуда. Playwright остаётся одним из самых популярных инструментов для автоматизации браузера и сбора данных с динамических сайтов.

💀 Инструменты можно использовать для самых разных задач:

🟢поиск клиентов и лидов;
🟢мониторинг цен конкурентов;
🟢агрегаторы товаров;
🟢анализ рынка;
🟢сбор вакансий;
🟢наполнение AI и RAG-систем;
🟢автоматизация рутинной работы;
🟢создание собственных сервисов и SaaS.

👍 Сохраняй — такая подборка точно пригодится каждому, кто хочет зарабатывать на данных, автоматизации и Python.