Телеграм канал 'Deep Dive 2 Deep Learning'

Deep Dive 2 Deep Learning


738 подписчиков
13 просмотров на пост

Канал про глубокое машинное обучение: кейсы, новости, открытия и факапы из мира нейросетей и не только

Детальная рекламная статистика будет доступна после прохождения простой процедуры регистрации


Что это дает?
  • Детальная аналитика 264'424 каналов
  • Доступ к 119'958'618 рекламных постов
  • Поиск по 474'552'911 постам
  • Отдача с каждой купленной рекламы
  • Графики динамики изменения показателей канала
  • Где и как размещался канал
  • Детальная статистика по подпискам и отпискам
Telemetr.me

Telemetr.me Подписаться

Аналитика телеграм-каналов - обновления инструмента, новости рынка.

Найдено 16 постов

🦠DL-синтез лекарств против SARS-CoV-2
Ученые из MIT разработали DL-модель для синтеза лекарств против SARS-CoV-2 с учетом осложнений, которые налагает этот вирус на людей с сердечно-сосудистыми заболеваниями. В условиях ограниченного набора данных команде потребовался новый подход. Поскольку синергия лекарств происходит за счет ингибирования биологических мишеней (белки или нуклеиновые кислоты), DL-модель изучает взаимодействие лекарство-мишень и синергию лекарство-лекарство для поиска новых комбинаций. Предиктор лекарственной мишени моделирует взаимодействие между лекарством и набором известных биологических мишеней, связанных с выбранным заболеванием. Предиктор ассоциации "мишень-заболевание" учится понимать противовирусную активность лекарства, что означает определение выхода вируса в инфицированных тканевых культурах. Вместе они могут предсказать синергию двух препаратов.
В результате исследований были обнаружены две новые комбинации лекарств: ремдесивир (в настоящее время одобрен FDA для лечения Covid-19) и резерпин, а также ремдесивир и IQ-1S, которые в биологических анализах оказались эффективными против вируса. Исследование было опубликовано в Proceedings of the National Academy of Sciences.
Важно, что комбинированный подход может снизить угрозу резистентности вируса к лекарствам. Модель подходит для разных штаммов и потенциально может использоваться для других вирусов. В частности, исследователи успешно применили этот подход к синтезу лекарств от ВИЧ и рака поджелудочной железы. Для дальнейшего совершенствования своего биологического моделирования команда планирует включить дополнительную информацию, такую как белок-белковое взаимодействие и сети регуляции генов. В перспективе также будет подключено «активное обучение», которое помогает направлять процесс сбора данных и повышать точность прогнозирования в широком химическом пространстве.
https://news.mit.edu/2021/deep-learning-helps-predict-new-drug-combinations-fight-covid-19-0924
Web-страница:
Deep learning helps predict new drug combinations to fight Covid-19
A neural network developed at MIT and elsewhere identifies synergistic drug blends for treating viruses like SARS-CoV-2. The work was carried out primarily within the MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) and the Broad Institute of MIT and Harvard.
🔥Triton - новый язык разработки DL-нейросетей с открытым исходным кодом от OpenAI
В конце июля 2021 года OpenAI представила 1-ю версию Triton. Этот open-source язык программирования похож на Python, который позволяет писать высокоэффективный код на графическом процессоре без опыта работы с CUDA. С Triton можно достичь максимальной производительности оборудования с относительно небольшими усилиями. Это особенно полезно для задач глубокого обучения, которые обрабатывают множество временных тензоров. Тестирование показало, что Triton в 2 раза эффективнее PyTorch. Triton полностью автоматизирует внутренние оптимизации ЦП, чтобы разработчики могли лучше сосредоточиться на высокоуровневой логике своего параллельного кода.
Из всех доступных доменных языков и JIT-компиляторов, Triton больше всего похож на Numba: ядра определяются как декорированные функции Python и запускаются одновременно в сетке экземпляров, внутри которых достигается параллелизм. Это обеспечивается с помощью операций над блоками - небольшими массивами, размеры которых равны степеням двойки. При этом Triton эффективно абстрагирует все проблемы, связанные с параллелизмом в блоках потоков CUDA: объединение памяти, синхронизацию общей памяти, планирование тензорного ядра.
Подробное описание с примерами: https://openai.com/blog/triton/
Код на Github: https://github.com/openai/triton
Web-страница:
Introducing Triton: Open-Source GPU Programming for Neural Networks
We're releasing Triton 1.0, an open-source Python-like programming language which enables researchers with no CUDA experience to write highly efficient GPU code—most of the time on par with what an expert would be able to produce. Triton makes it possible to reach peak hardware performance with relatively little
🍏Почему глубокое обучение так востребовано в медицине
Ошеломительный успех DL-алгоритма AlphaFold от компании Deep Mind, которая в 2020 году помогла получить 3D-модели множества белков человеческого тела, предсказав расстояние между парами аминокислот. Однако, это не единственный случай применения глубокого обучения в биомедицине. Например, Deep Learning позволяет автоматически изучать известные соединения, отвечая на вопросы анализа, например, какие элементы необходимы для создания молекулы, чтобы ее синтезировать. Также DL может решить более сложные задачи: какие элементы необходимы для достижения желаемой биологической активности на заданной цели. Так группе ученых из департамента биомедицинской инженерии Эйндховенского Технического Университет (Нидерланды) с помощью методов глубокого обучения в 2021 году смогли идентифицировать 12 новых биоактивных соединений для так Х-рецепторов печени, которые являются мишенями для лекарств, лечащих воспаления, регулируя метаболизм липидов.
https://phys.org/news/2021-09-augmenting-human-intelligence-ai-medicines.html
Web-страница:
Augmenting human intelligence with AI to develop novel medicines
Deep learning has radically changed the field of artificial intelligence. Now neural networks are revolutionizing the way that we discover new drugs. We talk to Francesca Grisoni, assistant professor ...
🚀Быстрее и точнее: 2 DL-нейросети от Google AI
По мере роста популярности DL-нейросетей и объема обучающих данных эффективность обучения становится все более важным вопросом. Например, GPT-3 показывает отличные результаты, но для этого требуются недели обучения с тысячами графических процессоров. Поэтому исследователи Google AI разработали два новых семейства DL-моделей для распознавания изображений, которые используют поиск по нейронной архитектуре, и принципиальную методологию проектирования, основанную на емкости модели и обобщении^
EfficientNetV2 - сверточные нейросети c быстрой скоростью обучения для относительно небольших наборов данных типа ImageNet1k (с 1,28 миллиона изображений).
CoAtNet - гибридные модели, сочетающие свертку и самовнимание, чтобы повысить точность для крупномасштабных наборов данных, таких как ImageNet21 (с 13 миллионами изображений) и JFT (с миллиардами изображений).
Тестирование показало, что эти DL-модели модели работают в 4-10 раз быстрее, обеспечивая точность 90,88% наивысшего качества на датасете ImageNet.
Полное описание: https://ai.googleblog.com/2021/09/toward-fast-and-accurate-neural.html
Код на Github: https://github.com/google/automl
Web-страница:
Toward Fast and Accurate Neural Networks for Image Recognition
Posted by Mingxing Tan and Zihang Dai, Research Scientists, Google Research As neural network models and training data size grow, trainin...
🚀Data Science в городе: продолжаем серию митапов Ситимобила про Data Science в геосервисах, логистике, приложениях Smart City и т.д. Приглашаем на 2-ю онлайн-встречу 23 сентября в 18:00 МСК. Вас ждут интересные доклады DS-практиков из Ситимобила, Optimate AI и Яндекс.Маршрутизации:
🚕Максим Шаланкин (Data Scientist в гео-сервисе Ситимобил) расскажет о жизненном цикле ML-модели прогнозирования времени в пути с учетом большой нагрузки
🚚Сергей Свиридов (CTO из Optimate AI) объяснит, что не так с классическими эвристиками и методами комбинаторной оптимизации для построения оптимальных маршрутов, и как их можно заменить динамическим программированием
🚛Даниил Тарарухин (Руководитель группы аналитики в Яндекс.Маршрутизации) поделится, как автомобильные пробки влияют на поиск оптимального маршрута и имитационное моделирование этой задачи.
После докладов спикеры ответят на вопросы слушателей.
Ведущий мероприятия – Алексей Чернобровов🛸
Регистрация для бесплатного участия: https://citymobil.timepad.ru/event/1773649/
Web-страница:
Citymobil Data Meetup №2 / События на TimePad.ru
Ситимобил запускает митапы о применении Data science в городских и геосервисах, логистике и технологиях умных городов.
🏂Быстрый guide по PyTorch для начинающих
PyTorch - это open-source библиотека Python для глубокого обучения, которая активно используется в задачах компьютерного зрения и обработке естественного языка. Она поддерживает ООП и графы динамических вычислений, а также отлично подходит для сложных математических вычислений из-за ускорения на графическом процессоре. Во многом это возможно благодаря тензорам – многомерным массивам, используемые в качестве основы для всех сложных операций. Они похожи на n-мерный массив NumPy и могут быть легко преобразованы в массив NumPy.
На тензорных вычислениях базируются и нейросети в PyTorch: пакет torch.nn содержит набор модулей для представления каждого уровня сети. Каждый модуль получает входные тензоры и вычисляет выходные тензоры, которые вместе создают нейросеть. Пакет torch.nn также определяет функции потерь для обучения нейросетей.
А для расчета производных (градиентов) сигналов нейросети в PyTorch есть пакет Autograd. Во время прямого прохода autograd записывает все тензорные операции с поддержкой градиента и создает ациклический граф, чтобы найти связь между тензором и всеми операциями. Этот набор операций называется автоматическим дифференцированием. Листья этого графа являются входными тензорами, а корни - выходными тензорами. Autograd вычисляет градиент, отслеживая граф от корня до листа и по цепочке умножая каждый градиент.
Оптимизаторы позволяют обновлять веса и смещения в модели, чтобы уменьшить ошибку и редактировать работу модели без необходимости переделывать ее целиком. Все оптимизаторы PyTorch содержатся в пакете torch.optim, и каждый из них предназначен для конкретной ситуации. Модуль torch.optim позволяет построить абстрактную схему оптимизации, просто передав список параметров.
Попрактиковаться с тензорами в PyTorch можно и на примере вычислительных графов, который являются упрощенной версией нейронных сетей с последовательностью операций преобразования входных сигналов в выходные.
https://www.educative.io/blog/pytorch-tutorial
Web-страница:
PyTorch tutorial: a quick guide for new learners
PyTorch is an open-source deep learning library rising in popularity among data scientists. Today, we'll help you get started with PyTorch with hands-on examples.
💥7 советов ML-инженеров от Google
Продвигая свою облачную ML-платформу, Vertex AI, сотрудники Google разбирают частые причины сбоев при обучении ML-моделей и дают рекомендации по их устранению.
1. Используйте правильный программный пакет для архитектуры. Например, TensorFlow поддерживает архитектуры CPU, GPU и TPU. CPU-архитектуры отлично подходят для обучения с табличными данными, а GPU – для нейросетей в задачах компьютерного зрения и обработке естественного языка.
2. Выбирайте верную стратегию распределения обучения. К примеру, обучение на большом датасете и всего одном процессоре займет много времени, ускорить которое поможет распределение по нескольким вычислительным модулям. В частности, стратегии TensorFlow могут распределять данные между несколькими графическими процессорами, компьютерами или TPU без особых изменений в коде. Выбор стратегии зависит от варианта использования, данных, модели и API.
3. Дайте необходимые разрешения. Например, во время обучения Vertex AI считывает данные из облачных хранилищ, где также могут храниться настраиваемые зависимости и результаты обучения.
4. Позаботьтесь о безопасности. VPC Service Controls поможет снизить риск утечки или кражи данных при обучении Vertex AI. При запуске ML-задания внутри периметра службы, VPC Service Controls гарантирует, что данные пользователя не покинут периметр.
5. Помните про ограничения на размер пакета – гиперпараметр, который определяет количество выборок данных для вычисления каждого обновления обучаемых параметров модели (весов и смещений). Размер пакета имеет решающее влияние на время обучения и результирующую точность обученной модели. Чем больше пакет, тем больше образцов проходит через модель при прямом распространении. Рост размера пакета требует больше памяти графического процессора, поэтому ее нехватка помешает увеличить batch size.
6. Избегайте NaN-ошибок. Градиентный спуск - один из наиболее часто используемых алгоритмов машинного обучения, с помощью которого генерируются градиенты ошибок для обновления параметров ML-модели (весов сети). Поэтому даже один пропуск (NaN) в любой части вычислений может быстро распространиться на всю модель. Накопление больших градиентов ошибок чревато нестабильностью обучения, переполняя значения весов. Наивная реализация некоторых функций потерь приведет к переполнению даже при низких значениях. Избежать этого поможет оптимизатор, не слишком чувствительный к величине градиента. Также стоит убедиться, что функция потерь не возвращает NaN и искусственно ограничивать максимальные значения градиентов.
7. Продумайте работу с вычислительными мощностями. Эластичные рабочие нагрузки подлежат перераспределению ресурсов. Здесь поможет резервирование - это предложение по увеличению емкости, которое защищает существующие ресурсы и дает уверенность в получении емкости для критически важных рабочих нагрузок. Если сложно спрогнозировать потребности в мощности на уровне проекта и определить точное количество резервирований для каждого проекта, в Google Cloud Platform есть общее резервирование. Это позволяет использовать отдельные резервирования вычислительных мощностей для нескольких проектов в одной организации, упрощая планирование ресурсов и сокращая расходы.
https://cloud.google.com/blog/products/ai-machine-learning/7-tips-for-trouble-free-ml-model-training
Web-страница:
7 tips for trouble-free ML model training
This post covers seven common causes of ML model training failures, along with time-saving tips on how to avoid them and how to fix them.
🚀WIDeText - мультимодальная среда глубокого обучения от Airbnb для разработки систем классификации
Airbnb активно использует Deep Learning для множества бизнес-задач: ранжирование в поиске, обнаружение мошенничества, прогнозирование проблем в службе поддержки клиентов, понимание контента, а также классификация типов комнат на основе изображений.
WIDeText – это мультимодальная DL-структура на основе PyTorch, которая объединяет 3 канала входных данных: Wide, Image, Deep и Text, чтобы повысить возможности окончательного классификатора. DL-модели можно строить из готовых блоков, подключая и отключая каналы, и настраивая архитектуру в соответствии с целью. WIDeText поддерживает широкий список входных каналов:
• Канал изображения на основе VGG
• Текстовый канал на основе CNN
• Плотный канал на основе GBDT
• Wide-канал
• Классификатор на основе MLP
Благодаря поддержке JSON для настройки моделей, каждый канал в структуре является подключаемым и настраиваемым с точки зрения архитектуры, а также гиперпараметров для классификаторов. Примечательно, что фреймворк WIDeText помог Airbnb ускорить процесс разработки и развертывания модели с нескольких недель до нескольких дней. Эта структура сквозного обучения и развертывания позволяет разработчикам моделей использовать как можно больше необработанных фичей, упрощая отладку ML-модели.
https://medium.com/airbnb-engineering/widetext-a-multimodal-deep-learning-framework-31ce2565880c
Web-страница:
WIDeText: A Multimodal Deep Learning Framework
How we designed a multimodal deep learning framework for quick product development.
🗣Почему трансформеры так востребованы в NLP
Сегодня трансформеры считаются наиболее распространенной архитектурой нейросетей для задач обработки естественного языка (NLP), что подтверждается успехами различных модификаций BERT и GPT. В этих методах используются нейронные сети с большим количеством параметров, чем в большинстве глубоких сверточных и рекуррентных моделей. Несмотря на больший размер, их популярность резко возросла, т.к. они эффективно масштабируются на архитектуре параллельных вычислений, позволяя разрабатывать более крупные и сложные модели.
До появления трансформеров большинство NLP-моделей основывались на рекуррентных и сверточных компонентах. А задачи моделирования и преобразования последовательностей, такие как машинный перевод, были основаны на архитектуре кодировщика-декодера с механизмом внимания, чтобы определить, какие части входных данных влияют на каждую часть результатов. Кодировщик преобразовывал входной текст в некоторое промежуточное числовое векторное представление (вектор контекста), а декодер переводил этот вектор в выходной текст. Механизм внимания повышал производительность этих моделей, моделируя зависимости между частями вывода и различными частями ввода. Как правило, внимание было связано с повторяющимися компонентами. Такие компоненты по своей сути являются последовательными - внутреннее скрытое состояние в любой заданной позиции t зависит от скрытого состояния в предыдущей позиции t-1. Поэтому распараллеливание обработки длинной входной последовательности было невозможно и на практике быстро сталкивалось с ограничениями памяти графического процессора.
Трансформеры позволяют полностью заменить повторяющиеся и сверточные компоненты, заменяя их механизмом внимания, применяемого как ко входу, так и к выходу. Это позволяет изучать зависимости между всеми частями входных и выходных последовательностей с возможностью распараллеливания вычислений.
🤜🏻PyTorch vs TensorFlow: 5 главных отличий
PyTorch - это open-source библиотека Python для глубокого обучения, которая активно используется в задачах компьютерного зрения и обработке естественного языка с 2016 года, когда этот фреймворк был разработан исследовательской ИИ-лабораторией Facebook. Она поддерживает ООП и графы динамических вычислений, а также отлично подходит для сложных математических вычислений из-за ускорения на графическом процессоре. Такое сочетание уникальных функций и простоты делает PyTorch одной из самых популярных DL-библиотек, которая соперничает с TensorFlow.
Основное различие между PyTorch и TensorFlow - это удачный компромисс между простотой и производительностью: PyTorch легче изучать (особенно для Python-программистов). TensorFlow сложнее в изучении, но работает лучше в production и используется более широко.
Сравним оба фреймворка по наиболее важным критериям:
Популярность - TensorFlow более востребован, будучи выпущен на год раньше, чем PyTorch. Но количество пользователей PyTorch растут быстрее, чем TensorFlow, что позволяет предположить, что PyTorch вскоре может стать самым популярным.
Параллелизм – PyTorch включает декларативный параллелизм, автоматически распределяя рабочую нагрузку обработки данных между различными графическими процессорами для повышения производительности. Параллелизм в TensorFlow требует ручного распределения заданий, что отнимает много времени и менее эффективно.
Динамические и статические графики - PyTorch по умолчанию имеет динамические графики, которые немедленно реагируют на новые данные. TensorFlow имеет ограниченную поддержку динамических графиков, но в основном использует статические графики.
Интеграции – PyTorch хорошо использовать для проектов на AWS благодаря подключению через TorchServe. TensorFlow хорошо интегрирован с Google Cloud и подходит для мобильных приложений через Swift API.
Визуализация – TensorFlow имеет более надежные инструменты визуализации и предлагает более точный контроль над настройками графиков. В PyTorch инструмент визуализации Visdom и другие стандартные библиотеки построения графиков, например, matplotlib, имеют не такой широкий набор функций, но их легче освоить.
🔥Практический Reinforcement learning с TF-агентами и сервисами Vertex AI
Обучение с подкреплением (RL, Reinforcement learning) - это форма машинного обучения, при которой агент предпринимает действия в среде, чтобы увеличить заданную цель (вознаграждение) за эту последовательность шагов. RL может примениться в робототехнике, автономных транспортных средствах и пр. Фундаментальная RL-система включает в себя множество состояний, соответствующих действий и вознаграждений за эти действия. Например, в рекомендательной системе фильмов онлайн-кинотеатра «состояние» - это пользователь, «действие» - это фильм, который нужно ему порекомендовать, а «награда» - это рейтинг фильма – выставленная пользователем оценка. В частности, RL как платформа для оптимизации ML-моделей применяется музыкальным сервисом Spotify.
В обучении с подкреплением агент выполняет последовательность действий в данной среде в соответствии с некоторой политикой с целью максимизировать данное вознаграждение за эту последовательность действий. TF-Agents - это мощная и гибкая библиотека, позволяющая легко разрабатывать, внедрять и тестировать RL-приложения. Он предоставляет вам полный набор логических модулей, которые поддерживают легкую настройку следующих ключевых понятий RL:
• Политика - отображение наблюдения за окружающей средой на действие или распределение действий. Это артефакт, полученный в результате обучения, и эквивалент «модели» в системе контролируемого обучения.
• Действие – действие или поведение, которое выводится какой-либо политикой, выбирается и выполняется агентом.
• Агент – объект, который инкапсулирует алгоритм использования одной или нескольких политик для выбора и выполнения действий и обучает политику.
• Наблюдения - характеристика состояния окружающей среды.
• Окружающая среда - определение проблемы RL, которую необходимо решить. На каждом временном шаге среда генерирует наблюдение, несет эффект действия агента, а затем, учитывая предпринятые действия и наблюдение, среда отвечает вознаграждением в качестве обратной связи.
Типичный процесс создания, оценки и развертывания RL-приложений выглядит следующим образом:
• Обозначьте проблему: например, классификация цифр: наблюдения - это изображения цифр, действия - прогнозы от 0 до 9, а награды указывают, соответствуют ли прогнозы цифрам истинности.
• Разработка и реализация экспериментов с моделированием RL.
• Оцените эффективность автономных экспериментов.
• Запустите непрерывный ML-конвейер, заменив составляющие моделирования реальными взаимодействиями.
Смотрите пошаговую демонстрацию, как создать систему рекомендаций с использованием TF-агентов и сервисов Vertex AI, включая настройки гиперпараметров, прогнозирования и развертывания конечных точек.
https://cloud.google.com/blog/topics/developers-practitioners/build-reinforcement-learning-recommendation-application-using-vertex-ai
Web-страница:
Build a reinforcement learning recommendation application using Vertex AI | Google Cloud Blog
In this article, we’ll demonstrate an RL-based movie recommender system, including a MLOps pipeline, built with Vertex AI and TF-Agents.
сравнение GAN-сетей
Изображение
🏂Почему все GAN-сети работают одинаково, и зачем настраивать гиперпараметры
Генеративные состязательные сети, представляют собой структуру, способную изучать распределение на основе конкуренции между генератором и дискриминатором. Генератор учится генерировать образцы, неотличимые от реальных данных, а дискриминатор учится классифицировать, является ли данное изображение реальным или поддельным. Сегодня GAN-сети считаются мощным инструментом и активно используются в задачах генерации и реконструкции текстов, изображений и пр. При том, что есть множество разных архитектур и видов GAN-сетей, при достаточном гиперпараметрическом поиске почти все алгоритмы имеют случайные ранги, и даже самые последние работы работают аналогично оригинальной GAN, впервые предложенной Яном Гудфеллоу. Бенчмаркинговое сравнение различных GAN-сетей показало, что алгоритмические различия не так актуальны, а вот поиск по гиперпараметрам имеет большее влияние на результат. Однако, оптимальные гиперпараметры во многом зависят от набора данных и настройка гиперпараметров – одна из самых интересных и тонких задач ML-специалиста.
https://medium.com/codex/do-all-gans-perform-the-same-cc02055091af
Web-страница:
Do all GANs perform the same?
Studying the effects of various GAN losses. Is the original GAN same with WGAN, LSGAN…
😎Что такое конвейер Hugging Face Transformers и какие NLP-задачи он решает
Hugging Face - компания, занимающаяся разработкой NLP-технологий и демократизацией ИИ. Конвейеры ML-трансформеров от Hugging Face представляют собой объекты, которые абстрагируют большую часть сложного кода от библиотеки, предлагая простой API для конкретных MLP-задач:
• Анализ настроений – определение тональности текста с вероятностной оценкой положительных и отрицательных маркеров
• Ответы на вопросы на основе контекстной информации, предоставленной ML-модели
• Генерация текста
• Обобщение текста – формирование краткого описания из большого фрагмента
• Машинный перевод с одного языка на другой
https://huggingface.co/transformers/main_classes/pipelines.html
Web-страница:
Pipelines
State-of-the-art Natural Language Processing for PyTorch and TensorFlow 2.0. Transformers provides thousands of pretrained models to perform tasks on texts such as classification, information extraction, question answering, summarization, translation, text generation, etc in 100+ languages. Its aim is to make cutting-edge NLP easier to use for everyone
🤦🏼‍♀️Переобучение в DL и как с ним бороться: 2 простых метода
В статистике переобучение - это ошибка моделирования, которая возникает, когда функция слишком тесно связана с ограниченным набором точек данных и не может соответствовать дополнительным данным или прогнозировать будущие наблюдения. Это случается, если модель слишком сложна или чрезмерно долго обучается на одних данных: она начинает соответствовать шуму и в итоге не может предсказать общую тенденцию, запоминает обучающие примеры вместо того, чтобы делать обобщения. Бороться с этим помогают следующие методы:
Исключение слоев из нейросети. В процессе обучения DL-сеть может зависеть от некоторых весов в скрытых слоях и игнорировать остальные. В результате сеть будет идеально соответствовать обучающим данным, но выйдет из строя на реальных. Исключение некоторых слоев гарантирует, что результаты обучения распределены по всем нейронам и не слишком сильно зависят от отдельной единицы. Веса отсева определяются случайным образом, чтобы не дать ни одному нейрону преимущества. В результате сеть намного лучше справляется с обобщением данных.
Пакетная нормализация – метод, направленный на предотвращение проблемы расхождения градиентов также помогает решить проблему переобучения. Веса DL-сети могут стать слишком большими, что приведет к экстремальным значениям градиентов, заставив функцию потерь возвращать бесконечные или неопределенные значения. Нормализация масштабирует данные в диапазоне от -1 до +1 или от 0 до +1. Например, для обработки изображений входные каналы обычно масштабируют в диапазоне от -1 до +1 вместо диапазона от 0 до 255. Это приводит к нормализации входного слоя. Но как скрытые слои не нормализуются и из-за случайной инициализации весов процесс обучения сети может вызвать экспоненциальный рост некоторых из них. Если разместить слои пакетной нормализации после других слоев, можно обеспечить плавное обучение. Внутри слоя пакетной нормализации есть два параметра: среднее значение и стандартное отклонение каналов пакетного ввода. Нормализация представляет собой вычитание среднего значения и деления на стандартное отклонение, обеспечивая удержание вывода из предыдущего слоя в рамках нужного диапазона. Важно, что среднее значение и стандартное отклонение не являются обучаемыми параметрами, поскольку они вычисляются во время прямого, а не обратного распространения.
https://ai.plainenglish.io/2-deep-learning-methods-against-overfitting-532710059c5d
Web-страница:
2 Deep Learning Methods Against Overfitting
A more complex system does not always mean better performance, but there are ways to improve it.
👁Сверточные нейросети (CNN): краткий ликбез
CNN активно используются в задачах компьютерного зрения и распознавания образов: детекция объекта, классификация, реконструкция и пр.
Сверточная нейронная сеть (ConvNet) использует математическую операцию свертки, чтобы объединить два набора данных. В случае CNN свертка применяется к входным данным для фильтрации информации и создания карты признаков. При этом часто применяются следующие методы:
• Padding расширяет входную матрицу, добавляя поддельные пиксели к ее границам, т.к. свертка уменьшает размер матрицы.
• Striding – шаг, позволяющий пропускать некоторые области, например, каждые 2 или 3 пикселя, чтобы снизить размер пространства и сделать нейросеть более эффективной с точки зрения вычислений.

Архитектура ConvNet включает три уровня:
• Сверточный слой отвечает за распознавание элементов в пикселях
• Слой объединения отвечает за то, чтобы сделать эти функции более абстрактными
• Полносвязный слой отвечает за использование приобретенных функций для прогнозирования.

Достоинства CNN:
• Высокая адаптивность к новым задачам – CNN не требуют ручного feature-инжиниринга: даже при работе над совершенно новой задачей можно использовать предварительно обученную нейросеть и, передавая ей данные, корректировать веса;
• вычислительная эффективность благодаря процедуре свертки. CNN применяет совместное использование параметров и уменьшение размерности, упрощая и ускоряя развертывание моделей. Эти нейросети можно оптимизировать для работы на любом устройстве, даже на смартфонах.
• высокая точность в задачах, связанных с распознаванием изображений и видео и пр. по сравнению с другими нейросетями.

Однако, ConvNet не идеальна и имеет следующие недостатки:
• подверженность состязательным атакам, когда подача «плохих» примеров вызывает ошибки классификации. Даже небольшой сдвиг в пикселях может свести CNN с ума, изменив смысл дорожного знака или обманув систему распознавания лиц.
• Необходим огромный объем обучающих данных, которые нужно собрать и предварительно обработать.
Поэтому при всем современном техническом прогрессе сегодня существует всего несколько хороших предварительно обученных моделей: GoogleNet, VGG, Inception, AlexNet, большинство из которых принадлежит глобальным корпорациям с огромной ИИ-экспертизой.

https://ai.plainenglish.io/introduction-to-convolutional-neural-networks-cnns-2ab209f4fa16
Web-страница:
Introduction to Convolutional Neural Networks (CNNs)
Learn how to do computer vision like a pro

Найдено 16 постов