[Повтор]Машинное обучение с Python + Big Data - (Курс 5 из 17)

[Повтор]Машинное обучение с Python + Big Data - (Курс 5 из 17)

Гость, ты можешь записаться в эту складчину и получить инфопродукт сразу после оплаты, никого не дожидаясь.
---

Data Science: Practical Deep Learning in Theano + TensorFlow
​

Автор: Lazy Programmer Inc.
Формат: транскрибация видео
Продолжительность: ~ 03:53
Перевод: Красный Кут
Тип перевода: Транскрибация с русским переводом
Всего: 33 видео лекции длительность: 3 часа 53 минут

Спойлер: [B

ЧЕМУ Я НАУЧУСЬ?[/B]]
- применять моментум к методу обратного распространения ошибки при обучении нейронных сетей;

- понимать основы построения блоков в библиотеке Theano;

- создавать нейронные сети, хорошо работающие с базой данных MNIST;

- понимать и применять исключающую регуляризацию в библиотеках Theano и TensorFlow;

- применять процедуры адаптивного коэффициента обучения вроде AdaGrad и RNSprop для метода обратного распространения ошибки при обучении нейронных сетей;

- создавать нейронные сети в библиотеке Theano;

- создавать нейронные сети в библиотеке TensorFlow;

- понимать различие между полным, пакетным и стохастическим градиентным спуском.

Спойлер: [B

ТРЕБОВАНИЯ[/B]]- уметь работать с языком Python и библиотеками Numpy и Matplotlib. Установить библиотеки Theano и TensorFlow;

- если вы до сих пор не знакомы с градиентным спуском, методом обратного распространения ошибок и Sotmax, изучите предыдущий курс «Глубокое обучение на языке Python», после чего возвращайтесь к этому курсу

Спойлер: [B

ОПИСАНИЕ[/B]]Этот курс продолжает мой первый курс по глубокому обучению на языке Python. Вы уже знаете, как создать искусственную нейронную сеть на языке Python и имеете plug-and-play скрипт, который можно использовать в библиотеке TensorFlow. Нейронные сети являются одним из основных продуктов машинного обучения, и они всегда находятся в топе на состязаниях Kaggle. Если вы хотите улучшить свои навыки в сфере нейронных сетей и глубокого обучения, этот курс для вас.

Вы уже изучити метод обратного распространения ошибки (и вследствие этого, данный курс преимущественно не содержит математики), но у вас осталось множество вопросов. Как можно улучшить метод, чтобы улучшить скорость обучения? В этом курсе вы изучите пакетный и стохастический градиентный спуск, две наиболее общеиспользуемые методики, позволяющие обучать модель лишь на небольшой части данных при каждой итерации, что в значительной степени ускоряет время обучения.

Вы также узнаете о моментуме, который может быть полезен при прохождении локального минимума и не допускает чересчур медленных значений коэффициента обучения. Вы также узнаете о методиках адаптивного коэффициента обучения вроде AdaGrad и RMSprop, который также помогут ускорить обучение модели.

Поскольку вы уже знакомы с основами нейронных сетей, мы поговорим о более современных методиках, таких как исключающая регуляризация, которые применимы как в TensorFlow, так и в Theano. Этот курс постоянно обновляется, и в ближайшем будущем появятся ещё более современные методики регуляризации.

В моём предыдущем курсе я дал лишь почувствовать вкус к работе в библиотеке TensorFlow. В этом курсе мы начнём с основ, чтобы вы точно понимали, что происходит, - что такое переменные и выражения TensorFlow и как использовать строительные блоки для создания нейронной сети. Мы также рассмотрим схожую и давно существующую библиотеку, пользующуюся популярностью при создании нейронных сетей – Theano. При этом мы также рассмотрим её основные понятия – переменные, выражения и функции – так что вы сможете уверенно создавать нейронные сети и с помощью Theano.

Поскольку одним из главных преимуществ TensorFlow и Theano является возможность использования графического процессора для ускорения обучения, я покажу вам, как настроить графический процессор на Amazon и сравнить скорость центрального и графического процессоров при обучении глубокой нейронной сети.

С помощью этой дополнительной скорости мы рассмотрим реальный набор данных – знаменитую базу данных MNIST (изображения написанных от руки цифр) и сравним различные критерияи.

Этот курс посвящён тому, «как создавать и понимать», а не просто «как пользоваться». Любой может после прочтения соответствующей документации научиться пользоваться интерфейсом за 15 минут. Речь идёт не о «запоминании фактов», а о «наблюдении за собой» посредством эксперимента. Курс научит вас графически отображать происходящее внутри модели. Если вы хотите большего, чем просто поверхностного знакомства с моделями машинного обучения, этот курс для вас.

Спойлер: [B

ЗАМЕЧАНИЯ[/B]]Весь код курса может быть загружен из моего github: /lazyprogrammer/machine_learning_examples в папке ann_class2. Удостоверьтесь, что у вас все файлы последней версии!

Спойлер: УЧЕБНЫЙ ПЛАН

Часть 1. Введение, база данных MNIST и линейный критерий (логистической регрессии)

1. Введение – что вы узнали ранее и что узнаете в этом курсе

2. Как этот курс пригодится при изучении глубокого обучения

3. Как достичь успеха при изучении курса

4. Где взять базу данных MNIST и установка линейного эталона

2. Градиентный спуск: полный, пакетный и стохастический

5. Что такое полный, пакетный и стохастический градиентный спуск

6. Полный, пакетный и стохастический градиентный спуск в коде

3. Моментум и адаптивные коэффициенты обучения

7. Моментум

8. Код для обучения нейронных сетей с применением моментума

9. Переменный и адаптивный коэффициенты обучения

10. Постоянный коэффициент обучения и RMSprop в коде

4. Выбор гиперпараметров

11. Оптимизация гиперпараметров: кросс-валидация, решётчатый и случайный поиск

12. Решётчатый поиск в коде

13. Случайный поиск в коде

5. Библиотека Theano

14. Основы библиотеки Theano: переменные, функции, выражения, оптимизация

15. Построение нейронной сети в библиотеке Theano

6. Библиотека TensorFlow

16. Основы библиотеки TensorFlow: переменные, функции, выражения, оптимизация

17. Построение нейронной сети в библиотеке TensorFlow

7. Ускорение графического процессора, домашняя работа и другое

18. Установка графического процессора на примере интернет-услуг Amazon

19. Могут ли большие массивы данных использоваться для ускорения метода обратного распространения ошибки

20. Упражнения и идеи по-прежнему должны быть охвачены

21. Как улучшить навыки в работе с библиотеками Theano и TensorFlow.

22. Theano и TensorFlow – что лучше?

8. Современные методики регуляризации

23. Исключающая регуляризация

24. Исключающая интуиция

9. Проект распознавания выражения лица

25. Описание задачи распознавания выражения лица

26. Проблема дисбаланса классов

27. Обзор служебного кода

28. Классово-ориентированные искусственные нейронные сети в Theano

29. Классово-ориентированные искусственные нейронные сети в TensorFlow

10. Приложения

30. Ручной выбор коэффициента обучения и штрафа регуляризации

31. Как установить Numpy, Scipy, Matplotlib, Pandas, Ipython и TensorFlow

32. Как самостоятельно писать код. Часть 1

33. Как самостоятельно писать код. Часть 2

ДЕМО ПЕРЕВОД

Вы также можете изучить на русском языке следующие курсы этого автора:

Спойлер: Другие курсы

Deep Learning Prerequisites: Linear Regression in Python КУРС 1
Deep Learning Prerequisites: Logistic Regression in Python КУРС 2
Data Science: Deep Learning in Python КУРС 3
Easy Natural Language Processing (NLP) in Python КУРС 4
Data Science: Practical Deep Learning in Theano + TensorFlow КУРС 5
Data Analytics: SQL for newbs, beginners and marketers КУРС 6
Deep Learning: Convolutional Neural Networks in Python КУРС 7
Cluster Analysis and Unsupervised Machine Learning in Python КУРС 8
Глубокое обучение без учителя на языке Python КУРС 9
Машинное обучение без учителя: скрытые марковские модели на языке Python КУРС 10
Глубокое обучение: рекуррентные нейронные сети на языке Python КУРС 11
Обработка естественного языка с помощью глубокого обучения на языке Python КУРС 12

Источник

Код:

https://www.udemy.com/data-science-deep-learning-in-theano-tensorflow/