[ML/Класс] DSCource 4. Прикладные области

[ML/Класс] DSCource 4. Прикладные области

Александр Крот, Прикладные области
Видео лекций, презентации, ссылки по четвертому курсу данной серии

"Мы постарались сделать программу так, чтобы в нее входили только самые основные навыки, необходимые в реальной работе. Здесь не будет длинной теории, только практически важные вещи."

• Александр Крот проведет курс по прикладным задачам в анализе данных, где будут рассмотрены области Text Mining и Graph Theory, а также будут затронуты вопросы машинного обучения на больших данных

Интеллектуальный анализ текстов (ИАТ, англ. text mining) – направление в искусственном интеллекте, целью которого является получение информации из коллекций текстовых документов, основываясь на применении эффективных в практическом плане методов машинного обучения и обработки естественного языка.

Теория графов – раздел дискретной математики, изучающий свойства графов. В общем смысле граф представляется как множество вершин (узлов), соединённых рёбрами. Является широкоприменимой в анализе данных областью знаний, поскольку в виде графов можно удобно представить и описать различные актуальные сущности современного мира как то, например, социальные сети (пользователи и их взаимоотношения), так и Интернет (множество сайтов со ссылками друг на друга).

Спойлер: Содержание курса

Урок 1. Основы Text Mining
- Извлечение признаков из текстов
- Метрика TF-IDF
- Bag of Words как основной инструмент
- Структура данных word2vec, ее особенности
- Решение задачи Sentiment Analisys с Kaggle

Урок 2. Анализ социальных сетей I
- Базовые понятия теории графов, свойства графов
- Обход: поиск в глубину, поиск в ширину
- Нахождение кратчайших путей в графах: алгоритмы Дейкстры, Форда-Беллмана, Флойда
- Нахождение остовного дерева: агоритмы Краскала, Прима
- Решение простых задач на графы

Урок 3. Анализ социальных сетей II
- Введение в случайные и веб-графы
- Основные свойства веб-графов - наблюдения Барабаши-Альберт, идея Preferential Attachment
- Модели случайных графов: Эрдеша-Реньи, Боллобаша-Риордана, модель копирования
- Основные свойства веб-графов
- Пример задачи машиннго обучения на графах: Link Prediction
- Использование свойств веб-графов на практике на примере задачи быстрого нахождения степеней вершин

Урок 4. Large Scale Machine Learning. Apache Spark
- Что делать, если обучающая выборка не помещается в оперативную память?
- Онлайн обучение линейных функций: выбор функции потерь, метрики качества алгоритмов, учет весов объектов
- Обзор Vowpal Wabbit
- Реализация алгоритмов машинного обучения в модели вычислений MapReduce
- Введение в Apache Spark: концепция RDD, кэширование данных в оперативной памяти
- Основные операции с RDD
- Работа с shared variables, broadcast variables

Цена инфопродукта - 5000 руб.