Data Science and Data Engineering, Business Intelligence Семестр 1 [2021] [Ozon Masters] [А. Дьяконов, В. Панов, И. Оселедец, П. Клеменков, Ю. Дорн]

Data Science and Data Engineering, Business Intelligence Семестр 1 [2021]
Ozon Masters
Александр Дьяконов, Владимир Панов, Иван Оселедец, Павел Клеменков, Юрий Дорн, Александр Дайняк, Александр Рубцов, Артем Сорокин, Дмитрий Дагаев, Даниил Мусатов, Екатерина Артемова, Федор Иванов, Артем Бочкарев, Екатерина Денике, Роман Исаченко, Ван Хачатрян, Александр Алексейцев, Алексей Чернобровов

Ozon Masters - это Вам не школа, это программа обучения в области анализа данных.

Мы предлагаем два направления: теоретическое с уклоном в программирование Data Science и Data Engineering и сфокусированное на практических кейсах Business Intelligence.

Наша линейка курсов соответствует программам подготовки в области машинного обучения и бизнес-аналитики ведущих университетов мира.

Спойлер: Направления

1. Data Science and Data Engineering

Эта программа дает глубокие теоретические и практические навыки в области анализа данных. Фокус на том, что реально работает. Жесткая математика и очень много практики.​

2. Business Intelligence

Это программа по подготовке бизнес-аналитиков с глубоким знанием анализа данных.​

Спойлер: Модуль 1 - Машинное обучение 1

Основная задача программы — ознакомить студентов с теоретическими основами и основными принципами машинного обучения: с классами моделей (линейные, логические, нейросетевые), метриками качествами и подходами к подготовке данных.
Особое внимание в курсе уделяется вопросам предобработки и подготовки данных, генерации и селекции признаков, разведочному анализу данных. В курсе много примеров и практических советов. Кроме классических тем, уделяется время анализу сложных сетей, методам интерпретации данных и моделей.

Блок 1 - Вводная лекция

1. Наука о данных (Data Sciense)
2. Статистика (Statistics)
3. Искусственный интеллект (Artificial Intelligence)
4. Анализ данных (Data Mining)
5. Машинное обучение (Machine learning)
6. Большие данные (Big Data)

Блок 2 - Постановка основных задач машинного обучения

1. Обучение с учителем (с размеченными данными / метками)
2. Целевая функция
3. Объект
4. Метка
5. Классификация
6. Прогнозирование
7. Пространство объектов
8. Признаковое пространство
9. Извлечение признаков
10. Визуализация задач
11. Функции ошибки
12. Эмпирический риск
13. Обучающая выборка
14. Задачи оптимизации в обучении
15. Модель алгоритмов
16. Алгоритм
17. Обучение
18. Обобщающая способность
19. Схема решения задачи машинного обучения
20. Как решаются задачи
21. Обучение без учителя / c неразмеченными данными
22. Обучение c частично размеченными данными
23. Трансдуктивное обучение
24. Обучение с подкреплением
25. Структурный вывод
26. Активное обучение
27. Онлайн-обучение
28. Transfer Learning
29. Multitask Learning
30. Feature Learning
31. Проблемы в машинном обучении
32. Примеры модельных задач

Блок 3 - Математика в машинном обучении: краткий обзор

1. Бритва Оккама
2. Теорема о бесплатном сыре
3. Футбольный оракул
4. Сведения из твимс
5. Задание распределений
6. Средние и отклонения
7. Условная плотность, маргинализация и обуславливание
8. Точечное оценивание
9. Оценка максимального правдоподобия
10. Дивергенция Кульбака-Лейблера
11. Ковариация и корреляция
12. Оценка плотности
13. Гистограммного подхода
14. Парзеновский подход
15. Нормальное распределение
16. Центральная предельная теорема
17. Теория информации
18. Проклятие размерности
19. Сингулярное разложение матрицы (SVD)
20. Матричное дифференцирование

Блок 4 - Оптимизация

1. Методы безусловной оптимизации
2. Методы нулевого порядка
3. Методы первого порядка
4. Методы второго порядка
5. Градиентный спуск
6. Наискорейший градиентный спуск
7. Стохастический градиентный спуск
8. Обучение: Пакетное, онлайн, по минибатчам
9. Метод градиентного спуска в машинном обу-чении
10. Стационарные точки
11. Метод Ньютона
12. Квази-ньютоновские методы
13. Оптимизация с ограничениями

Блок 5 - Метрические алгоритмы

1. Метрические алгоритмы (distance-based)
2. Ближайший центроид (Nearest centroid algorithm)
3. Подход, основанный на близости
4. kNN в задаче классификации
5. kNN в задаче регрессии
6. Обоснование 1NN
7. Ленивые (Lazy) и нетерпеливые (Eager) алгоритмы
8. Весовые обобщения kNN
9. Различные метрики: Минковского, Евклидова, Манхэттенская, Махалонобиса, Canberra distance, Хэмминга, косинусное, расстояние Джаккарда, DTW, Левенштейна
10. Приложения метрического подхода: нечёткий матчинг таблиц, Ленкор, в DL, классификация тек-стов
11. Эффективные методы поиска ближайших соседей
12. Регрессия Надарая-Ватсона

Блок 6 - Контроль качества и выбор модели

1. Проблема контроля качества
2. Выбора модели (Model Selection) в широком смысле
3. Правила разбиения выборки
4. Отложенный контроль (held-out data, hold-out set)
5. Скользящий контроль (cross-validation)
6. Бутстреп (bootstrap)
7. Контроль по времени (оut-of-time-контроль)
8. Локальный контроль
9. Кривые обучения (Learning Curves)
10. Перебор параметров

Блок 7 - Линейные методы

1. Линейная регрессия
2. Обобщённая линейная регрессия
3. Проблема вырожденно-сти матрицы
4. Регуляризация. Основ-ные виды регуляризации
5. Гребневая регрессия (Ridge Regression)
6. LASSO (Least Absolute Selection and Shrinkage Operator)
7. Elastic Net
8. Селекция признаков
9. Ошибка с весами
10. Устойчивая регрессия (Robust Regression)
11. Линейные скоринговые модели в задаче бинарной классификации
12. Логистическая регрессия
13. Probit-регрессия
14. Многоклассовая логисти-ческая регрессия
15. Линейный классифика-тор
16. Персептрон
17. Оценка функции ошибок через гладкую функцию
18. SVM

Блок 8 - Нелинейный методы

1. Проблема линейности
2. Полиномиальная модель
3. Ядерные методы (Kernel Tricks)
4. Примеры ядер
5. Использование в SVM
6. Использование в регрессии
7. Кернализация
8. Математика ядер
9. RBF, RBF-сети

Блок 9 - Деревья решений

1. Деревья решений (СART)
2. Предикаты / ветвления
3. Ответы дерева
4. Критерии расщепления в задачах классификации: Missclassification criteria, энтропийный, Джини
5. Критерии остановки при построении деревьев
6. Проблема переобучения для деревьев
7. Подрезка (post-pruning)
8. Классические алгоритмы построения деревьев решений: ID3, C5.0
9. Важности признаков
10. Проблема пропусков (Missing Values)
11. Категориальные признаки
12. Сравнение: деревья vs линейные модели

Блок 10 - Ансамбли

1. Ансамбли алгоритмов: примеры и обоснование
2. Комитеты (голосование) / усреднение
3. Бэгинг
4. Кодировки / перекодировки ответов, ECOC
5. Стекинг и блендинг
6. Бустинг: AdaBoost, Forward stagewise additive modeling (FSAM)
7. «Ручные методы»
8. Однородные ансамбли

Блок 11 - Случайный лес

1. Универсальные методы
2. Случайный лес
3. OOB (out of bag)
4. Настройка параметров методов
5. Области устойчивости
6. Важности признаков
7. Boruta
8. ACE
9. Близости, вычисленные по RF
10. Extreme Random Trees

Блок 12 - Градиентный бустинг

1. Градиентный бустинг над деревьями
2. Итерация градиентного бустинга
3. Наискорейший спуск
4. Эвристика сокращения – Shrinkage
5. Стохастический градиентный бустинг
6. Продвинутые методы оптимизации
7. Современные реализации градиентного бустинга
8. Встроенные способы контроля
9. Параметры градиентного бустинга
10. Case: Задача скоринга (TKS)
11. Калибровка
12. Case: предсказание ответов на вопросы

Блок 13 - Сложность алгоритмов, переобучение, смещение и разброс

1. Проблема обобщения
2. Переобучение
3. Недообучение
4. Сложность алгоритмов
5. Смещение и разброс
6. Способы борьбы с переобучением

Блок 14 - Байесовский подход

1. Формула Байеса
2. Оптимальное решение задач классификации
3. Минимизация среднего риска
4. Наивный байес (naive Bayes)
5. Байесовский подход в машинном обучении
6. Метод максимального правдоподобия
   + Байесовский подход в примере
7. MAP
8. Особенности байесовского подхода
9. Байесовская теория для линейной регрессии
10. Логистическая регрессия
11. Байесовские точечные оценки
12. Байесовские интервальные оценки
13. RVM

Блок 15 - Кластеризация

1. Задача кластеризации, типы кластеризации
2. k-средних (Lloyd's algorithm)
3. Обобщения k-means
4. Модельные задачи кластеризации
5. Affinity propagation: кластеризация сообщениями между точками
6. Сдвиг среднего (Mean Shift): обнаружение мод плотности
7. Иерархическая кластеризация (Hierarchical clustering)
8. Типы Linkage
9. Кластеризация на основе минимального остовного дерева
10. Спектральная кластеризация
11. DBSCAN
12. BIRCH
13. CURE
14. Генеративные модели
15. EM
16. Gaussian Mixture Model (GMM)

Блок 16 - Обучение без учителя

1. Задачи UL
2. Понижение (сокращение) размерности
3. PCA
4. Нелинейное сокращение размерности
5. Kernel PCA
6. t-SNE
7. Устранение шума (Noise Reduction)
8. Генерация Данных (Data Generation)

Спойлер: Модуль 2 - Вычислительная линейная алгебра

Вычислительная линейная алгебра посвящена матрицам, векторам и операциями над ними.
Это базовые операции анализа данных: один слой полносвязной нейронной сети — это композиция умножения на матрицу и нелинейности, а сверточная нейронная сеть — это умножение на структурированную матрицу, называемую теплицевой матрицей.
Базовых задач вычислительной линейной алгебры немного: решение линейных систем, нахождение собственных значений, решение динамических задач.
В зависимости от размера задачи, существуют различные методы их решения: матричные разложения для небольших задач, итерационные методы для задач большой размерности.
Этот курс посвящен как линейной алгебре, так и эффективным алгоритмам выполнения матричных операций.

Блок 1 - Floating-point arithmetic, vector norms
Блок 2 - Matrix norms and unitary matrices
Блок 3 - Matvecs and matmuls, memory hierarchy, Strassen algorithm
Блок 4 - Matrix rank, low-rank approximation, SVD
Блок 5 - Linear systems
Блок 6 - Eigenvalues and eigenvectors
Блок 7 - Matrix decompositions and how we compute them
Блок 8 - Symmetric eigenvalue problem and SVD
Блок 9 - From dense to sparse linear algebra
Блок 10 - Sparse direct solvers
Блок 11 - Intro to iterative methods
Блок 12 - Great Iterative Methods
Блок 13 - Iterative methods and preconditioners
Блок 14 - Iterative methods for large scale eigenvalue problems
Блок 15 - Structured matrices, FFT, convolutions, Toeplitz matrices
Блок 16 - Matrix functions and matrix equations
Блок 17 - Tensors and tensor decompositions

Спойлер: Модуль 3 - Алгоритмы 1

Содержание курса достаточно близко к двум классическим книгам: «Алгоритмы: построение и анализ» (Кормен, Лейзерсон, Ривест, Штайн) и «Алгоритмы» (Дасгупта, Пападимитриу, Вазирани).
Цель курса — дать студентам базовые знания, которые позволят понимать специфику практических задач и разрабатывать оптимальный алгоритм решения.

Блок 1 - Введение. Верхние и нижние оценки сложности алгоритмов. Онлайн-алгоритмы.

1. Язык Си как исполнители алгоритмов.
2. Сложность по времени и по памяти. Верхние и нижние оценки.
3. O, Ω, Θ обозначения — формальные определения.
4. Задача о рюкзаке.
5. Коротко о P и NP, почему безнадёжно искать точное решение некоторых задач.
6. Индуктивные функции.

Блок 2 - Рекурсия и итерация.

Переход от алгоритмов, заданных рекурсивно, к алгоритмам, заданным итеративно, с использованием стека на примере алгоритма Евклида.​

1. Расширенный алгоритм Евклида.
2. Алгоритм быстрого возведения в степень.
3. Числа Фибоначчи. Вычисление через:
   • рекурсию
   • рекурсию с запоминанием
   • итерацию
   • возведение матрицы в степень
4. Доказательство нижних оценок на время работы алгоритма Евклида через числа Фибоначчи.
5. Переход от рекурсии к итерации с помощью стека.

Блок 3 - Алгоритмы «разделяй и властвуй».

Деревья рекурсии. Доказательство Θ-оценок для алгоритмов:​

1. Алгоритм Карацубы.
2. Сортировка слиянием.
3. Поиск k-ой порядковой статистики (детерминированный алгоритм).
4. Алгоритм деления целых чисел.

Анализ рекуррентных соотношений. Доказательство основной теоремы о рекурсии.
* Теорема Akra-Bazzi об анализе рекуррентных соотношений для алгоритмов «разделяй и властвуй».
​

Блок 4 - Сортировки. Верхние и нижние оценки I

1. Детерминированный алгоритм поиска k-ой порядковой статистики.
2. Быстрая сортировка (вероятностный алгоритм). Оценка среднего времени работы.
3. Быстрая сортировка (детерминированный алгоритм).
4. Сортировка за линейное время:

• Сортировка подсчётами (Counting sort)
• Поразрядная сортировка (Radix sort)

​

Блок 5 - Сортировки. Верхние и нижние оценки II

Сортировки сравнениями. Модель разрешающих деревьев, доказательство нижних оценок.​

1. Доказательство оценки Ω (nlogn) для сортировок сравнениями.
2. Бинарный поиск. Нижняя оценка на поиск элемента в отсортированном массиве.
3. Задача поиска F−1(x) для монотонной функции.
4. Потенциальные функции. Нижняя оценка на поиск второго максимума в массиве.
5. Оценки сложности различных алгоритмов сортировки:

• сортировка пузырьком
• сортировка вставками

​

Блок 6 - Структуры данных I. Стек, очередь, списки, куча.

1. Стеки и очереди.
2. Односвязные и двусвязные списки.
3. Heap (пираммда/куча):
   • Heap sort
   • Очередь с приоритетами на основе
4. Хэш-функции и хэш-таблицы.

Блок 7 - Структуры данных II. Деревья поиска. Красно-чёрные деревья.

1. Двоичные деревья поиска.
2. Определение красно-чёрных деревьев.
3. Балансировка красно-чёрных деревьев при добавлении и удалении вершины.

* Декартовы деревья.
​

Блок 8 - Алгоритмы на графах I. Поиск в глубину.

Поиск в глубину. Связь времени открытия и времени закрытия вершин с правильными скобочными последовательностями. Переход от рекурсивного варианта алгоритма к итеративному с помощью стека.
Алгоритмы на основе поиска в глубину:​

1. Топологическая сортировка.
2. Сильно-связные компоненты.
3. Поиск Эйлерова цикла.
4. Проверка на двудольность.
5. Поиск мостов.

Блок 9 - Алгоритмы на графах II. Кратчайшие пути.

1. Поиск в ширину.
2. Алгоритм Беллмана-Форда.
3. Алгоритм Дейкcтры.

Блок 10 - Алгоритмы на графах III. Остовные деревья.

1. Структура данных Union-Find.
2. Алгоритм Крускала.
3. Алгоритм Прима.
4. 2-приближённое решение задачи о Комивояжёре.
5. Вероятностный алгоритм поиска минимального разреза.

Блок 11 - От кратчайших путей к динамическому программированию.

1. Сюжет с матрицами:
   • возведения матрицы в степень — связь с количеством путей в графе
   • смена кольца на (∨,∧) — проверка на связность и транзитивное замыкание
   • смена кольца на (min,+) — поиск кратчайших путей
2. Алгоритм Флойда-Уоршелла.
3. Линейный алгоритм поиска кратчайших расстояний в топологически сортированном графе.
4. Задача о наибольшей возрастающей подпоследовательности.
5. Задача о расстоянии редактирования (Edit distance).

Блок 12 - Динамическое программирование.

1. Динамическое программирование сверху и снизу: рекурсия и индукция.
2. Поиск выигрышных стратегий в конечной игре.
3. Алгоритм для дискретной задачи о Рюкзаке.
4. ε-приближённый алгоритм для дискретной задачи о Рюкзак

Спойлер: Модуль 4 - Введение в Python

Это вводный курс по программированию на языке Python.
Структура курса несколько изменена по сравнению с стандартным курсом по программированию для того, чтобы студенты без опыта могли как можно быстрее включиться в практическую работу в курсе Машинного обучения.

Блок 1 - Введение

1. Введение и пара слов о языке Python
2. Print и самая первая программа на python
3. Переменные (и их устройство в python)
4. Основные арифметические операции
5. Типы данных: int, float, bool
6. Логические операции и логические выражения (простая алгебра логики)
7. Оператор if и оператор while

Блок 2 - Базовые операции

1. Структура данных list, изменение структуры
2. Оператор for
3. Функция range
4. Set и работа с set
5. Dict и работа с dict
6. Немного про библиотеки
7. Библиотека collections и Counter (как пример полезной небазовой библиотеки)

Блок 3 - Pandas dataframe

1. Базовая информация про строки (т.к. есть в dataframe)
2. Библиотека pandas
3. Структура dataframe и основные операции
4. Визуализация на остаток (через seaborn)

Блок 4 - Функции, рекурсия, работа с файлами

1. Определение функции
2. Глобальные и локальные переменные
3. Вложенные функции
4. Рекурсия
5. Работа с файлами
6. Практические задачи

Блок 5 - Работа со строками

1. Итерация по строке, выделение элементов строки
2. Функции split и join
3. Специальные методы строк (find, replace, count, isdigit...)
4. Задачи на работу со строками и выделение полезных данных из текстов
5. Регулярные выражения в питоне

Блок 6 - Введение в ООП

1. Введение в объектно-ориентированное программирование

Блок 7 - Практика + приложения в web

1. Парсим страницу известными нам методами
2. Парсим страницу с помощью beautiful soup
3. Web crawling
4. Сохранение картинок из интернета

Блок 8 - Математические библиотеки

1. Библиотека math
2. Библиотека numpy
3. Разбор различных библиотек для визуализации (от самых инженерных до самых красивых)

Блок 9 - Элементы функционального программирования

1. Lambda
2. Map reduce
3. Itertools
4. Pазбор декораторов

Блок 10 - Обработка ошибок в Python

1. Ошибки в python
2. Типы ошибок
3. Тry Except
4. Raise

Блок 11 - Итераторы и генераторы

1. __iter__ и __next__
2. Что такое iterable
3. Itertools

Блок 12 - Приложения в Ozon

1. Немного о приложениях

Спойлер: Модуль 5 - Дискретные модели

В процессе обучения мы рассмотрим общие подходы к решению задач дискретной оптимизации, чтобы после окончания курса слушатели могли чувствовать себя уверенно, когда столкнутся с практически любой поставленной на естественном языке задачей оптимизации.
Мы рассмотрим все этапы: от построения сбалансированной математической модели до написания эффективных алгоритмов её обсчёта.

Блок 1 - Множества и отношения

1. Отношения (предикаты). Транзитивность, рефлексивность, симметричность, антисимметричность.
2. Композиция отношений. Операция join в базах данных.
3. Отношения частичного порядка. Наибольший/наименьший элемент, максимальные/минимальные элементы. Цепи и антицепи. Оператор skyline в базах данных.
4. Отношения эквивалентности. Классы эквивалентности.
5. Инъекция, сюръекция, биекция, функция. Равномощность. Принцип Дирихле.

Блок 2 - Подсчёт и комбинаторные оценки

1. Основные комбинаторные конфигурации: сочетания, размещения (перестановки). Определения «прямые» и через классы эквивалентности.
2. Комбинаторные правила сложения и умножения. Деревья выбора (decision trees).
3. Точное нахождение и оценки количества комбинаторных конфигураций. Понятие «комбинаторного взрыва». Формула Стирлинга и её следствия.
4. Комбинаторные суммы и тождества. Техника двойного подсчёта (смена порядка суммирования).
5. Рекуррентные соотношения. Линейные рекуррентные соотношения с постоянными коэффициентами. Построение рекуррентных соотношений; метод выделенного элемента.

Блок 3 - Графы

1. Различные виды графов. Смежность и инцидентность.
2. Матрицы, ассоциированные с графами.
3. Связность. Мосты, точки сочленения. Связность орграфов.
4. Расстояния в графах. Центр графа. Различные возникающие из прикладных задач показатели центральности.
5. Деревья: эквивалентные определения, применение.
6. Обходы графов в ширину, глубину. Эйлеровы и гамильтоновы цепи/циклы.
7. Клики и независимые множества. Паросочетания. Покрытия.
8. Применение линейной алгебры в теории графов: отрисовка графов на плоскости, вычисление PageRank.

Блок 4 - Комбинаторика и графы в Python

(Это не самостоятельный пункт программы, а перечисление некоторых вещей, с которыми мы познакомимся по ходу прохождения других пунктов)​

1. Использование Python как интерактивного экспериментального инструмента.
2. Релевантные встроенные структуры данных Python.
3. Средства библиотеки itertools для перечисления комбинаторных конфигураций.
4. Библиотека networkx для работы с графами.

Спойлер: Модуль 6 - Linux, Bash и Git

Цель этого курса — познакомить студентов с основами работы в Linux, работе в командной строке, использования ssh и Git.
В конце курса каждый студент должен иметь свой аккаунт на github, уметь подключаться к внешним ресурсам с публичными ключами, подключиться к курсу BigData по приватному ключу, иметь созданный репозиторий курса с добавленным деплой-ключом.
Каждый студент попрактикуется с командами Git, научится работать с самыми распространенными unix-командами, а также научится писать простые bash-скрипты.

Блок 1 - Lecture1.1 Into. About Linux

• What is it, how it all began, Open Source, Distros

Блок 2 - Lecture 1.2 Login with ssh

• ssh, security and crypto algorithms

Блок 3 - Lecture 1.3 Linux command line

• Files, Directories and file systems, links

Блок 4 - Lecture 2.1 ssh keys

• Intro to asymmetrickeys, PKI

Блок 5 - Lecture 2.2 Linux command line

• Launching commands text files viewing and editing
• Command line philosophy
• Pipe processing, i/o redirection find, grep

Блок 6 - Lecture 3.1 Using ssh as proxy

• About network security, about tennels, proxy, vpn etc

Блок 7 - Lecture 3.2 Linux command line (advanced)

• Shells, terminals

Блок 8 - Lecture 4 Git basics

• Clone, add, commit, push, pull

Блок 9 - Lecture 5 Command line advanced: commands and processes

• commands and processes check exit status

Блок 10 - Lecture 6.1 Bash scripting

• Logical conditions, for loops, functions simple scripts

Блок 11 - Lecture 6.2 Git advanced

• Сontributing to someone else’s repo. Fork, Origin, remote, branches, merging, troubleshooting, Git Flow, Github Flow

Блок 12 - Lecture 7 Data processing

• Filters, awk, sed, csv files, gnuplot

Блок 13 - Lecture 8 Data processing 2: web API

• Json processing with jq
• Curl and wget, REST API
• GET, POST,and other requests extra: terminal browsers parallel processing

Блок 14 - Lecture 9.1 Virtual environments Docker

• Ways to isolate a process, an app etc

Блок 15 - Lecture 9.2 Docker advanced

• How to package own app into a container

Блок 16 - Lecture 10 Microservices. Docker compose

• How to package and use several containers together

Блок 17 - Lecture 11 DevOps CI/CD. Intro.Github Actions Intro to System Administration

• What is Continuous Integration/Delivery?

Блок 18 - Lecture 12 DevOps. Advanced. Server management with Ansible Cloud management with Terraform

Спойлер: Модуль 7 - Математическая статистика и приложения

«Чем бы вы потом не занимались, вы будете заниматься статистикой» — эту фразу я впервые услышал на вручении дипломов на мехмате и с тех пор много раз убеждался в её правильности. Любое эмпирическое исследование опирается на анализ данных, включающий в себя (в большей или меньшей мере) элементы статистического анализа.
Целью данного курса является знакомство слушателей с методами математической статистики, которые находят применение при решении прикладных задач. Особое внимание уделено современным методам, обычно не входящим в базовые курсы статистики — в частности, непараметрическим и семипараметрическим подходам. Курс сопровождается семинарами, на которых, помимо теоретических задач, будут рассмотрены реализации рассматриваемых идей в прикладном программном обеспечении.

Блок 1 - Оценивание параметров модели

• Статистическая модель.
• Свойства статистических оценок.
• Метод моментов, метод максимального правдоподобия и другие методы получения оценок.
• Достаточные статистики.

Блок 2 - Непараметрическое оценивание плотности распределений

• Гистограмма.
• Ядерные оценки.
• Дилемма смещения-дисперсии.
• Оптимальные в минимаксном смысле оценки.

Блок 3 - Доверительные интервалы

• Методы построения доверительных интервалов.
• Бутстрэп.

Блок 4 - Проверка статистических гипотез. Общая теория.

• Ошибки I и II рода.
• LR-тесты.
• Оценка адекватности модели (goodness of fit).
• Теоремы Пирсона и Уилка.

Блок 5 - Таблицы сопряженности

• Тест хи-квадрат.
• Точный критерий Фишера.

Блок 6 - Корреляционный анализ

• Параметрические и непараметриеские коэффициенты корреляции.
• Предельные распределения ранговых характеристик, разложение Эджворта.

Блок 7 - Статистические тесты для сравнения групп

• Тесты для модели независимых групп и парных повторных наблюдений (критерии Стьдента, Уилкоксона, Манна-Уитни, Краскела-Уоллиса, Фридмана).

Блок 8 - Регрессия

• Линейная регрессия.
• Экспоненциальные семейства распределений и обобщённые линейные модели.
• Парадоксы регрессии.
• Метод кросс-проверки.
• Критерий Акаике.
• Вейвлеты.

Блок 9 - Байесовские методы оценивания

• Априорные и апостериорные распределения.
• Гауссовская модель.

Блок 10 - Задачи классификации и кластеризации

• Эвристические и иерархические методы.
• Деревья классификации.

Блок 11 - Методы понижения размерности

• Метод главных компонент.
• Метод независимых компонент.
• Семипараметрические подходы.

Блок 12 - Анализ выживаемости

• Понятия цензурированных наблюдений.
• Функция выживания и функция риска (hazard function).
• Оценки Каплана-Мейера.

Продажник