0/5, Голосов: 0
Активно

Инженер данных [Karpov.Courses] [Е. Ермаков, Д. Сафина, А. Пилипенко, В. Соколов, А. Волынский, Р. Бунин, А. Савченко] Часть 4 из 5

Тема в разделе "Курсы по администрированию", создана пользователем Топикстартер, 22 янв 2023.

Цена: 20000р.
Взнос: 542р.
100%

Основной список: 41 участников

Резервный список: 16 участников

  1. Топикстартер

    Топикстартер ЧКЧлен клуба

    Для записи в складчину нужно учавствовать 1, 2, 3 частях
    Инженер данных [Karpov.Courses] Часть 1 из 5

    Инженер данных [Karpov.Courses] Часть 2 из 5
    Инженер данных [Karpov.Courses] Часть 3 из 5

    Инженер данных Часть 4 из 5



    НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ
    Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.

    ДЛЯ КОГО ЭТОТ КУРС:
    ИНЖЕНЕР ДАННЫХ
    Уже работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии.

    АНАЛИТИК ДАННЫХ
    Постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике.

    BI-РАЗРАБОТЧИК
    Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать.

    BACKEND-РАЗРАБОТЧИК
    Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных.

    Посмотреть вложение 878073

    РАБОТАЙТЕ С ДАННЫМИ В ЛЮБЫХ СИСТЕМАХ
    — Изучайте архитектуру хранилищ данных и подходы к их проектированию
    — Сравнивайте на практике Big Data решения на базе Hadoop и реляционные MPP СУБД
    — Учитесь работать с облаками и автоматизировать ETL-процессы с помощью Airflow

    ПРОГРАММА КУРСА

    1. РЕЛЯЦИОННЫЕ И MPP СУБД
    Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.

    2. АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ
    ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.

    3. BIG DATA
    Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.

    4. ПРОЕКТИРОВАНИЕ DWH
    Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.

    5. ОБЛАЧНОЕ ХРАНИЛИЩЕ
    Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.

    6. ВИЗУАЛИЗАЦИЯ ДАННЫХ
    Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.

    7. BIG ML
    Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.

    8. УПРАВЛЕНИЕ МОДЕЛЯМИ
    В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.

    9. УПРАВЛЕНИЕ ДАННЫМИ
    На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.

    Код:
    Продажник https://karpov.courses/dataengineer[/SIZE]
     
    Последнее редактирование модератором: 22 янв 2023
  2. Последние события

    1. jelaris8

      jelaris8 участвует в складчине.

      31 янв 2023 в 11:48
    2. m0rtalfrei

      m0rtalfrei участвует в складчине.

      29 янв 2023 в 16:30
    3. almightys

      almightys участвует в складчине.

      29 янв 2023 в 16:11
    4. ssokkoll

      ssokkoll участвует в складчине.

      29 янв 2023 в 07:07

    Последние важные события

    1. skladchik.com

      Взнос в складчине составляет 542р.

      25 янв 2023 в 18:30
    2. skladchik.com

      Складчина активна.

      25 янв 2023 в 18:30
    3. skladchik.com

      Сбор взносов начинается 25.01.2023.

      23 янв 2023
    4. skladchik.com

      Назначен организатор складчины.

      22 янв 2023

Поделиться этой страницей