Доступно

Инженер данных [Karpov.Courses] [Е. Ермаков, Д. Сафина, А. Пилипенко, В. Соколов, А. Волынский, Р. Бунин, А. Савченко] Часть 3 из 5

Тема в разделе "Курсы по администрированию", создана пользователем Топикстартер, 3 дек 2022.

Цена: 20000р.
Взнос: 1060р.-94%
100%

Основной список: 42 участников

Резервный список: 45 участников

Статус обсуждения:
Комментирование ограничено.
  1. 3 дек 2022
    #1
    Топикстартер
    Топикстартер ЧКЧлен клуба

    Инженер данных [Karpov.Courses] [Е. Ермаков, Д. Сафина, А. Пилипенко, В. Соколов, А. Волынский, Р. Бунин, А. Савченко] Часть 3 из 5

    Для получения курса нужно оплатить предыдущие части
    Инженер данных [Karpov.Courses] Часть 1 из 5

    Инженер данных [Karpov.Courses] Часть 2 из 5



    НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ
    Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.

    ДЛЯ КОГО ЭТОТ КУРС:
    ИНЖЕНЕР ДАННЫХ
    Уже работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии.

    АНАЛИТИК ДАННЫХ
    Постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике.

    BI-РАЗРАБОТЧИК
    Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать.

    BACKEND-РАЗРАБОТЧИК
    Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных.

    Посмотреть вложение 878073

    РАБОТАЙТЕ С ДАННЫМИ В ЛЮБЫХ СИСТЕМАХ
    — Изучайте архитектуру хранилищ данных и подходы к их проектированию
    — Сравнивайте на практике Big Data решения на базе Hadoop и реляционные MPP СУБД
    — Учитесь работать с облаками и автоматизировать ETL-процессы с помощью Airflow

    ПРОГРАММА КУРСА

    1. РЕЛЯЦИОННЫЕ И MPP СУБД
    Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.

    2. АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ
    ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.

    3. BIG DATA
    Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.

    4. ПРОЕКТИРОВАНИЕ DWH
    Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.

    5. ОБЛАЧНОЕ ХРАНИЛИЩЕ
    Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.

    6. ВИЗУАЛИЗАЦИЯ ДАННЫХ
    Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.

    7. BIG ML
    Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.

    8. УПРАВЛЕНИЕ МОДЕЛЯМИ
    В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.

    9. УПРАВЛЕНИЕ ДАННЫМИ
    На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.

    Код:
    Продажник https://karpov.courses/dataengineer[/SIZE]
     
    Последнее редактирование модератором: 14 фев 2023
    1 человеку нравится это.
  2. Последние события

    1. skladchik.com
      Складчина доступна.
      23 янв 2023
    2. skladchik.com
      niragen участвует.
      21 янв 2023
    3. pym933
      pym933 участвует.
      20 янв 2023
    4. skladchik.com
      ivan14 участвует.
      14 янв 2023

    Последние важные события

    1. skladchik.com
      Складчина доступна.
      23 янв 2023
    2. skladchik.com
      Взнос составляет 530р.
      6 дек 2022
    3. skladchik.com
      Складчина активна.
      6 дек 2022
    4. skladchik.com
      Сбор взносов начинается 06.12.2022.
      3 дек 2022
  3. Обсуждение
  4. 5 дек 2022
    #2
    pavelcbx
    pavelcbx ЧКЧлен клуба
    Организатор, добрый день. Напишите пожалуйста в предыдущих двух складчинах пост, что открыта новая. А то что-то мало людей = взнос большой.
     
    1 человеку нравится это.
  5. 5 дек 2022
    #3
    Организатор
    Организатор ОргОрганизатор
    Привет, я в библиотеке возле ссылки на инфопродукт ссылку указал
     
  6. 6 дек 2022
    #4
    pavelcbx
    pavelcbx ЧКЧлен клуба
    На изменения в посте участникам складчины не приходят оповещения.
     
    3 пользователям это понравилось.
  7. 20 дек 2022
    #5
    kazuma
    kazuma ЧКЧлен клуба
    Организатор, можешь принять заявку пожалуйста?
     
  8. 20 дек 2022
    #6
    kazuma
    kazuma ЧКЧлен клуба
    Хотя не, пока что передумал
     
  9. 22 дек 2022
    #7
    Djeks
    Djeks ДолжникДолжник
    Организатор, можешь принять заявку? Предыдущие части куплены
     
  10. 25 дек 2022
    #8
    denssq
    denssq ДолжникДолжник
    Есть новости по этой части? Когда будет доступна?
     
  11. 16 янв 2023
    #9
    denssq
    denssq ДолжникДолжник
    Когда будет доступна следующая часть?
     
Статус обсуждения:
Комментирование ограничено.

Поделиться этой страницей