Открыто

DataOps-инженер профессия [Нетология] [Алексей Кузьмин, Константин Башевой]

Тема в разделе "Курсы по программированию", создана пользователем Blink_182, 26 ноя 2020.

Цена: 50000р.
Взнос: 2361р.

Основной список: 23 участников

  1. Blink_182

    Blink_182 ЧКЧлен клуба

    dataops.PNG

    Что это за курс:

    1. Это курс о методах и инструментах, которые обеспечивают быструю, надежную и возобновляемую доставку данных, готовых к аналитике и эксплуатации моделей data science. DataOps-инженер — тот специалист, который может развернуть и конфигурировать все эти инструменты там, где остро встает вопрос масштабирования и гибкости.

    2. Курс предназначен для тех, кто уже знает, как строятся базы данных и работает ETL-процесс, кто уже прошел путь первичных построений и нуждается в расширенных методах обработки потоковых данных и хранения огромных массивов.

    Кому будет полезен этот курс:


    а) ETL-разработчикам

    Сделаете следующий шаг в карьере и сможете помочь бизнесу в процессах масштабирования.

    б) Аналитикам и Data Scientists

    Сможете перейти из анализа и построения моделей в инжиниринг, стать специалистом редкого профиля и зарабатывать больше.

    в) Разработчикам Scala, Python, Java

    Сможете сменить разработку на работу с данными, при этом глубокие знания языков позволят это сделать безболезненно и продуктивно.

    г) Системным администраторам

    Сможете разворачивать среды под задачи аналитики и DS — войдёте в перспективную область, сделаете свои навыки предметными и вырастете в деньгах.

    Для успешного обучения вам потребуются знания:
    - по теории БД
    - организации DWH, SQL
    - основам ETL/ELT-процессов, BI-cистем, CLI.

    Чему вы научитесь:

    а) Предобрабатывать данные с помощью Python

    Освоите синтаксис и библиотеки универсального инструмента аналитики, заложите фундамент для ML-изысканий

    б) Выстраивать инфраструктуру для больших данных

    Развернёте собственный инстанс Hadoop, разберётесь в lambda- и kappa архитектурах, создадите витрины данных

    в) Разрабатывать и планировать сложные рабочие процессы

    Призовёте направленные ациклические графы в Airflow и ленивые вычисления Spark

    г) Обрабатывать real-time данные

    Построите свой конвейер обработки даннных, сборщик событий, RTDM-систему с выводом в массовые enterprise BI-решения

    д) Строить работающий пайплайн в облачной среде

    И включать в него модели машинного обучения, нейронные сети, сервисы оркестрирования контейнеров и проверку версионности

    е) Внедрять принципы гибкого подхода MLOps

    Узнаете о философии CI\CD, пройдёте путь тестирования, продакшена и автоматического обучения ML-моделей

    1. Python
    Основы Python
    Введение в анализ данных на Python
    Статистика в Python
    Предобработка данных
    Feature Selection

    2. Data Lake & Hadoop
    Основы Hadoop
    HDFS
    MapReduce
    MapReduce 2
    Yarn
    Pig & Hive
    HBase & Cassandra
    Кластер. Управление и администрирование

    3. Продвинутые методы работы с данными
    Apache Spark
    Работа со Spark
    Spark SQL
    Продвинутый Spark
    Airflow
    Работа с Airflow
    Продвинутый Airflow
    Dbt как инструмент ETL

    4. Работа с потоковыми данными
    ClickHouse
    Kafka
    Kafka Streams
    Kafka Streams 2
    Spark Streaming
    Spark Streaming 2

    5. Работа с данными в облаке
    Google Cloud Platform — хранение данных
    Spark в GCP
    Managed ETL в GCP
    Обработка real-time данных в GCP
    Поиск инсайтов в данных при помощи ML
    Другие облачные провайдеры

    6. Введение в Data Science and Machine Learning
    Введение в машинное обучение
    Задача классификации
    Задача кластеризации
    Ансамблевые методы решения задачи классификации
    Feature engineering
    Нейронные сети

    7. MLOps
    Зачем нужен DevOps
    Docker и микросервисная архитектура
    K8S
    Орекстраторы
    CI/CD
    Мониторинг
    Инструменты DevOps для обучения ML-моделей
    Deploy ML-моделей
    Название занятия

    Продажник: netology.ru/programs/data-engineering
     
  2. Последние события

    1. morohon

      morohon участвует в складчине.

      16 июн 2021 в 23:34
    2. ciscomsk

      ciscomsk участвует в складчине.

      16 июн 2021 в 22:28
    3. dirixle

      dirixle не участвует в складчине.

      18 май 2021
    4. Bombex

      Bombex участвует в складчине.

      9 май 2021
  3. Monogatari

    Monogatari ЧКЧлен клуба

    Друзья!
    Приглашаю всех на отличный курс по OpenShift 4.2 (корпоративная версия Kubernetes)!


    OpenShift - это семейство программного обеспечения контейнеризации, разрабатываемое Red Hat. Его флагманский продукт, OpenShift Container Platform - это устанавливаемая на стороне организации платформа как услуга (PaaS), основанная на контейнерах Docker, оркестрируемых и управляемых Kubernetes на базе Red Hat Enterprise Linux.

    Kubernetes –это основной компонент OpenShift. Основной, но далеко не единственный. Иначе говоря, просто установив Kubernetes, вы не получите платформу корпоративного класса. Вам надо будет добавить аутентификацию, сеть, безопасность, мониторинг, управление журналами и многое другое. Кроме того, придется сделать нелегкий выбор из большого количества доступных инструментов (чтобы оценить разнообразие экосистемы, просто гляньте диаграмму CNCF) и как-то обеспечить согласованность и слаженность, чтобы они работали как одно целое. Кроме того, вам регулярно придется выполнять обновление и регрессионное тестирование при выходе новой версии любого из используемых компонентов. То есть, помимо создания и сопровождения самой платформы, вам надо будет заниматься еще и всем этим софтом. Вряд ли тут останется много времени на решение бизнес-задач и достижение конкурентных преимуществ.

    А вот в случае с OpenShift компания Red Hat берет все эти сложности на себя и просто дает вам функционально законченную платформу, куда входит не только сам Kubernetes, но и весь комплект необходимых инструментов с открытым кодом, превращающих Kubernetes в настоящее решение корпоративного класса, которое можно сразу же и совершенно спокойно запускать в продакшн. И конечно же, если у вас есть какие-то свои технологические стеки, то вы можете встроить OpenShift в уже имеющиеся решения.

    Преимущества для разработчиков
    OpenShift Container Platform предоставляет оптимальную платформу для подготовки (provisioning), сборки и развертывания приложений и их компонентов в режиме самообслуживания. Средства автоматизации, наподобие встроенной конвертации S2I (source -to-image), значительно упрощают сборку контейнерных образов в формате docker на основе кода, извлеченного из системы контроля версий. Интеграция с инструментами непрерывной интеграции и доставки (CI/CD) превращает OpenShift Container Platform в идеальное решение для любой организации.

    Преимущества для специалистов IT-систем
    OpenShift Container Platform – это корпоративная Kubernetes -платформа приложений с развитыми средствами автоматизации и управления на основе политик. Встроенные средства кластеризации, планирования и оркестрации обеспечивают эффективную балансировку нагрузки и автомасштабирование. Функции безопасности полностью устраняют риски вмешательства tenant - клиентов в работу других приложений или хоста, а возможность подключения постоянного хранилища непосредственно к контейнерам Linux® позволяет одновременно использовать эту платформу для приложений stateful и stateless.
     
  4. Суффикс

    Суффикс ЧКЧлен клуба

  5. AdmiralRaan

    AdmiralRaan СкладчикСкладчик

    Один из лучших курсов по Unity. ТУТ.
    Если вы хотите стать разработчиком на Unity и при этом хотите делать что-то сами, а не просто повторять за лектором,
    то лучшего для старта вы просто не найдёте.
    Тут, в отличии от большинства курсов, даётся реальные задачи, а не пересказ документации.
     

Поделиться этой страницей