Знакомство с Airflow 3: от понимания концепции к работе в Docker

Мастер-класс посвящен базовым принципам работы с Apache Airflow 3: от понимания концепции ETL и ключевых элементов архитектуры (DAG, Operators, Tasks) до развертывания полноценной локальной песочницы в Docker. Мероприятие проводит студент онлайн-магистратуры «Аналитика больших данных» для будущих специалистов, которые хотят сделать уверенный первый шаг в оркестрации пайплайнов.

Мастер-класс для всех, кто хочет

— познакомиться с Airflow 3 и понять его роль в индустрии
— освоить концепцию ETL на простых примерах
— научиться разворачивать локальный инстанс в Docker для личных экспериментов

На мастер-классе вы сможете разобраться в архитектуре Airflow 3, вместе со спикером развернуть локальный Airflow через Docker Compose и запустить ваш первый DAG.

Что вас ждет

Что такое ETL в работе инженера данных?
Разберетесь, как устроены извлечение, преобразование и загрузка данных и зачем нужен этот процесс.

Знакомство с Airflow 3
Узнаете, зачем нужен дирижер скриптов и из каких блоков он состоит.

Две архитектуры Airflow: один сервер или несколько
Сравните простую и распределённую архитектуры, их преимущества и сценарии применения.

Основные сущности Airflow на практике
Поймете, что такое DAG, оператор и экземпляр задачи и как они связаны между собой.

Вредные советы
Узнаете, в каких случаях не стоит использовать Airflow

Практика
Развернете Airflow с помощью Docker Compose, познакомитесь с веб-интерфейсом и запустите первый DAG.

Спикер

Михаил Панфилов,
Студент онлайн-магистратуры «Аналитика больших данных», инженер данных в Borzo Delivery