Как построить управляемый Data Lakehouse за неделю на Evolution Data Platform

Компании тратят месяцы на построение архитектуры хранения данных: развертывают кластеры, настраивают слои хранения, интегрируют метаданные и контроль качества. Из-за этого запуск data-driven решений затягивается, информация быстро теряет актуальность, а команды вместо аналитики занимаются поддержкой платформы.

На практическом вебинаре покажем, как за неделю с нуля построить архитектуру Data Lakehouse на Evolution Data Platform — от загрузки сырых данных до курированных витрин — с помощью управляемых сервисов, без эксплуатационной нагрузки и с фокусом на бизнес-результат.

В программе:

принципы построения Lakehouse-архитектуры с единым слоем хранения в S3 в формате Apache Iceberg с поддержкой ACID-гарантий и версионирования;
подходы к централизованному управлению метаданными и происхождением данных через Managed Metastore;
способы реализации контроля качества данных в Managed Spark без остановки пайплайнов;
методы организации хранения данных с разным уровнем доверия: партиционирование по качеству, time travel и разделение слоёв хранения;
принципы настройки единого SQL-слоя через Managed Trino с разграничением доступа;
инструменты автоматизации оркестрации и мониторинга пайплайнов в Managed Airflow;
возможности визуализации качества и происхождения данных в Managed BI.

В практической части вебинара:

за 15 минут развернем базовую Lakehouse-архитектуру;
настроим в Managed Spark пайплайн валидации данных;
реализуем разграничение доступа через Managed Trino;
настроим оркестрацию и мониторинг качества данных в Managed Airflow;
создадим в Managed BI дашборд качества данных;
покажем, как отслеживать происхождение данных (lineage) в Managed BI через интеграцию с Managed Metastore.

Вебинар будет полезен архитекторам данных, дата-инженерам, руководителям аналитики и data-направлений, а также ИТ-директорам и специалистам по управлению данными, которым важно ускорить запуск решений и обеспечить качество и прозрачность данных.

Присоединяйтесь, чтобы за 5 рабочих дней перейти от концепции Lakehouse к рабочей архитектуре с фокусом на данных, которым доверяет бизнес.

Спикеры

Безобразов Михаил
Архитектор решений