T-Meetup: DWH

Собираем DWH‑комьюнити и приглашаем на митап, где вас ждут доклады от нашей команды. Мы расскажем как:
прошли путь от первых отчетов до архитектуры Lakehouse;

выстраиваем работу с данными и какие технологии лежат в основе нашей платформы;
создали командой из пяти инженеров собственное BI‑решение для 22 тысяч пользователей.

А после программы — нетворкинг, чтобы пообщаться, обменяться опытом и просто приятно провести вечер с сообществом.

Доклады

Эволюция DWH: от PostgreSQL до Lakehouse
Как на самом деле развивается хранилище данных в компании? В реальности архитектура не появляется сразу в идеальном виде: она проходит путь от простых отчетов до сложных распределенных платформ.

Разберу эволюцию аналитической системы: как и почему компании добавляют ClickHouse, переходят к MPP-решениям, строят Data Lake и в итоге приходят к Lakehouse.

Обсудим, как меняются модели данных, подходы к загрузке данных и требования к Data Governance, какие архитектурные решения применимы на разных этапах роста и как избежать типичных ошибок при развитии DWH

Кирилл Семенов
Старший инженер данных
Т-Банк

Путь данных в Т-Банке
В хранилище Т-Банка содержатся петабайты данных, которые необходимы для ежедневной аналитики. Дата-платформа Т-Банка позволяет работать со всеми возможными пользовательскими сценариями и ежедневно перемалывать такие объемы.

Из опыта совместной работы с Т-Банком, разберу:

из каких компонентов состоит их дата-платформа;
сколько нужно ETL-инструментов для удовлетворения всех потребностей;
какие объемы данных содержатся в хранилище;
на каких опенсорс-решениях была построена дата-платформа;
как проходит переход к ДЛХ и с какими техническими трудностями сталкиваемся

Виталий Нечаев
Старший инженер данных
Т-Технологии

Как команда из пяти инженеров построила BI-платформу для 22 тысяч пользователей после ухода Tableau
После ухода Tableau перед Т-Банком стояла задача сохранить BI-инструмент для десятков тысяч пользователей. Вместо перехода на готовые решения команда решила построить собственную платформу — Proteus.

Расскажу:

почему не подошли существующие BI-решения;
как устроена архитектура Proteus;
как устроена гибкая кастомизация дашбордов через код;
с какими факапами и архитектурными ошибками мы столкнулись;
какие функции сейчас появляются в платформе, включая AI

Диана Ударцева
Продуктовый дизайнер
Т-Банк