Как ИИ помогает создавать и сопровождать Spark-задачи в облаке

Разработка и сопровождение Spark-задач требуют времени и экспертизы. Настройка инфраструктуры, поиск ошибок, анализ логов и оптимизация производительности часто занимают больше времени, чем сама работа с данными.

На вебинаре покажем, как автоматизировать работу с Apache Spark с помощью Evolution Managed Spark c ИИ. Вы увидите, как создавать и запускать Spark-задачи, работать с данными в Evolution Object Storage, анализировать их выполнение, быстро находить причины ошибок и получать рекомендации по оптимизации с помощью запросов на естественном языке.

Вы узнаете:

как Evolution Managed Spark упрощает разработку и сопровождение Spark-задач;
как использовать ИИ-агента для создания, запуска и анализа Spark-приложений;
каким образом работать с данными в Evolution Object Storage без ручной настройки;
где искать причины ошибок и получать рекомендации по их устранению;
как анализировать производительность Spark-задач и находить точки для оптимизации;
как MCP-серверы помогают ИИ-агенту взаимодействовать с managed-сервисами платформы данных Cloud.ru.

В практической части покажем:

работу ИИ-агента для создания Spark-задачи;
обработку данных в Evolution Object Storage;
анализ выполнения Spark-приложения;
поиск и исправление ошибок с помощью ИИ;
получение рекомендаций по оптимизации производительности.

Вебинар будет полезен:

инженерам по обработке данных;
архитекторам данных;
инженерам по машинному обучению;
платформенным инженерам;
DevOps-инженерам, работающим с платформами данных;
руководителям команд по работе с данными, которые хотят ускорить разработку и сократить операционные затраты на сопровождение Spark-инфраструктуры.

Спикеры

Кузин Дмитрий
Направление развития продуктов обработки больших данных