«Использование SQL для работы с данными в Apache Spark»
Apache Spark – это Big Data фреймворк с открытым исходным кодом для распределённой пакетной и потоковой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. Митап проводит специализированный учебный центр по технологиям Big data — Школа Больших данных. https://www.bigdataschool.ru/.
Митап рассчитан на инженеров данных, разработчиков и просто интересующихся: научимся использовать SQL для работы с данными в Spark, поймем разницу в использовании Dataframe API и SQL, разберем работу с метаданными и MetaStore, включая локальный вариант исполнения. Во время митапа будет немного теории и много практики — будем вместе в облаке учиться работать в Spark с помощью SQL. На выходе вы будете понимать, когда лучше использовать SQL и какие именно возможности он предлагает, в чем отличия SQL от Dataframe API и как можно переходить с одного способа работы на другой. Материалы митапа — Jupyter ноутбуки — позволят вам продолжить изучение нюансов использования SQL в Spark самостоятельно. Для эффективного участия в митапе необходимо предварительное знакомство со Spark (хотя бы в объеме нашего предыдущих митапов).
Длительность: 2 ак. часа
Программа митапа
- Теория: краткое знакомство с возможностями Spark SQL
Немного теории – место Spark SQL в Apache Spark
- Практика: Работаем в Apache Spark с данными с помощью SQL
SQL, датафреймы, интероперабельность, метаданные
Контактная информация:info@bigdataschool.ru или +7 (495) 41-41-121, +7 (915) 307 0074
МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ ZOOM. Ссылка на мероприятие будет отправлена за 1 час до начала события.
