[NewProLab] Apache Spark и Scala для дата инжиниринга 2.0 [Андрей Титов, Егор Матещук]

Robot · 26 Сен 2021

Apache Spark и Scala для дата инжиниринга 2.0
Подготовка витрин данных.
Создание real-time приложений. Scala API
Король мира больших данных
Apache Spark стал стандартом для распределенной обработки больших данных

Apache Spark — самый популярный инструмент мира Big Data. Он позволяет обрабатывать большие объемы данных в распределенном режиме, создавать витрины данных и real-time приложения, позволяющие на лету пересчитывать и готовить свежие матрицы признаков для моделей машинного обучения. Наш интенсивный курс содержит занятия с преподавателями-практиками и практические работы, которые помогут вам овладеть новыми инструментами.
Чему вы научитесь
В нашей программе есть три составляющих
Scala API
Всё самое лучшее и свежее в Apache Spark есть в скаловском API. Программа начинается с вводного занятия по этому языку. Вы научитесь создавать проекты и работать в IntelliJ IDEA.
Витрины данных
Чтение и запись Parquet/ORC, работа с ElasticSearch, Cassandra, PostgreSQL через JDBC-коннектор, с Data Frames иDataSets API для создания витрин данных.
Real-time
Запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows. Создание кастомного источника данных и синка с использованием Datasource V1 API.
Что входит в программу
11 занятий
На занятиях будут подробно рассмотрена работа с Dataframes API и Spark Structured Streaming.
5 инструментов
Помимо самого Apache Spark вы еще поработаете с Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS для формирования витрин данных для последующего анализа.
5 лаб
Каждую неделю вам нужно будет решать лабораторную работу. Несколько лаб объединены в единый пайплайн от получения данных из Kafka до подготовки и обновления расширенной матрицы признаков