[Специалист] Основы Apache Kafka- 2022 [Сергей Шуйков]

Меркурий · 23 Дек 2021

В процессе обучения вы познакомитесь с возможностями ПО Apache Kafka для интеграции приложений, рассмотрите практические примеры по созданию распределенных приложений.

Apache Kafka – открытый распределенный высокопроизводительный программный брокер сообщений. Apache Kafka обеспечивает наращивание пропускной способности как при росте числа и нагрузки со стороны источников, так и количества систем-подписчиков.

Цель курса – получение и систематизация знаний по использованию ПО Apache Kafka для интеграции приложений. В процессе обучения вы познакомитесь с возможностями данного ПО и практическими примерами по созданию распределенных приложений.

Курс рекомендован:
1. Разработчикам ПО на языке Java, желающим научиться использовать ПО Apache Kafka для интеграции различных систем.
2. Компаниям-разработчикам ПО, которым нужны квалифицированные разработчики с использованием ПО Apache Kafka.
3. Архитекторам ПО и руководителям проектов желающим изучить современные технологии по созданию распределенных приложений.

Вы научитесь:
1. Выполнять основные команды по настройке и администрированию сервера Apache Kafka.
2. Создавать распределенные приложения для обмена сообщениями.
3. Выполнять публикацию и прием сообщений с использованием Kafka Streams API.
4. Использовать язык DSL для настройки потоков данных.

Модуль 1 - Основы Apache Kafka

Введение в ПО Apache Kafka. Область применения и примеры использования. Сравнение с Spark, Flint, Storm.
Компоненты и архитектура Apache Kafka.
Основные концепции Apache Kafka.
Брокеры. Поставщики и потребители данных. Работа с сообщениями.
Развертывание ПО Apache Kafka. Основные команды по настройке и администрированию сервера.
Базовые операции Apache Kafka.
Сценарии интеграции с Apache Kafka.

Модуль 2 - Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени

Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени
Режимы работы Apache Kafka. Отличия и выбор режима работы.
Управление и работа с Topic-ами сообщений. Использование API.
Публикация и примем сообщений. Практические примеры.
Общие понятия Kafka Stream. Работа с потоками.
Kafka Stream DSL — язык для настройки потоков данных.
Использование Processor API.
Лабораторная работа: использование API поставщиков и потребителей для обмена сообщениями между распределенными приложениями.

Модуль 3 - Выполнение REST-запросов для обмена данными с сервером

Интеграция с внешними системами.
Основные принципы Kafka Connect. Виды Connector-ов в Apache Kafka и их применения.
Режимы работы и принципы применения.
Конфигурирование Connector-ов. Использование REST API.
Интеграция с системами: Apache Spark, Apache Storm, Amazon Web Services.
Выполнение трансформации данных. Пересылка сообщений.