[Школа Больших Данных] KAFKA: Курс Администрирование кластера Kafka

roshka · 1 Мар 2024

Программа курса Администрирование кластера Kafka

1. Введение в Kafka

Что такое Apache Kafka?
Сценарии использования Kafka
Компоненты Kafka и Kafka экосистемы
Архитектура Kafka
Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)

2. Основные концепции Kafka

Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
Брокеры (Brokers): Развертывание. Конфигурация Multibroker
Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

Требования по установке кластера Kafka
Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
Установка кластера Kafka без использования Zookeeper KIP-500
Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
Конфигурация Listeners. Отказоустойчивость кластера Kafka.
Установка кластера Kafka на Yandex Cloud

4. Базовые операции в Apache Kafka

Операции с Топиками (Topic)
Публикация данных с консольного Producer
Получение данных с консольного Consumer
Пользовательские интерфейсы для работы с Kafka

5. Оптимизация кластера Apache Kafka

Оптимизация производительности компонент кластера
Масштабирование кластера
Балансировка разделов(partition) и использование Partition Reassignment Tools
Best Practices Kafka/Confluent
Мониторинг кластера Kafka
Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana

6. Интеграция с Apache Kafka (обзорно)

Использование Apache NiFi
Интеграция Apache Hadoop с Kafka
Сценарии интеграции с Apache Kafka

7. Расширенная конфигурация кластера Kafka

Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
Confluent REST Proxy. Confluent Schema Registry (обзорно)
Репликация кластера с использованием Mirror Maker 2

8. Безопасность в Kafka

Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и
клиентов
Аутентификация SSL/SASL
Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
Авторизация в Kafka
Управление списками управления доступом (ACL)

Продолжительность: 3 дня, 24 академических часа.
Соотношение теории к практике 50/50

Курс предназначен для специалистов, которые хотят изучить:

методы администрирования и настройки кластера Apache Kafka;
настройку безопасности Kafka с SSL и Kerberos;
примеры интеграции;
мониторинг и оптимизацию кластера Apache Kafka с использованием практических примеров;
практику развертывания кластера Kafka в облаке Yandex;
особенности использования Yandex Manager Service для Apache Kafka

Предварительная подготовка

Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)