Программа курса Администрирование кластера Kafka![]()
1. Введение в Kafka
2. Основные концепции Kafka
- Что такое Apache Kafka?
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka
- Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)
3. Установка кластера Apache Kafka
- Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
- Брокеры (Brokers): Развертывание. Конфигурация Multibroker
- Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
- Потребители данных (Consumers): Очереди Consumers.
4. Базовые операции в Apache Kafka
- Требования по установке кластера Kafka
- Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
- Установка кластера Kafka без использования Zookeeper KIP-500
- Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
- Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
- Конфигурация Listeners. Отказоустойчивость кластера Kafka.
- Установка кластера Kafka на Yandex Cloud
5. Оптимизация кластера Apache Kafka
- Операции с Топиками (Topic)
- Публикация данных с консольного Producer
- Получение данных с консольного Consumer
- Пользовательские интерфейсы для работы с Kafka
6. Интеграция с Apache Kafka (обзорно)
- Оптимизация производительности компонент кластера
- Масштабирование кластера
- Балансировка разделов(partition) и использование Partition Reassignment Tools
- Best Practices Kafka/Confluent
- Мониторинг кластера Kafka
- Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana
7. Расширенная конфигурация кластера Kafka
- Использование Apache NiFi
- Интеграция Apache Hadoop с Kafka
- Сценарии интеграции с Apache Kafka
8. Безопасность в Kafka
- Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
- Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.- Confluent REST Proxy. Confluent Schema Registry (обзорно)
- Репликация кластера с использованием Mirror Maker 2
Продолжительность: 3 дня, 24 академических часа.
- Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и
клиентов- Аутентификация SSL/SASL
- Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
- Авторизация в Kafka
- Управление списками управления доступом (ACL)
Соотношение теории к практике 50/50
Курс предназначен для специалистов, которые хотят изучить:
Предварительная подготовка
- методы администрирования и настройки кластера Apache Kafka;
- настройку безопасности Kafka с SSL и Kerberos;
- примеры интеграции;
- мониторинг и оптимизацию кластера Apache Kafka с использованием практических примеров;
- практику развертывания кластера Kafka в облаке Yandex;
- особенности использования Yandex Manager Service для Apache Kafka
- Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...
Новые складчины | страница 8
Категории
Страница 8 из 21

![[IMG]](proxy14p.php?image=https%3A%2F%2Fi.postimg.cc%2Fk5tKVt4r%2FDark-Maycal-Sysadmins-Windows-Server-2022.png&hash=13a14a6a57f2967645555a37672c152b&v=4)
![[IMG]](proxy14p.php?image=https%3A%2F%2Fi.postimg.cc%2Fg0gpsmdC%2FCyber-Yozh-2-0.png&hash=7441693c3d46b435999932ec721491fa&v=4)
![[IMG]](proxy14p.php?image=https%3A%2F%2Fi.ibb.co%2Ft4GQj4T%2Fscreenshot.png&hash=6734c2bf59f03c93bd7c24a702203af2&v=4)
![[IMG]](proxy14p.php?image=https%3A%2F%2Fi.ibb.co%2F48Gq43h%2Fscreenshot.png&hash=3dea752f402c39a2daa54ced10c9c8ac&v=4)
![[IMG]](proxy14p.php?image=https%3A%2F%2Fi.ibb.co%2FXV2m3w8%2Fscreenshot.png&hash=3465d675542409654d541aabd1cbcec6&v=4)
![[IMG]](proxy14p.php?image=https%3A%2F%2Fi.ibb.co%2F7YPPJ0V%2Fscreenshot.png&hash=2583ce9d53ac1d0db1c6897b0839a5c3&v=4)