info@centrattek.ru
Курсы Apache Kafka
Обучение по системе бизнес-аналитики Kafka
По всей России
Лицензированный учебный центр
| 47 200 руб. | |
| Цена: | 35 000 руб. |
Apache Kafka – это платформа, разработанная для обмена сообщениями компанией LinkedIn в 2011 году. С самого начала продукт был опубликован с открытым кодом, что сразу обеспечило ему возможность широкого использования за счет кастомной доработки пользователями.
Система использует языки Java и Scala. Импорт и экспорт данных в программе реализован при помощи сервиса Kafka Connect, а для работы с Big Data используется библиотека Kafka Streams. Продукт использует уникальный двоичный протокол передачи информации на базе TCP, который позволяет осуществлять группировку сообщений и снижать нагрузку на сеть.
Особенности продукта
Основной функционал Kafka – это организация потоковой передачи данных. При этом система имеет несколько важных отличий от других СУБД, среди которых:
• использование сообщений вместо записей;
• доставка сообщений с сохранением порядка;
• использование принципов горизонтального масштабирования, позволяющее добавлять новые компоненты по ходу работы с данными.
Преимущества платформы
Эти особенности архитектуры платформы обеспечили ей преимущества, которых нет у большинства конкурентов:
- высокий уровень масштабируемости с сохранением высоких темпов обработки данных, в том числе на больших объемах;
- высокая пропускная способность системы при минимальном уровне задержки передачи данных;
- возможность обработки сбоев без потери информации благодаря механизму репликации данных с распределением их по разным серверам;
- высокий уровень надежности благодаря интеграции с Apache ZooKeeper, отвечающие за координацию компонентов;
- подтвержденная безопасность благодаря возможностям настройки уровня изоляции для выполняемых транзакций и отслеживания изменений;
- длительный период хранения данных;
- умение взаимодействовать с большим количеством протоколов передачи данных - AMQP, HTTP, MQTT, REST, STOMP, XMPP;
- и, наконец, открытый исходный код, который обеспечивает целый ряд возможностей – большой объем информационной поддержки от сообщества разработчиков, многочисленные неофициальные расширения и дополнения, увеличивающие потенциал системы, возможность адаптации продукта под нужды пользователей и т.д.
Задачи Kafka
Перечисленные особенности делают систему Kafka подходящей для решения самых разных типов задач:
• мониторинг данных с устройств, полученных в автоматическом режиме;
• доставка данных большому количеству пользователей;
• настройка системы уведомлений;
• обработка больших массивов данных (Big Data);
• организация совместной работы;
• хранение информации о событиях.
Использование продукта
За последние десять лет возможности Kafka по достоинству оценили многие крупные компании по всему миру. Сейчас продукт использует не только сам разработчик – компания LinkedIn, но и такие гиганты как Microsoft, Netflix, Uber, Airbnb, Twitter, Walmart и другие. Ведущая американская газета The New York Times перевела хранение всех своих публикаций за последние 160 лет на платформу Kafka.
В целом можно сказать, что основными сферами применения Kafka на сегодняшний день являются следующие области экономики:
- банки и финансовые организации – для мониторинга и обработки транзакций и финансовых операций;
- поисковые системы – для обработки запросов пользователей, анализа поведения пользователей и параметров трафика;
- развлекательные сервисы – для формирования рекомендаций пользователям;
- IT – для потоковой передачи данных;
- телеком – для организации автоматического обмена сообщений между устройствами, системами и компонентами;
- анализ данных и бизнес-аналитика – получение, сведение, обработка и анализ данных для принятий бизнес-решений, а также работа с Big Data;
- логистика – автоматическая обработка данных различных типов устройств, включая датчики, системы мониторинга и навигации, GPS-устройства и так далее для контроля и управления логистическими процессами.
Таким образом, знание платформы Kafka обеспечивает широкие карьерные возможности и интерес к специалисту со стороны крупнейших компаний. Получить навыки работы с системой вы можете в специализированном обучающем центре АТТЭК.
Аудитория курса Kafka
Наш курс подойдет специалистам, которые хотят приобрести или улучшить навыки работы с потоками данных и освоить востребованный инструмент управления этими потоками. Мы приглашаем в наш обучающий центр:
• системных архитекторов;
• дата-инженеров;
• аналитиков данных;
• бизнес-аналитиков;
• разработчиков;
• других специалистов, которым интересен продукт Kafka и его возможности.
Проходить обучение вы можете в любом удобном для вас формате:
- очно в вашей компании с выездом преподавателей;
- очно в учебном центре АТТЭК в Москве или Санкт-Петербурге;
- дистанционно на онлайн-платформе.
Программа обучения
• Архитектура Apache Kafka
• Запуск
• Экосистема Kafka
• Контейнерная среда Docker
• Поддержка и обновление
• Тема (Topic)
• Брокер (Broker)
• Продюсер (Producer)
• Потребитель (Consumer)
• Разделение темы (Partition)
• Положение записи в системе (Partition Offset)
• Резервные копии (Replicas)
• Инструменты конфигурации (Connect Configs, Streams Configs, AdminClient Configs, MirrorMaker Configs, Tiered Storage Configs)
• Системные требования
• Расчет необходимых параметров для кластера
• Установка и запуск в Windows и Linux
• Установка и запуск в MacOS
• Установка Zookeeper
• Работа с интерфейсом
• Создание сообщений
• Использование основных инструментов
• Работа с темами (Topics)
• Сегменты и индексы
• Публикация и получение данных
• Работа с логами: очистка, сжатие, консолидация
• Утилиты командной строки
• Управление разделами (partition)
• Применение Partition Reassignment Tools
• Повышение производительности кластера
• Расширенная конфигурация кластера
• Kafka Schema registry
• Архитектура безопасности
• Создание пользователей
• Аутентификация и авторизация пользователей
• GSSAPI
• Kerberos
• Управление группами пользователей
• Отказоустойчивость
• Producer API
• Consumer API
• Streams API
• Connect API
• Admin API
• Обнаружение и устранение ошибок при работе с платформой
• Метрики мониторинга Kafka
• Prometheus, Grafana и JMX Exporter
• Дополнительные информационные ресурсы
• Возможности интеграции
• Kafka Connect
• Предметное сравнение с другими инструментами обработки и визуализации данных
Организация занятий
Чтобы обеспечить максимальное погружение в тему и повысить эффективность занятий, мы предоставляем нашим слушателям полный объем разнообразной информации по продукту Kafka:
- полноценная версия Kafka для изучения всех возможностей продукта;
- курсу лекций, затрагивающий все основные этапы работы с платформой;
- учебные потоки данных для понимания принципов работы в системе;
- обучающие задачи, необходимые для освоения ключевых навыков работы с Kafka;
- видеоматериалы, обучающие нюансам работы с продуктом;
- примеры реальных бизнес-кейсов, реализованных на базе Kafka;
- консультации преподавателей, готовых ответить на любой вопрос слушателей по продукту.
Документ по окончании обучения
После изучения курса вам предстоит пройти финальный тест, по результатам которого оформляется удостоверение о повышении квалификации
Документ по окончании обучения
После изучения курса вам предстоит пройти финальный тест, по результатам которого оформляется удостоверение о повышении квалификации
