Типичные ошибки при работе с Apache Kafka — Виктор Корейша
Доклад с митапа DevTalks. Инфраструктура и работа с данными: Kafka, архитектура S3 и обработка данных с Python (9 декабря 2023)
Apache Kafka — это распределенный и хорошо масштабируемый лог сообщений с открытым исходным кодом, выдерживающий огромные нагрузки.
В рамках доклада Виктор Корейша разобрал базовое устройство «Кафки», вспомнил основные понятия и термины, поговорил о том, как эффективнее взаимодействовать с кластером «Кафки», и разобрал 7 типовых ошибок при его использовании.
Доклад будет полезен тем, кто уже работает с «Кафкой», но не погружался глубоко в принципы его работы.
Ссылка на презентацию из доклада:
https://drive.google.com/file/d/1APmf...
Cайт митапа — https://devtalks.dev/infrastructure-k...
Официальный канал митапа — https://t.me/+X4DZg7ma1DdlM2I6
Нанять команду Spectr — https://digital-spectr.ru/new-client
Организаторы митапа: Spectr, Тэглайн.
#devtalks #devtalks_russia #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #kafka #s3 #python #performance #highload #polars #development #meetup #dev
00:00 Начало, представление спикера
02:15 Что такое Apache Kafka?
05:22 Топики и партиции
07:17 Консьюмер-группы и оффсеты
11:21 Внутреннее устройство Apache Kafka
14:10 Ошибка: сообщения пропадают из топика
16:17 Retention Policy: ограничиваем сообщения по размеру
17:21 Retention Policy: ограничиваем сообщения по времени
17:59 Cleanup Policy
20:54 Почему чтение дольше записи?
24:05 Как обозначить сообщения в партиции как обработанные?
26:18 Как писать больше и быстрее?
32:01 Группа постоянно падает в ребаланс
37:04 Почему лучше делать по одной группе на каждый топик?
38:10 Почему retry topic далеко не всегда хороший план?
45:03 Вопросы из зала
Watch video Типичные ошибки при работе с Apache Kafka — Виктор Корейша online without registration, duration hours minute second in high quality. This video was added by user Spectr — команда разработки цифровых сервисов 14 May 2024, don't forget to share it with your friends and acquaintances, it has been viewed on our site 3,555 once and liked it 177 people.