ВЫБОР ФУНКЦИИ ДИНАМИЧЕСКОГО СЕГМЕНТИРОВАНИЯ В CLUSTERIX-ПОДОБНЫХ СИСТЕМАХ | РОМАН КЛАССЕН
Обработка больших массивов данных требует применения вычислительных кластеров и распределения данных по его узлам. За распределение промежуточных данных при обработке запросов в известных Clusterix-подобных системах отвечает функция динамического сегментирования, значение которой – остаток от деления ключа отношения на количество ядер в кластере. Такая функция часто позволяет получить идеальное распределение. Но в случае, когда ключ для соединения отношений содержит несколько уникальных значений, применение хеш-функции, используемой для хеширования хранимых данных, может оказаться не эффективным. В докладе обсуждается применение разных хеш-функций для динамического сегментирования и первоначального распределения по узлам. Демонстрируются карты распределения данных по ядрам кластера для исходных и временных отношений. Приводится сравнение производительности при использовании тех или иных хеш-функций. Даются рекомендации по релевантному выбору хеш-функции для целей динамического сегментирования.
Презентация доклада: https://bitbucket.org/landwatersun/fo...
#хешфункции #clusterix
Смотрите видео ВЫБОР ФУНКЦИИ ДИНАМИЧЕСКОГО СЕГМЕНТИРОВАНИЯ В CLUSTERIX-ПОДОБНЫХ СИСТЕМАХ | РОМАН КЛАССЕН онлайн без регистрации, длительностью часов минут секунд в хорошем качестве. Это видео добавил пользователь landwatersun 19 Февраль 2021, не забудьте поделиться им ссылкой с друзьями и знакомыми, на нашем сайте его посмотрели 131 раз и оно понравилось 5 людям.