Закончился расчёт MOLAP куба размером больше 10 000 000 000 (10 миллиардов) ячеек.
Возможно, что такое у кого-то происходит каждый день, но вот наконец то и я смог )))
В деталях:
1. Размер куба 300 ГБ (сжат “gz”), примерный размер несжатого куба 3 ТБ.
2. Время затраченное на расчёт куба 227 часов одного процессорного ядра (3.4GHz).
3. Также затрачено 7.15 ТБ ресурсов ввода вывода :-) на 6-ти жёстких дисках.
4. Примерное время расчёта на трёх-нодовом hadoop-кластере одни сутки (24 часа).
5. Из функций агрегаций/анализа были использованы Sum,Count,Max,stdstat(группа функций :Count,Sum,Max,Min,Avg).
При этом была обнаружена следующая проблема:
1. Функция хеширования «SHA256» произвела хеши с не равномерным распределением :-(, и из-за этого
перекоса 2/3 данных обрабатывалось на 1/3 процессоров :-), что собственно замедлило время расчёта куба.
Продолжаю работу ….
Комментарии (15)
amarao
17.12.2015 02:19+4Два 10G можно объединить бондингом в 20G, плюс любой приличный редактор обсчитает не только кубик, но и его освещение.
Да, про что вы там говорили?
dMetrius
17.12.2015 08:17+1«любой приличный редактор обсчитает не только кубик, но и его освещение.»
MOLAP, освещение кубика…
вы точно об одном и том же? )
Valle
17.12.2015 03:03А можно поподробнее про Sha-256?
eaa
17.12.2015 10:38Вот да, статья как-то не понятно о чем, но вот что случилось с sha256? Неужто распределение там неравномерное стало?
demitsuri
17.12.2015 10:48Хотя бы за данные по SHA256 не стоит сливать автора. Ему необходимо научиться писать статьи. И в качестве попытки реабилитации статья о неравномерности распределения хэшей подойдёт просто идеально. Даже если конечный результат будет «ой, я ошибся и поспешил с выводами».
yorko
17.12.2015 11:24Намедни подкатил к телке.
Возможно, у вас такое происходит каждый день, но я наконец-то смог)))))))))))))))
В деталях:
1. Прошёл 4 курса пикапа.
2. Изучил 17 тем для ice-breaking
3. Потратил 1856 рублей на напитки и еду.
При этом была обнаружена следующая проблема:
1. Мне не дали
Продолжаю работу…Aclz
17.12.2015 11:39Намедни подкатил к телке с темой «Функция хеширования «SHA256» произвела хеши с не равномерным распределением».
Invision70
wtf?
maximw
Скоро тут recovery mode и wtf станут синонимами.