DZ
партиции
Size: a a a
2019 November 18
ME
Как решал: пронумеровал строки по миллионам: первый миллион имеет ноль, второй 1 и т.д. Далее сделал репартишен по этой колонке и сохранил
ME
Всё бы хорошо, но иногда получается коллизия хэшей и один-два файлика имели более миллиона строк(
ME
Пошёл дальше, конвертнул датафрейм в рдд, сделал кастомный партишенер, который гарантированно отправляет в разные партиции, но это вышло довольно медленно(
M
Пошёл дальше, конвертнул датафрейм в рдд, сделал кастомный партишенер, который гарантированно отправляет в разные партиции, но это вышло довольно медленно(
увы, вы будете постоянно упираться в проблемы с data locality
M
если требование "ровно миллион строк", то достаточно сложно сделать что-то быстрое имхо
ME
Скорее не более 1048576 строк в партиции
ME
Чот подумал, может потом тупо скриптик на питоне написать, который перелопатит эти файлики и склеит как надо))
ME
Или даже разделит те, где коллизия произошла
СХ
🙄что отвечать, если техдил на собесе говорит что кафка и кроль одинаково работают и разница ток в шине?
GP
🙄что отвечать, если техдил на собесе говорит что кафка и кроль одинаково работают и разница ток в шине?
Зависит от деталей разговора; высокоуровнево то что то что то очередь
dv
то что то что то
СХ
Зависит от деталей разговора; высокоуровнево то что то что то очередь
про поведение, если в очереди будет более 200 млн сообщений
GP
Ну типа очередь есть очередь - а Кафка / ребит это детали уже реализации
СХ
Ну типа очередь есть очередь - а Кафка / ребит это детали уже реализации
ну вот смотри, у тебя завис сервис который забирал данные из кафки\кроля, и ты его перезапустил
СХ
что будет с кролём а что будет с кафкой
A
а что с ними должно быть?
A
если не отправлял подтвержение в кроля об обработке или комит в кафку то вычитаешь повторно
GP
что будет с кролём а что будет с кафкой
что?