да он частично написан уже у меня, просто не собран в кучу. там же и всё остальное моё поделие. пилю щас запись в паркет, заодно и эту болячку хочу пофиксить

будет через пару недель отдельная утилита, чтобы писать в/из емровского хдфса через все нативные filesystem и типа "плагины" как раз на пару сотен строк. jdbc, чужие s3, и всё пока. был ещё аэроспайк, но ушёл в историю.

изначальная цель была заменить dist-cp, а щас эта штука уже стала поинтереснее. по крайней мере, сильно быстрее, и умеет сливать паркеты

Всем привет. Вопрос по возможной архитектуре, которую сейчас обсуждаем в компании. Есть на данный момент питоновские воркеры, которые подключаются с токенами к 7000 аккаунтам. Данных немного (несколько 10 тысяч строк). Время ограниченно 15-ю минутами для каждого батча. Под кубернетеса обслуживают эти воркеры питона. Необходимо улучшить архитектуру, чтобы уложиться в 15 минут. Кто то сталкивался с подобным? Поделитесь опытом и идеями
🙂

Только сегодня читал статью, что в задаче перформанса все почему-то придумывают новые слои виртуализации, вместо того , что бы выкинуть лишнее

А из за чего сейчас не укладывается? Данные из веков можно получать параллельно или они связаны?

Параллельно. Вопрос как архитектурно правильно создать инфраструктуру, которая позволит параллельно подключаться к 7000 аккаунтам и вытягивать данные.

всем привет
Господа, а кто-то видел опенсорс сборку scylladb с ldap?

всем привет. кто-то сталкивался с ошибкой Exception in thread "main" java.lang.ExceptionInInitializerError?

А 7к это фиксированное число или будет варьироваться? Сколько уходит времени на 1 акк?

Будет варьироваться. На данный момент количество аккаунтов не увеличивается, поэтому около 7 тысяч. По времени в среднем по 15 минут на аккаунт но есть пики когда больше. Установили максимум 15 минут на аккаунт: получение токена из редиса, подключение к аккаунту, получение данных, обогащение и сохранение в дата сторе

Всем привет, есть у кого-то опыт в проде с Apache Phoenix?

Есть.

Понял, идейно над простой мэпер сделать. Как это делать в контексте куба не знаю 😂 но наверное просто вы читать аки из базы нарезать их на чанки и подкаждый чанк наплодить подов

Тут не одна база, а 7000 источников-аккаунтов, точнее 7000 endpoints

пускай вам выкладывают

Невозможно

А откуда приходит количество акков?

Как ты получаешь эти 7к ендпоинтов ?

ну стандартные мап-редюс задачи делают || загрузку из источника

можно сделать ручные асинхронные задачи для запуска скриптов на любом языке

а базенка то выдержит одномоментных 7 тыс выгрузок ?

мне кажется что для обработки 20 потоков нужен будет один камень, т.е.нужно будет арендовать  кластер из 350 камней на 15 минут

Это просто аккаунты твиттера, фейсбука, api. Они просто записаны в базе