Ребя, кто-нибудь решал задачу формирования больших файловых он-деманд выгрузок? Типа как в ЯМетрике, запросил по API детальный лог, подождал полчасика, тебе csv-шечку выгрузили.
Интересует, есть ли какие-то стабильные решения, фреймворки, наработки, готовые комплексы и т.п. Чтобы все с нуля не писать-очереди заданий, шедулер, хартбиты от воркеров и т.п.
Сейчас такую штуку реализую. Немного искал готовые решения - ничего нормального не нашёл. Но не так чтобы сильно искал. В итоге делаю aws сервисы(api gateway, lambda, redshift).
Видел у одного трекера атрибуции подобное решение(ну как клиент видел). Думаю, что у них тоже все на aws стеке. Трекер называется tune(раньше, сейчас branch). Типа по api делаешь запрос, тебе выдаётся в ответе ссылка по которой можем проверять статус запроса. Когда запрос отрабатывает, то в ответе третья ссылка на сами данные.