Size: a a a

2019 December 09

N

Nikolay in Data Engineers
У меня коллега делал . Вот буквально на прошлой нелеле
источник

LV

Lena Varlamova in Data Engineers
Simon Osipov
Мой вопрос был не про "сложно или просто", а: вам приходилось это делать в реальной работе на реальной задаче?
Я программист и это в реальной задаче не использовала. А вот искать цикл в графах приходилось.
источник

N

Nikolay in Data Engineers
Он файлы выкачивал
источник

LV

Lena Varlamova in Data Engineers
Nikita Blagodarnyy
чаще такие задачи объясняются тем, что нанимающий сам не очень отдупляет в область и не может спросить за понимание узких и широких зависимостей, а спросить что-то надо. вот он и нашел топ100 вопросов погромистам.
И эти топ 100 легко гугляться и заучиваются
источник

SO

Simon Osipov in Data Engineers
Nikolay
Он файлы выкачивал
И каким образом ему в данной проблеме понадобился обход деревьев?
источник

N

Nikolay in Data Engineers
Если кратко , то там прежде чем добраться до конечного файла нужно было получить его через дерево . Год /месяц/ и т.д, а если файла там не находилось , то нужно было скачать предыдущий на этом уровне .
источник

SO

Simon Osipov in Data Engineers
Nikolay
Если кратко , то там прежде чем добраться до конечного файла нужно было получить его через дерево . Год /месяц/ и т.д, а если файла там не находилось , то нужно было скачать предыдущий на этом уровне .
А разве pattern-matching тут не подошёл бы? Кажется на первый взгляд, что все довольно просто, если все имена подчиняются одному наименованию..
источник

ME

Max Efremov in Data Engineers
Nikolay
Если кратко , то там прежде чем добраться до конечного файла нужно было получить его через дерево . Год /месяц/ и т.д, а если файла там не находилось , то нужно было скачать предыдущий на этом уровне .
надо было s3 юзать))) Там всё по префиксу пути достаётся
источник

ME

Max Efremov in Data Engineers
А так я тоже что-то подобное делал, когда получаем листинг каталога, ищем что надо и идём дальше, но ИМХО это не работа с графом
источник

N

Nikolay in Data Engineers
Он каждый следующий уровень получал запросом
источник

R

Roman in Data Engineers
Simon Osipov
Мой вопрос был не про "сложно или просто", а: вам приходилось это делать в реальной работе на реальной задаче?
Ответ на ваш вопрос: "Нет, в моей практике не было."

Но это собес ведь. Вы были по ту сторону на собесах? Вот за час нужно понять насколько человек адекватен и подходит. И если было много профильных вопросов и лишь нескоько вот таких немного абстрактных, то мне кажется это нормальным вопросом.
источник

R

Roman in Data Engineers
Nikita Blagodarnyy
Ребя, кто-нибудь решал задачу формирования больших файловых он-деманд выгрузок? Типа как в ЯМетрике, запросил по API детальный лог, подождал полчасика, тебе csv-шечку выгрузили.
Интересует, есть ли какие-то стабильные решения, фреймворки, наработки, готовые комплексы и т.п. Чтобы все с нуля не писать-очереди заданий, шедулер, хартбиты от воркеров и т.п.
Сейчас такую штуку реализую. Немного искал готовые решения - ничего нормального не нашёл. Но не так чтобы сильно искал. В итоге делаю aws сервисы(api gateway, lambda, redshift).

Видел у одного трекера атрибуции подобное решение(ну как клиент видел). Думаю, что у них тоже все на aws стеке. Трекер называется tune(раньше, сейчас branch). Типа по api делаешь запрос, тебе выдаётся в ответе ссылка по которой можем проверять статус запроса. Когда запрос отрабатывает, то в ответе третья ссылка на сами данные.
источник

Ж

Жмака in Data Engineers
Всем привет! Когда ресторят снэпшот HBase на другом кластере , ресторится также такое же количество регионов и файлы раскидываются по регион серверам?
источник

K

KrivdaTheTriewe in Data Engineers
Ребят, го в джобс
источник

С

Сюткин in Data Engineers
Юзает кто tdch?
источник

K

KrivdaTheTriewe in Data Engineers
Сюткин
Юзает кто tdch?
А можно ссылку ?
источник

DZ

Dmitry Zuev in Data Engineers
terradata connector
источник

DZ

Dmitry Zuev in Data Engineers
к хадупу
источник

С

Сюткин in Data Engineers
Ага, есть вопросы, мб кто сможет немного проконсультировать в личке)
источник

K

KrivdaTheTriewe in Data Engineers
Сюткин
Ага, есть вопросы, мб кто сможет немного проконсультировать в личке)
Да лучше тут , у меня тут скуп в терадату назрел
источник