Size: a a a

2019 November 22

K

KrivdaTheTriewe in Data Engineers
И работайте
источник

MH

Mr. Heisenberg in Data Engineers
Всем привет. Нужно из MySQL в postgresql онлайн переливать данные как это сделать более стандартными методами, python или Scala
источник

DZ

Dmitry Zuev in Data Engineers
Сразу вспоминается поделка Лапшина
источник

GT

Gennady Timofeev in Data Engineers
Eduard Vlasov
угу в udaf все без проблем делается, но тяжеловато сопровождать это, а голый sql - медленно :(
Не очень понятно, что с повторяющимися событиями, но если события разорваны (между А и Б возможно В), то после пронумеровки сделать фильтр на номер Б строго больше А, например. Если события неразорваны, вообще лид-лагом можно🤔
источник

N

Nikita Blagodarnyy in Data Engineers
Mr. Heisenberg
Всем привет. Нужно из MySQL в postgresql онлайн переливать данные как это сделать более стандартными методами, python или Scala
CDC-поля(если возможно) в мускуле, на них btree индексы. Потом любой етл, если хотите квадратики со стрелочками, pentaho или talend, хотите самопис-spring batch либо петон какой-то, pandas+sql alchemy.
источник
2019 November 23

AK

Andrei Kravz in Data Engineers
подскажите бесплатное api для распознавания лиц и эмоций, если такое есть..
источник

ME

Max Efremov in Data Engineers
источник

ME

Max Efremov in Data Engineers
1000 минут видео в месяц бесплатно, 5000 изображений, хранение 1000 лиц
источник

ME

Max Efremov in Data Engineers
Если есть free tier
источник

MH

Mr. Heisenberg in Data Engineers
Nikita Blagodarnyy
CDC-поля(если возможно) в мускуле, на них btree индексы. Потом любой етл, если хотите квадратики со стрелочками, pentaho или talend, хотите самопис-spring batch либо петон какой-то, pandas+sql alchemy.
А онлайн как сделать, каждую секунду запускать?
источник

N

Nikita Blagodarnyy in Data Engineers
Смотря как вам надо.
источник

ДД

Дмитрий Демитов in Data Engineers
Кто-нибудь в курсе почему после обновления Firefox авторизация сломалась?
Настройки не менялись, а после обновления пишет 401 ошибку
источник

MH

Mr. Heisenberg in Data Engineers
Nikita Blagodarnyy
Смотря как вам надо.
Надо онлайн. По дате забирать или по id событию ?
источник

N

Nikita Blagodarnyy in Data Engineers
Mr. Heisenberg
Надо онлайн. По дате забирать или по id событию ?
Если id монотонно возрастает, большой разницы нет. Что для одного, что для второго нужно где-то запомнить последнее забранное.
источник

N

Nikita Blagodarnyy in Data Engineers
NiFi, кстати, при заборе из бд умеет сам запоминать значение поля выделения инкремента
источник

RF

Ruslan Fialkovsky in Data Engineers
Добрый вечер.  Подскажите пожалуйста, кто-нибудь пробовал настраивать knox ldap для gremlin server?
источник

RF

Ruslan Fialkovsky in Data Engineers
или эта тема не совсем по формату группы?
источник

S

Stanislav in Data Engineers
Ruslan Fialkovsky
Добрый вечер.  Подскажите пожалуйста, кто-нибудь пробовал настраивать knox ldap для gremlin server?
А зачем нокс? Обычным апачем/нжинксом не закрыть?
источник

L

Luigi in Data Engineers
источник
2019 November 25

A

Alexander in Data Engineers
Коллеги, а можно ли в oozie каким-то образом триггерить воркфлоу одновременно через датасет и время. Например, мы ждём появления датасета в определённом интервале времени. Если ничего не появилось, то все равно выполняем воркфлоу по окончании этого интервала
источник