Size: a a a

2020 September 04

А

Алексей in Data Engineers
а тут считай уникальный контент
источник

А

Алексей in Data Engineers
только плохо структурированы
источник

A

Alex in Data Engineers
Ну слек индексацию неоднократно нарывался, но вот телеграм думаю не делают так как прямую линку сложно выдать
источник

DZ

Dmitry Zuev in Data Engineers
Алексей
эх, чую засохнут все такие форумы, и будет не найти никаких ответов в гугле через пару лет
этот пусть сохнет
источник

А

Алексей in Data Engineers
в разделе oracle много спецов, только все злые какие-то)
источник

AS

Andrey Smirnov in Data Engineers
Alex
Ну слек индексацию неоднократно нарывался, но вот телеграм думаю не делают так как прямую линку сложно выдать
а что сложного?
https://t.me/hadoopusers/63897
источник

A

Alex in Data Engineers
И чтобы посмотреть просит в браузере запустить клиента
источник

TM

Toemik Mnemonic in Data Engineers
Старшие товарищи , нужен совет . Есть задача читать данные (пока что .csv) в pd.DataFrame там преобразовывать и из  DataFrame отправлять в хранилище . Но отправлять не бакетом, а построчный insert. Сейчас псевдостриминг организован через цикл отправляющий каждую строку в хранилище . Эта штука мягко говоря не внушает доверия в плане производительности . Собственно вопрос : как можно без привлечения элементов spark/Hadoop стэка организовать нормальный стриминг из pandas?
источник

ПБ

Повелитель Бури... in Data Engineers
я парсил бекап из  телеге парсил в базу чтобы инфа не терялась
источник

ПБ

Повелитель Бури... in Data Engineers
Toemik Mnemonic
Старшие товарищи , нужен совет . Есть задача читать данные (пока что .csv) в pd.DataFrame там преобразовывать и из  DataFrame отправлять в хранилище . Но отправлять не бакетом, а построчный insert. Сейчас псевдостриминг организован через цикл отправляющий каждую строку в хранилище . Эта штука мягко говоря не внушает доверия в плане производительности . Собственно вопрос : как можно без привлечения элементов spark/Hadoop стэка организовать нормальный стриминг из pandas?
я такую штуку сделал через nifi )
источник

AS

Andrey Smirnov in Data Engineers
Alex
И чтобы посмотреть просит в браузере запустить клиента
но сообщение полностью показывает
источник

TM

Toemik Mnemonic in Data Engineers
Повелитель Бури
я такую штуку сделал через nifi )
Ну вот да , первое что приходит в голову ))
источник

ПБ

Повелитель Бури... in Data Engineers
Toemik Mnemonic
Ну вот да , первое что приходит в голову ))
берите не пожалеете ну или airflow )
источник

TM

Toemik Mnemonic in Data Engineers
Повелитель Бури
берите не пожалеете ну или airflow )
Вас понял , услышал ))
источник

D

Dima in Data Engineers
Чет на форуме пост мне кажется избыточно ради уточнения писать.

WHERE выполняется перед GROUP BY или после?)
источник

AZ

Anton Zadorozhniy in Data Engineers
Dima
Чет на форуме пост мне кажется избыточно ради уточнения писать.

WHERE выполняется перед GROUP BY или после?)
Одновременно)
источник

А

Алексей in Data Engineers
Dima
Чет на форуме пост мне кажется избыточно ради уточнения писать.

WHERE выполняется перед GROUP BY или после?)
а вам как хотелось бы?
источник

DZ

Dmitry Zuev in Data Engineers
Повелитель Бури
берите не пожалеете ну или airflow )
при чем тут это всё?
источник

D

Dima in Data Engineers
Алексей
а вам как хотелось бы?
Я просто хочу без джоинов обойтись,
select uid from table where name!=signal1 group by uid. в больном воображении запрос должен отсеять все записи где name равен сигналу, при условии что uid на самом деле встречается с  name равным условно signal1 и signal2 и signal3.
источник

D

Dima in Data Engineers
Если груп срабатывает до where то отсеять должен
источник