Size: a a a

2020 August 19

ZM

ZLoyer Matveev in Data Engineers
Старый Хрыч
😂🤣ну это уже к заказчику, мы там пришли, это делао починили, получили свои 5к за 4 дня работы и ушли
Судя по описанию, вы ни черта не починили и даже не поняли как это работает.
источник

СХ

Старый Хрыч... in Data Engineers
ZLoyer Matveev
Судя по описанию, вы ни черта не починили и даже не поняли как это работает.
починили, мы правда потом их на другую бд перевели, убедили что hbse плохая идея под фронт базу
источник

A

Alex in Data Engineers
мне что-то рассказы хрыча про сциллу и что остальное всё плохое и не умеет работать напоминают анекдот
если бы у рыбы была шерсть
источник

АЖ

Андрей Жуков... in Data Engineers
Alex
мне что-то рассказы хрыча про сциллу и что остальное всё плохое и не умеет работать напоминают анекдот
если бы у рыбы была шерсть
скорее, про когда у вас в руках молоток
источник

UD

Uncel Duk in Data Engineers
у нее просто норм дизаен
источник

UD

Uncel Duk in Data Engineers
и этим молотком, при некоторой усидчивости можно и траву косить
источник

UD

Uncel Duk in Data Engineers
источник

A

Alex in Data Engineers
ну мы все тут понимаем что хадуп не нужен и обычный grep быстрее в 10000 раз
источник

UD

Uncel Duk in Data Engineers
а то
источник

UD

Uncel Duk in Data Engineers
источник

UD

Uncel Duk in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
все это условности, будем есть то что клауд провайдер дает
источник

AZ

Anton Zadorozhniy in Data Engineers
на ажуре редис кстати не ужасен
источник

AZ

Anton Zadorozhniy in Data Engineers
а вот elasticache не пробовал, не могу ничего сказать
источник

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
на ажуре редис кстати не ужасен
да он нигде не ужасен, если не воспринимать его как полноценную бд, все эти 100k от Хрыча, он дает на одном сервере с латентностью  10 ms  в 0.99 процентиле
источник

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
да он нигде не ужасен, если не воспринимать его как полноценную бд, все эти 100k от Хрыча, он дает на одном сервере с латентностью  10 ms  в 0.99 процентиле
я в курсе) именно про ажур, они периодически портят казалось бы простые штуки, но редис вроде не испортили
источник

PA

Panchenko Andrey in Data Engineers
коллеги привет.
есть вопрос, кто-то работает с cloud dataflow? или apache beam
может кто-то подсказать как реализовать флоу:
есть на вход стрим в виде жэйсон структуры
{
"app_name": <STRING>,
"event_action": <STRING>,
"event_category": <STRING>,
"event_value": <INT, NULLABLE>,
"user": {
"ident_1": <STRING, NULLABLE>,
"ident_2": <STRING, NULLABLE>
}
}
мне нужно генерить юид для одного из идент и деражать его в памяти чтобы потом приджоинить.
как это можно реализовать на биме?
источник

A

Alex in Data Engineers
Посмотрите state
источник

PA

Panchenko Andrey in Data Engineers
и где еще глянуть чтоб отправлять в базу пачкой по н штук обработанных записей, а не по времмени в окне
источник

A

Alex in Data Engineers
Global window?
источник