Size: a a a

2021 November 07

Д

Дмитрий in Data Engineers
Только у нового чехла магнит и он плохо влияет.
источник

Д

Дмитрий in Data Engineers
Но это все баловство, только мел и зеленое поле 👍
источник

ЕГ

Евгений Глотов... in Data Engineers
Или маркер и белое)
источник

Д

Дмитрий in Data Engineers
Тогда стилус в виде кия не вкатит 🤣
источник
2021 November 08

РД

Роман Друзык... in Data Engineers
Всем привет!
Вопрос на ночь глядя, хотя я сам уже спать пошел
Как заставить работать кафка стриминг в режиме мультитрейдинга в ассинхронном режиме?
Например вот такой вот кусок кода:

val nConsumers: Int = 4
val consumerList: IndexedSeq[KafkaConsumer[String, String]] = Range(0, nConsumers).map(x => consumer)
while(true){
   val futuresList: List[Future[TrieMap[String, TrieMap[String, String]]]] = consumerList.map(x => Future{getKafkaData(resultMap, x)}).toList
   val listFutures: Future[List[TrieMap[String, TrieMap[String, String]]]] = Future.sequence(futuresList)
   Await.result(listFutures, concurentDuration("60 seconds"))
}

Причем запуская этот код в джупитере, я наблюдаю как он прекрасно работает, обгоняя сильно очень толстый по трафику топик, НО запуская этот же код в собранном джарнике ловлю ошибку что кафка не умеет в мультитрединге
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
источник

T

T in Data Engineers
Привет, а кто какие либо для анализа и парсинга SQL использует, я обычно юзают JSqlParser. Но вдруг кто то знает получше что-то?
Задача простая попарсить не сколько сотен гигов SQL и вытащить от туда условия для where, в виде таблица  колонка значение
источник

O

Oleg in Data Engineers
регулярки не достаточно?
источник

N

Nikita Blagodarnyy in Data Engineers
кальцит не?
источник

T

T in Data Engineers
Кальцит уже будет слишком оверинженириг для этой задачи
источник

T

T in Data Engineers
Не, хочется потом иметь возможность расширять функционал, делать это на регулярках все равно что сразу себя в могилу закопать
источник

AE

Alexey Evdokimov in Data Engineers
ANTLR?
источник

AE

Alexey Evdokimov in Data Engineers
Грамматику описать дело двух минут, потом where_clause.getText()
источник

T

T in Data Engineers
Погляжу спасибо
источник

DZ

Dmitry Zuev in Data Engineers
какой движок?
источник

T

T in Data Engineers
Hive SQL. Мне их не надо ни где ранить или изобретать свой бэкенд, просто хочу сделать базовую аналитику. У меня миллиард команд кто использует данные я хочу для первого предложения посмотреть по каким полям и значениям они фильтруют
источник

AE

Alexey Evdokimov in Data Engineers
На гитхабе полно готовых грамматику если чё
источник

T

T in Data Engineers
Сейчас у меня не сколько сотен гигов SQL и идея взять JSqlParser прикрутить к спарку и попарсить все это быстренько
источник

AE

Alexey Evdokimov in Data Engineers
Ну вот LR парсер под это дело подходит. Флексом точно сложнее будет, на регулярках даже пытаться не стоит
источник

T

T in Data Engineers
Да я ещё не настолько безумен чтобы на регулярках такое писать
источник

NN

No Name in Data Engineers
Напиши потом, как пройдет
источник