Телеграмм чат группы hadoopusers страница 2658

2020 August 24

RY

Так лучше, если тебе скажут фреймворки и используемые продукты. А так можно надрачивать ansi sql, а по приходу ткнут носом в spark dataset api

PostgreSQL. Тогда по ней поискать инфу?

источник

17:11пожаловаться #1

RY

Ruslan515 Y in Data Engineers

Irina Kamalova

у Касандры есть бесплатный видео лекции о том, как она устроена
c Elastic можно просто поставить в докере и пононять запросы,чтобы быть френдли с семантикой

Спасибо

источник

17:11пожаловаться #2

СХ

Старый Хрыч... in Data Engineers

Irina Kamalova

у Касандры есть бесплатный видео лекции о том, как она устроена
c Elastic можно просто поставить в докере и пононять запросы,чтобы быть френдли с семантикой

лучше сразу по сцилле смотреть, а эластик не так прост чтобы тупо по докеру понять, эластик тот ещё садист

источник

17:15пожаловаться #3

AS

Andrey Smirnov in Data Engineers

Старый Хрыч

лучше сразу по сцилле смотреть, а эластик не так прост чтобы тупо по докеру понять, эластик тот ещё садист

охриненный совет, на работе используют кассандру, но ты учи сциллу, потому что она нравится хрычу

источник

17:22пожаловаться #4

AS

Andrey Smirnov in Data Engineers

по кассандре была недавно ссылка на бесплатную книгу от o'reilly

источник

17:23пожаловаться #5

AS

Andrey Smirnov in Data Engineers

https://www.datastax.com/resources/ebook/oreilly-cassandra-definitive-guide
надо только оставить свой емайл :)

Datastax

Cassandra: The Definitive Guide - 3rd Edition | O'Reilly

Read about the latest trends and forward-thinking around the needs of modern application development.

источник

17:25пожаловаться #6

GP

Grigory Pomadchin in Data Engineers

Irina Kamalova

у Касандры есть бесплатный видео лекции о том, как она устроена
c Elastic можно просто поставить в докере и пононять запросы,чтобы быть френдли с семантикой

+, хорошая рекомендация

источник

17:34пожаловаться #7

GP

Grigory Pomadchin in Data Engineers

кассандра тоже в докере поднимается одной командой, для первой попытки хватит

источник

17:35пожаловаться #8

t

tenKe in Data Engineers

Андрей Жуков

Так лучше, если тебе скажут фреймворки и используемые продукты. А так можно надрачивать ansi sql, а по приходу ткнут носом в spark dataset api

в рдд стриминг на 1.5 на джаве

источник

19:21пожаловаться #9

t

tenKe in Data Engineers

sticker.webp

(18.78 Кб)

источник

19:22пожаловаться #10

t

tenKe in Data Engineers

по сабжу - спроси какие фреймворки используются и че тебе делать надо будет - в ластики и кассандры можно ходить мильеном способов

источник

19:26пожаловаться #11

АЖ

Андрей Жуков... in Data Engineers

tenKe

в рдд стриминг на 1.5 на джаве

Ну штош, пер аспера ад астра

источник

20:45пожаловаться #12

神

神風 in Data Engineers

Всем привет. Spark structured streaming 2.4. Eсть шанс, что jdbc sink через foreachBatch а-ля df.write().format(jdbc)... в SaveMode.Append будет писать в режиме exactly once?

источник

22:03пожаловаться #13

t

tenKe in Data Engineers

нет

источник

23:36пожаловаться #14

2020 August 25

Ж

Жмака in Data Engineers

Привет! Как можно зарегистрировать в скале кейс классы в kryo через java Reflections? Не получается создать Array[Class[_] ]

источник

10:58пожаловаться #15

t

tenKe in Data Engineers

Жмака

Привет! Как можно зарегистрировать в скале кейс классы в kryo через java Reflections? Не получается создать Array[Class[_] ]

spark.kryo.classesToRegister [Lorg.apache.spark.sql.types.StructType

источник

11:15пожаловаться #16

Ж

Жмака in Data Engineers

tenKe

spark.kryo.classesToRegister [Lorg.apache.spark.sql.types.StructType

Мне нужно создать массив классов из определенного пакета (таких несколько). В каждом кейс класс.

источник

11:17пожаловаться #17

t

tenKe in Data Engineers

ок создавай

источник

11:22пожаловаться #18

GP

Grigory Pomadchin in Data Engineers

Жмака

Мне нужно создать массив классов из определенного пакета (таких несколько). В каждом кейс класс.

Не понятно что хочешь

источник

14:06пожаловаться #19

Ж

Жмака in Data Engineers

Grigory Pomadchin

Не понятно что хочешь

У меня есть пакет в котором много кейс классов. Вместо того, чтобы вручную их писать в регистрации kryo в конфиге спарка я пытаюсь через reflections получить массив из этих классов и этот массив сунуть в регистрацию kryo. И созданный массив не получается привести к скаловскому Array[Class[_]]

источник

14:09пожаловаться #20