Телеграмм чат группы hadoopusers страница 2835

2020 October 02

DT

Denis Tsvetkov in Data Engineers

2020 October 05

VK

Vladimir K. in Data Engineers

Всем привет) Есть гуру debezium'а?
Подскажите, пожалуйста, можно ли как-то в существующий коннектор добавить новую таблицу так, чтобы для неё сделался снапшот и она начала подтягивать данные?
При обновлении коннектора (добавлении новой таблицы в whitelist) ничего не происходит

источник

13:24пожаловаться #2

R

Renarde in Data Engineers

Vladimir K.

Всем привет) Есть гуру debezium'а?
Подскажите, пожалуйста, можно ли как-то в существующий коннектор добавить новую таблицу так, чтобы для неё сделался снапшот и она начала подтягивать данные?
При обновлении коннектора (добавлении новой таблицы в whitelist) ничего не происходит

Я не совсем гуру дебезиума, но по моему после обновления нужно рестартануть коннектор

источник

13:37пожаловаться #3

VK

Vladimir K. in Data Engineers

Renarde

Я не совсем гуру дебезиума, но по моему после обновления нужно рестартануть коннектор

Да, пробовал. Я останавливал коннектор (pause), потом обновлял конфиг коннектора и стартовал его. В конфиге новая таблица есть, а в топиках нет

источник

13:37пожаловаться #4

MK

Mikhail Kumachev in Data Engineers

Уже точно не помню, но когда я докидывал таблицы, потом делал явный рестарт тасок.

источник

13:45пожаловаться #5

R

Roman in Data Engineers

Всем привет.
Подскажите, пожалуйста, в дистрибутиве cloudera можно как то засабмиттить спарк джобу удаленно через рест апи?

источник

14:17пожаловаться #6

АЖ

Андрей Жуков... in Data Engineers

через rest api - это через livy, что ли?

источник

14:17пожаловаться #7

R

Roman in Data Engineers

Андрей Жуков

через rest api - это через livy, что ли?

вообще в интернете пишут что у самого спарка есть рест апи, но я что то не понял как им пользоваться и есть ли он вообще в дстрибутиве клаудеры. Если можно через livy, то как это сделать через livy

источник

14:19пожаловаться #8

АЖ

Андрей Жуков... in Data Engineers

Roman

вообще в интернете пишут что у самого спарка есть рест апи, но я что то не понял как им пользоваться и есть ли он вообще в дстрибутиве клаудеры. Если можно через livy, то как это сделать через livy

https://docs.cloudera.com/runtime/7.0.1/running-spark-applications/topics/spark-submitting-applications-using-livy.html

Cloudera

Submitting Spark applications using Livy

Apache Livy is a Spark service that allows local and remote applications to interact with Apache Spark over a REST interface.

источник

14:20пожаловаться #9

АЖ

Андрей Жуков... in Data Engineers

в интернете, конечно, пишут разное

источник

14:20пожаловаться #10

AZ

Anton Zadorozhniy in Data Engineers

есть еще вот этот друг (но ливи лучше) https://github.com/spark-jobserver/spark-jobserver/

GitHub

spark-jobserver/spark-jobserver

REST job server for Apache Spark. Contribute to spark-jobserver/spark-jobserver development by creating an account on GitHub.

источник

14:26пожаловаться #11

R

Roman in Data Engineers

благодарю

источник

14:27пожаловаться #12

2020 October 06

ПБ

Повелитель Бури... in Data Engineers

Vladimir K.

Всем привет) Есть гуру debezium'а?
Подскажите, пожалуйста, можно ли как-то в существующий коннектор добавить новую таблицу так, чтобы для неё сделался снапшот и она начала подтягивать данные?
При обновлении коннектора (добавлении новой таблицы в whitelist) ничего не происходит

Нельзя. Только создать новый коннектор

источник

09:05пожаловаться #13

VK

Vladimir K. in Data Engineers

Повелитель Бури

Нельзя. Только создать новый коннектор

А можно как-то создать новый коннектор и перенести в него таблицы из старого? Чтобы не иметь два коннектора на одну и ту же репликацию

источник

09:15пожаловаться #14

ПБ

Повелитель Бури... in Data Engineers

Vladimir K.

А можно как-то создать новый коннектор и перенести в него таблицы из старого? Чтобы не иметь два коннектора на одну и ту же репликацию

Вроде нет. Чтобы этого избежать я делаю 1 таблица 1 коннектор

источник

10:59пожаловаться #15

E

El-Yaz in Data Engineers

Oleksandr Averchenko

Эх салага. Закентуйся с лидами и менеджерьем. Часто есть потребность что то сделать но брать дополнительного человека нецелесообразно.
Какие то микропроекты.

сказали, что такого нема(

источник

14:25пожаловаться #16

E

El-Yaz in Data Engineers

Oleksandr Averchenko

Эх салага. Закентуйся с лидами и менеджерьем. Часто есть потребность что то сделать но брать дополнительного человека нецелесообразно.
Какие то микропроекты.

ну или если есть, то оч редко, мол надеятся не стоит((

источник

14:26пожаловаться #17

RY

Ruslan515 Y in Data Engineers

Добрый день. Прошу помочь с соединением с mssql через linux. все перепробовал - ничего не помогает

источник

14:29пожаловаться #18

DZ

Dmitry Zuev in Data Engineers

Какие проблемы то?

источник