В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

3187 membersпожаловаться на группу
2021 September 23

h

helby in Data Engineers
Тут опроса нету еще
источник
13:56пожаловаться#1

Н

Никита in Data Engineers
Всем привет, а кто-нибудь может рассказать, как вы качаете данных в своих компаниях?
Я вот качаю из разных БД, но часто мои скрипты ломаются, потому-что то база перееедет на другой хост, то поле поменяется, поэтому мне все время предлагают качать с API методов, но из базы так удобно и быстрее...
Как бороться с не надежным импортом из БД
источник
14:05пожаловаться#2

ЕГ

Евгений Глотов... in Data Engineers
Всякие конфиги вынести в жЫсоны, и алерты вешать
источник
14:07пожаловаться#3

T

T in Data Engineers
Продругой хост просто по DNS ходить а не по ип
источник
14:07пожаловаться#4

T

T in Data Engineers
Про схему, можно сначала схему валидироовать а потом уже данные забирать
источник
14:07пожаловаться#5

ЕГ

Евгений Глотов... in Data Engineers
Если поменялась схема, то это в любом случае дополнительная работа
источник
14:08пожаловаться#6

T

Tishka17 in Data Engineers
У нас владельцы сервиса, использующего базу, писали в кафку все что надо. Формат фиксировался и был отвязан от структуры бд
источник
14:08пожаловаться#7

ЕГ

Евгений Глотов... in Data Engineers
Хреновая тема, так без данных можно остаться
источник
14:08пожаловаться#8

ЕГ

Евгений Глотов... in Data Engineers
Надо забрать в инбокс, а дальше уже схему разгребать
источник
14:08пожаловаться#9

T

T in Data Engineers
Это смотря какие у них процессы
источник
14:08пожаловаться#10

ЕГ

Евгений Глотов... in Data Engineers
Да везде одинаковые процессы - поменяли схему и не предупредили
источник
14:09пожаловаться#11

ЕГ

Евгений Глотов... in Data Engineers
sticker.webp
(36.86 Кб)
источник
14:09пожаловаться#12

VP

Vitaly Pismarev in Data Engineers
CDC, RO реплики. Складываем куда-нить as is и потом валидируем
источник
14:10пожаловаться#13

В

Вадим in Data Engineers
sticker.webp
(17.94 Кб)
источник
14:11пожаловаться#14

Н

Никита in Data Engineers
да я по dns хожу, он тоже меняется
источник
14:14пожаловаться#15

Н

Никита in Data Engineers
ну из того что вы сказали, я тоже думал про алерты, которые делают таск в жире например
источник
14:15пожаловаться#16

VP

Vitaly Pismarev in Data Engineers
Обычно о таких вещах уведомляют
источник
14:15пожаловаться#17

AZ

Anton Zadorozhniy in Data Engineers
Только это не имеет отношения к «качеству данных», как его обычно понимают в индустрии
источник
14:22пожаловаться#18

Н

Никита in Data Engineers
да я про качество и не говорил  *надежность*
источник
14:25пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
Пардон, это я читаю между строк (того что никто не писал)
источник
14:29пожаловаться#20