Size: a a a

2020 January 13

LV

Lena Varlamova in pro.flood
Дима Красилов
Spring Cloud DataFlow юзал кто?
Да
источник

LV

Lena Varlamova in pro.flood
Д д д
источник

AM

Aleksander Melnichnikov in pro.flood
Дима Красилов
это за штука вообще такая
ETL
источник

AM

Aleksander Melnichnikov in pro.flood
Это UI + инфраструктура над spring integration. Делаешь стримы данных, трансформируешь, куда--то записываешь
источник

AM

Aleksander Melnichnikov in pro.flood
В интерактивном UI и в коде своем.
источник

ДК

Дима Красилов in pro.flood
У меня щас задача кароч трансформировать данные из монги в монгу, поменять структуру документов массово.

Можно написать нативный скрипт на монго квери ленгведже, на жс-е кароч и просто выполнить его.

Можно было бы написать mongobee миграцию, но у меня не было этой херни в проекте и не нравится она мне.

А вот эта залупа подойдет мне?
Это че с помощью Спринг Дата Флоу я получается могу получить у себя единую точку входа для всех миграций, трансформаций данных и т.п. в своей инфраструктуре?
источник

ДК

Дима Красилов in pro.flood
Так получается?
источник

VG

Vladislav Golovatyi in pro.flood
Как часто вы видите даму в юбке?
источник

ДК

Дима Красилов in pro.flood
Типа когда мне надо будет переехать с монги на другое хранилище, этот спринг дата флоу будет для меня претти хэнди?
источник

AM

Aleksander Melnichnikov in pro.flood
Дима Красилов
Так получается?
Это как стрелять из БФГ по воробьям. Если поднять у себя всю инфру спринг дата флоу
источник

ДК

Дима Красилов in pro.flood
Понятно, что оверкилл. Там на самом деле в базе порядка 50 записей, их даже руками можно было бы поправить. Это просто реестр небольшой. Но энивей в будущем, если я не уволюсь, надо будет много всяких штук пересмотреть здесь
источник

AM

Aleksander Melnichnikov in pro.flood
Это целая инфра, требующая ЗК, шкипер сервер, сам датафлоу, и репозиторий с джарами в которых ты будешь свои джары деплоить
источник

AM

Aleksander Melnichnikov in pro.flood
и кафку
источник

AM

Aleksander Melnichnikov in pro.flood
/rabbitmq
источник

ДК

Дима Красилов in pro.flood
Мда ебать
источник

ДК

Дима Красилов in pro.flood
/kafka
источник

ДК

Дима Красилов in pro.flood
/rabbitmq
источник

AM

Aleksander Melnichnikov in pro.flood
Да - он юзает их как шину. Все общение, все стримы ходят через них
источник

Н

Никита🎄🎄 in pro.flood
/rabbitmq
источник

AM

Aleksander Melnichnikov in pro.flood
Грубо говоря, чтобы тебе трансформировать данные. Тебе нужно написать source который будет сосать данные в кафку
источник