Size: a a a

2020 September 29

DZ

Dmitry Zuev in Data Engineers
При чем тут ттл
источник

DZ

Dmitry Zuev in Data Engineers
Dmitriy Novikov
Всем привет, такой вопрос, я только начал работать с RabbitMQ и не до конца понимаю, у меня есть продюсер который пишет данные в очередь где ttl стоит 1 минута, и 3 консьюмера, и когда я первым подключаюсь то он загружает всю очереб сообщений, а когда вторым то только новые сообщения, это ожмдаемое поведение или я tupoy?
Какого ack отправляете?
источник

DN

Dmitriy Novikov in Data Engineers
Dmitry Zuev
Ожидаемое офк
я tupoy. Ок спасибо
источник

DZ

Dmitry Zuev in Data Engineers
Так в чем дело то?
источник

AS

Andrey Smirnov in Data Engineers
Dmitriy Novikov
Всем привет, такой вопрос, я только начал работать с RabbitMQ и не до конца понимаю, у меня есть продюсер который пишет данные в очередь где ttl стоит 1 минута, и 3 консьюмера, и когда я первым подключаюсь то он загружает всю очереб сообщений, а когда вторым то только новые сообщения, это ожмдаемое поведение или я tupoy?
в раббите все чуть сложнее, ты пишешь не в очередь, а в excahange, и его поведение(тип) уже определяет как будут обрабатываться сообщения в очереди
https://www.rabbitmq.com/tutorials/tutorial-three-java.html
источник

DZ

Dmitry Zuev in Data Engineers
Andrey Smirnov
в раббите все чуть сложнее, ты пишешь не в очередь, а в excahange, и его поведение(тип) уже определяет как будут обрабатываться сообщения в очереди
https://www.rabbitmq.com/tutorials/tutorial-three-java.html
Это не обязательно
источник

DN

Dmitriy Novikov in Data Engineers
ок почитаю, спасибо товарищи!
источник

AS

Andrey Smirnov in Data Engineers
Dmitry Zuev
Это не обязательно
что именно не обязательно:
The core idea in the messaging model in RabbitMQ is that the producer never sends any messages directly to a queue. Actually, quite often the producer doesn't even know if a message will be delivered to any queue at all.

если не указывается при отправке exchange, значит используется стандартный с роутингом имени очереди
источник

DZ

Dmitry Zuev in Data Engineers
RabbitMQ tutorial - Work Queues — RabbitMQ
https://www.rabbitmq.com/tutorials/tutorial-two-python.html
источник

DZ

Dmitry Zuev in Data Engineers
Andrey Smirnov
что именно не обязательно:
The core idea in the messaging model in RabbitMQ is that the producer never sends any messages directly to a queue. Actually, quite often the producer doesn't even know if a message will be delivered to any queue at all.

если не указывается при отправке exchange, значит используется стандартный с роутингом имени очереди
Я видимо с чем-то перепутал.
источник

AS

Andrey Smirnov in Data Engineers
Dmitry Zuev
Я видимо с чем-то перепутал.
возможно,
посмотрел вторую часть, они приводят пример
channel.basic_publish(exchange='',routing_key='hello',body=message)
но только в 3-ей части описывают составные части.
Раньше у них вроде было лучше доки, они сразу все описывали схему и приводили примеры, но видимо получился слишком длинный текст, его поколению nodejs было не осилить, разбили на части.
Я в свое время много работал с раббитом, одно только восстановление таблиц mnesia после падения кролика чего стоило, но зато пропала слепая вера в кучу девяток от эрланга
источник

R

Rodion in Data Engineers
Кто-то тут смотрит Graph+AI?
есть успешные водители графовых бд на проде, или никто не извращался?
источник

N

Nikita Blagodarnyy in Data Engineers
ну как вспомогайка Neo4j есть
источник

N

Nikita Blagodarnyy in Data Engineers
в чем вопрос-то?
источник

AZ

Anton Zadorozhniy in Data Engineers
есть даже вендоры аналитических СУБД с графовыми функциями))
источник

R

Rodion in Data Engineers
Nikita Blagodarnyy
в чем вопрос-то?
просто стало интересно, использует ли кто-то эту технологию на больших проектах, али нет.
источник

R

Rodion in Data Engineers
Nikita Blagodarnyy
ну как вспомогайка Neo4j есть
вспомогайка для аналитики?
источник

N

Nikita Blagodarnyy in Data Engineers
Rodion
вспомогайка для аналитики?
для говернанса
источник

R

Rodion in Data Engineers
Nikita Blagodarnyy
для говернанса
фига. звучит прикольно
источник
2020 September 30

VK

Vladimir K. in Data Engineers
Всем привет) Настроил CDC из PostgreSQL в Kafka с помощью debezium для одной таблицы. Решил посмотреть занимаемые объёмы и немного опешил. В пг таблица занимает 43 МБ, а в кафке топик 2.9 ГБ. Я, конечно, понимал, что в джсон хранится куча дополнительной инфы, но такая разница немного пугает...
Что можно сделать, чтобы её уменьшить? Может настроил что-то не так? По количеству записей всё совпадает
источник