Потеря сообщений в данном случае не является проблемой.

Он сделает потом ре-диливери со следующей query из Postgres - в любом случае.

Я это затеял все внезапно, пару дней назад сообщение писал, мне указали на бэдпрактис по поводу того, что два сервиса у меня одну табличку читает))

Вот теперь с БД работает только один сервис,  и дальше уже по шине их пускает.

Потом из другой очереди принимает и грузит в базу

Как он сделает ре-диливери, если он пытается избегать дубликатов. Только если всю очередь вычитывать.

Да логично.

Забыл про этот важный момент 🙂

Но в любом случае, там три мода для ре-диливере reject, redelivery, redelivery once

Я не тестил еще как клиент работает на nodejs по этому вопросу.

У меня консумер на нем.

Но в Elixir все ок работало по той же схеме, с re-delivery.

Еще раз прочитал сообщение твое.

Вроде эти сообщения же не возвращаются к продюсеру, а просто в очередь скидываются обратно.

Почему вообще появилась идея использовать rabbit mq для такого взаимодействия?

Для меня всегда было очевидно что http requestresponce cycle обеспечивает back pressure из коробки

Сама идея «смотрим что там в очереди и если мало - подкладываем ещё» звучит как натягивание совы на глобус

В очередь надо запихивать все что есть

А потом уже думать что с этим делать

И скорее всего для обработки миллиона урлов лучше подходит Kafka а не rabbit

Согласен. К тому же, rabbitmq обычно берут когда нужно гарантировать доставку, если даже сервисы упадут

Привет!

Вопрос, есть какие-то в ecto проблемы с обновлением данных не связанных с тем, что хочешь обновить?

Т.е. загружаешь без preload-а данные и хочешь добавить одну ассоциацию - а он говорит:

** (RuntimeError) attempting to cast or change association something_unrelated from FooBar that was not loaded. Please preload your associations before manipulating them through changesets

При том по совершенно не связанной ассоциации. Т.е. по той, которую обновлять не планировал

Т.е. нужно всегда загружать preload-ы, даже если хочешь обновить поле, с ними никак не связанное, я правильно понимаю?