NB
внизу How to use?
Size: a a a
2020 July 27
NB
почитай
NB
там вообще изи по идее
MM
Всем привет, кто работал с телеграм ботами, как получить текст из сообщения пользователя, после ввода команды?
2020 July 28
EB
на сервак приходит месседж, в нём и текст с остальными параметрами
EB
что за вопрос)
A
сап чатик, я упоролся и хочу каким-то образом в rails app трекать в миграциях не только изменения структуры и данных БД, но и вести там же изменения для Kafka кластера (создание топиков, миграция avro схем итд) чтобы код со стейтом кафки был в синхроне.
Есть тут те кто задавался подобным вопросом, и если есть - как решали? Может, я не вижу каких-то очевидных решений на поверхности?
Условно, вот представьте что у меня в фича ветке есть код который будет продюсером неких данных в Kafka, с ним связано выделение отдельного топика и создание avro схемы для валидации отправляемых сообщений. Я хочу сделать так чтобы в коде фича бранче были миграции на создание топика и схемы.
Есть тут те кто задавался подобным вопросом, и если есть - как решали? Может, я не вижу каких-то очевидных решений на поверхности?
Условно, вот представьте что у меня в фича ветке есть код который будет продюсером неких данных в Kafka, с ним связано выделение отдельного топика и создание avro схемы для валидации отправляемых сообщений. Я хочу сделать так чтобы в коде фича бранче были миграции на создание топика и схемы.
A
И чтобы я потом мог в том жe CircleCI или каком-нибудь Gitlab CI поднять себе кафка брокер и schema registry в докер контейнерах, прогнать миграции и например запустить тестики на готовой инфраструктуре
SP
сап чатик, я упоролся и хочу каким-то образом в rails app трекать в миграциях не только изменения структуры и данных БД, но и вести там же изменения для Kafka кластера (создание топиков, миграция avro схем итд) чтобы код со стейтом кафки был в синхроне.
Есть тут те кто задавался подобным вопросом, и если есть - как решали? Может, я не вижу каких-то очевидных решений на поверхности?
Условно, вот представьте что у меня в фича ветке есть код который будет продюсером неких данных в Kafka, с ним связано выделение отдельного топика и создание avro схемы для валидации отправляемых сообщений. Я хочу сделать так чтобы в коде фича бранче были миграции на создание топика и схемы.
Есть тут те кто задавался подобным вопросом, и если есть - как решали? Может, я не вижу каких-то очевидных решений на поверхности?
Условно, вот представьте что у меня в фича ветке есть код который будет продюсером неких данных в Kafka, с ним связано выделение отдельного топика и создание avro схемы для валидации отправляемых сообщений. Я хочу сделать так чтобы в коде фича бранче были миграции на создание топика и схемы.
# config/initializers/kafka_setup.rb
create_topic ...
check_schema_exists
....
можно так
SP
т.е. в initializers кладешь скрипт который проверяет что топики есть и создает если надо и avro схемы проверяет и создает если что
AD
сап чатик, я упоролся и хочу каким-то образом в rails app трекать в миграциях не только изменения структуры и данных БД, но и вести там же изменения для Kafka кластера (создание топиков, миграция avro схем итд) чтобы код со стейтом кафки был в синхроне.
Есть тут те кто задавался подобным вопросом, и если есть - как решали? Может, я не вижу каких-то очевидных решений на поверхности?
Условно, вот представьте что у меня в фича ветке есть код который будет продюсером неких данных в Kafka, с ним связано выделение отдельного топика и создание avro схемы для валидации отправляемых сообщений. Я хочу сделать так чтобы в коде фича бранче были миграции на создание топика и схемы.
Есть тут те кто задавался подобным вопросом, и если есть - как решали? Может, я не вижу каких-то очевидных решений на поверхности?
Условно, вот представьте что у меня в фича ветке есть код который будет продюсером неких данных в Kafka, с ним связано выделение отдельного топика и создание avro схемы для валидации отправляемых сообщений. Я хочу сделать так чтобы в коде фича бранче были миграции на создание топика и схемы.
А почему именно в миграциях хочешь? В топтале через терраформ это спокойно запугивали в отдельном репозитории и все довольны были (у тебя же больше одного сервиса, если Кафка есть, следовательно что бы изменить кафку придётся ждать выкатку сервиса в продакшен, а это привязка к релизому циклу и прочие радости жизни)
A
А почему именно в миграциях хочешь? В топтале через терраформ это спокойно запугивали в отдельном репозитории и все довольны были (у тебя же больше одного сервиса, если Кафка есть, следовательно что бы изменить кафку придётся ждать выкатку сервиса в продакшен, а это привязка к релизому циклу и прочие радости жизни)
да мне почему-то первое что пришло в голову это миграции внутри приложения ) Оно по сути является неким слоем абстракции для шины данных которое отвязывает остальных потребителей шины от необходимости с kafka взаимодействовать при pub сообщений. Там при публикации сообщений в шину навернута логика которая осуществляет мапинг между различными юнитами организации, которые публикуют данные. Поэтому с Kafka по сути один этот сервис общается и все топики, партишены и схемы там используются.
Terraform интересно, но у нас не AWS-based production а интранет компании, а мне почему-то казалось что терраформ с AWS только взаимодействует (но тут я с дивана ибо мало с ним работал)
Terraform интересно, но у нас не AWS-based production а интранет компании, а мне почему-то казалось что терраформ с AWS только взаимодействует (но тут я с дивана ибо мало с ним работал)
A
# config/initializers/kafka_setup.rb
create_topic ...
check_schema_exists
....
можно так
вариант, но хотелось бы все же историю изменений в kafka отслеживать через миграции а не через git log
A
если терраформ умеет работать с non-aws окружением, наверное это было бы идеально
AD
да мне почему-то первое что пришло в голову это миграции внутри приложения ) Оно по сути является неким слоем абстракции для шины данных которое отвязывает остальных потребителей шины от необходимости с kafka взаимодействовать при pub сообщений. Там при публикации сообщений в шину навернута логика которая осуществляет мапинг между различными юнитами организации, которые публикуют данные. Поэтому с Kafka по сути один этот сервис общается и все топики, партишены и схемы там используются.
Terraform интересно, но у нас не AWS-based production а интранет компании, а мне почему-то казалось что терраформ с AWS только взаимодействует (но тут я с дивана ибо мало с ним работал)
Terraform интересно, но у нас не AWS-based production а интранет компании, а мне почему-то казалось что терраформ с AWS только взаимодействует (но тут я с дивана ибо мало с ним работал)
Терраформ с чем угодно взаимодействует, я бы посоветовал все же отдельно держать конфиг к кафке, потом может больно выносить это будет
AD
если терраформ умеет работать с non-aws окружением, наверное это было бы идеально
Думаю что умеет, гугловый и майкрафсофт клауды работают, чистое железо тоже
NT
если терраформ умеет работать с non-aws окружением, наверное это было бы идеально
vCloud умеет, наши игрались
A
Спасибо, парни, пойду читать за терраформ
M
Посоны, а что нынче для организации ролей в Rails лаконично и топчик?
AM
поле в БД?