N
на повышение пошёл. в промнефтегазхимбанк.
Size: a a a
2021 April 05
AZ
Помимо опсовых проблем Кафка даёт массу архитектурных и опсовых плюсов, я бы так не хаял архитектуру не зная всех деталей
AF
А как исправлять то? Пока что такой пайплайн нарисовал:
Splunk=>Splunk Hadoop connect app=>HDFS=>Spark/Flink/Storm/etc
AZ
А как исправлять то? Пока что такой пайплайн нарисовал:
Splunk=>Splunk Hadoop connect app=>HDFS=>Spark/Flink/Storm/etc
Какой поток, какие сценарии использования этих данных?
AF
Секурити дата лейк для долговременного хранения логов, создания machine learning моделей и светлого коммунизма, а спланк не резиновый и соответсвенно в нем настроена автоочистка логов старше 90 дней
Вот
AZ
Вот
Стриминговая бизнеслогика вся в спланке?
AZ
Какой поток, дневная полка в гигабайтах и сообщениях?
AE
а сами-то логи это логи чего и откуда? может сплунк и не нужен вовсе на самом деле-то
AE
вдруг их напрямую можно хоть той же кафкой разгребать или чем ещё?
AF
Стриминг в Cribl и Kafka streams насколько я понял
AE
эт понятно кто консюмит. вопрос про кто продюсит
AZ
Кмк вы пока плохо понимаете что есть, зачем используется, и какие узкие места; могу только порекомендовать не принимать каких-то дорогих архитектурных решений, пока вы не проясните что и как
Для самого дешевого оффлоада спланка можете класть оттуда напрямую данные в объектный сторадж, а там работать с ним спарком, пока не прояснятся другие бизнес кейсы
Для самого дешевого оффлоада спланка можете класть оттуда напрямую данные в объектный сторадж, а там работать с ним спарком, пока не прояснятся другие бизнес кейсы
AZ
(HDFS, S3 или GCS там зависит от того на чем вы живете, что умеете в плане инфраструктуры)
AF
Контора закупила кластер клаудеры чтобы использовать его как большую hdfs файлопомойку, а мне теперь остаётся скрестить ежа с ужом, тк наш единственный индюк биг дата инженер за полгода работы не смог задеплоить ни одного кластера кафки/хадупа😂
AZ
Тогда пишите просто в HDFS напрямую из спланка, там дальше разберётесь)
AE
если надо сделать непонятно что и неизвестно зачем, то удачи, что ли
AZ
Ну понятно что надо оффлоад сделать пока, если проблема с окном в спланке
AZ
В начале десятых годов это был самый хлеб хадупа в энтерпрайзе, оффлоад из проприетарных решений.. сколько я видел «даталейков», которые наливались из хранилищ)
ПБ
В начале десятых годов это был самый хлеб хадупа в энтерпрайзе, оффлоад из проприетарных решений.. сколько я видел «даталейков», которые наливались из хранилищ)
что значит был? )
AF
У нас тут до сих пор начало нулевых, месяц назад днс заработал 🙈