Size: a a a

2021 March 26

AB

Andrey Bel in Data Engineers
ну у меня org.apache.bahir"  и в нем Джедис
источник

AS

Andrey Smirnov in Data Engineers
Andrey Bel
ну у меня org.apache.bahir"  и в нем Джедис
делаем форк, компилируем под 2.12, я к тому что jedis работает с 2.12 (вообще странно был если не работал, я поэтому и полез проверять)
источник

AB

Andrey Bel in Data Engineers
Andrey Smirnov
делаем форк, компилируем под 2.12, я к тому что jedis работает с 2.12 (вообще странно был если не работал, я поэтому и полез проверять)
понял спасибо
источник

AZ

Anton Zadorozhniy in Data Engineers
Roman
Это вообще большая проблема, потому что обычно люди, которые считают бюджет, живут в другом информационном пространстве. Более того многие разраьочтики тоже этого не понимают.
Я долго думал, как же это решается и понял,что особо никак. Вроде бы redhat в свое время так и взлетел, что брал на себя решение всех проблем с обновлениями и поддержкой и так далее. А до этого люди на местах сами собирали линукса с разным по и были проблемы с обновлениями. По сути клоудера, emr, хортон(r.i.p) тоже отчасти предлагают эту услугу, помимо удобство эксплуатация, утсанвоки, мониторинга и тд
Все таки, считать (и планировать) ТСО больших систем где много open source умеют немногие; но я не вижу это как проблему, скорее это особенность которая становится возможностью для многих специалистов)
источник

AS

Andrey Smirnov in Data Engineers
я тут недавно патч на спарк 2.4 накатывал для работы со вторым хайвом, так что все это рабочие варианты, это же опенсоурс :)
источник

AZ

Anton Zadorozhniy in Data Engineers
There’re no problems, only challenges and opportunities)
источник

R

Roman in Data Engineers
Anton Zadorozhniy
Все таки, считать (и планировать) ТСО больших систем где много open source умеют немногие; но я не вижу это как проблему, скорее это особенность которая становится возможностью для многих специалистов)
Я хотел сказать, что одна из граней(не единственная) этой проблемы в том, что саму проблему не понимают ни менеджмент, ни, иногда/часто, разработчики(лиды, архитекторы и так далее). В итоге когда это проблема у них наступает, они даже не понимают, что происходит, и могут списать все на: "некомпетентность" разработчиков, "плохой" инструмент/стек технологий и так далее. По крайней мере я такие ситуации видел несколько раз. Подозреваю, что на деле они бывают чаще. И вот как на старте объяснить все это всем, чтобы не было недопонимания я до конца не понял, но если с этим ещё можно как - то поступить, а вот с тем, чтобы TCO правильно посчитать на чисто опенсорсе - это совсем сложно, конечно.
источник

EK

Evgenii Kuznetcov in Data Engineers
А кто может внятно объяснить, что конкретно означает "планирование ТСО проекта"?
У меня ощущение, что тут как на картинке с работником Васей в канаве.
"Архитекторы" и менеджеры надувают щеки, закупают какую-то поддержку, а реально все равно разработчикам со всем разбираться.
источник

ЕГ

Евгений Глотов... in Data Engineers
Поддержка - это когда через три месяца после перекидывания задачи на индусов и отсутствия от них ответа спрашивают "ну чё там, у вас решилась проблема сама собой или нет"?)
источник

AZ

Anton Zadorozhniy in Data Engineers
Evgenii Kuznetcov
А кто может внятно объяснить, что конкретно означает "планирование ТСО проекта"?
У меня ощущение, что тут как на картинке с работником Васей в канаве.
"Архитекторы" и менеджеры надувают щеки, закупают какую-то поддержку, а реально все равно разработчикам со всем разбираться.
Планирование расходной части, сколько железа/софта/ПШЕ нужно будет для поддержания таких-то показателей сервиса (или достижения новых)
источник

EK

Evgenii Kuznetcov in Data Engineers
А в контексте опенсорс vs проприетарщина vs опенсорс с суппортом?
источник

AZ

Anton Zadorozhniy in Data Engineers
Evgenii Kuznetcov
А в контексте опенсорс vs проприетарщина vs опенсорс с суппортом?
Мы строим сервис из чего-то что распространяется AS IS, без каких-то дополнительных обязательств
источник

VK

Vladimir K. in Data Engineers
Коллеги, всем привет.
Подскажите, пожалуйста, в какую сторону копать.
Есть debezium натравленный на MS SQL базу. Версия БД - Microsoft SQL Server 2014 - 12.0.4100.1 (X64)
Kafka - 2.12
Debezium - к сожалению, не знаю, как проверить его версию.

Отвалился коннектор. Был в статусе Failed. В таске указано, что пропало соединение. Соединение восстановили, рестартую таску.

Однако, инфа в топики не поступила. Пробовал рестартануть коннектор, зарестартить ещё раз таску, но эти махинации не помогли. Приводят к тому, что веб интерфейс падает и на curl возвращается requested timeout.

В топике connect-offsets последняя информация по этому коннектору за 24 число
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladimir K.
Коллеги, всем привет.
Подскажите, пожалуйста, в какую сторону копать.
Есть debezium натравленный на MS SQL базу. Версия БД - Microsoft SQL Server 2014 - 12.0.4100.1 (X64)
Kafka - 2.12
Debezium - к сожалению, не знаю, как проверить его версию.

Отвалился коннектор. Был в статусе Failed. В таске указано, что пропало соединение. Соединение восстановили, рестартую таску.

Однако, инфа в топики не поступила. Пробовал рестартануть коннектор, зарестартить ещё раз таску, но эти махинации не помогли. Приводят к тому, что веб интерфейс падает и на curl возвращается requested timeout.

В топике connect-offsets последняя информация по этому коннектору за 24 число
Начать с логов Кафка Коннект, и наверное лучше в чате по Кафке спрашивать
источник

AZ

Anton Zadorozhniy in Data Engineers
Ранбук если вам оставили коллеги - там должно быть написано как логи читать
источник

VK

Vladimir K. in Data Engineers
Понял. Спасибо
источник

GP

Grigory Pomadchin in Data Engineers
Повелитель Бури
Начали пробовать спарк стриминг, столкнулись с тем что джобы иногда "фризятся"-останавливаются, приходится в ручную перезапускать. Думаем или копать или флинк пробовать
Наверн над разобраться, попробуете флинк там тоже что-то морозиться будет вот весело
источник

K

KrivdaTheTriewe in Data Engineers
Pavel
Use java! 🕺
Так там проблемы с версиями гуавы какой нибудь , лол
источник

a

ars0k in Data Engineers
а с мвидео никого нет случайно тут?
источник

a

ars0k in Data Engineers
подругу скамнули на фейковом сайте мвидео - но что примечательно, похоже у чуваков есть бд мвидео - вся история заказов, баллы бонусные и личный кабинет - работает
источник