АС
От чего?
отвечу немного "ранее" для себя, я сейчас взаимодействую с постгресом либо напрямую, либо через кафку. Для себя хотел бы, в перспективе уметь перейти на хадуп и облачные технологии и прочее
Size: a a a
2019 December 15
АС
переквалифицироваться в бигдату
ME
Инструмент стоит выбирать от задач, а так сейчас вполне популярны спарк, кафка (у неё тоже стриминг есть)
АС
так какая же бигдата без hdfs, репликаций и прочего
АЖ
так какая же бигдата без hdfs, репликаций и прочего
Бигдата большая.
GP
так какая же бигдата без hdfs, репликаций и прочего
Разная большедата есть, есть большие вычисления, есть большая дата и есть и то и то большое
ME
так какая же бигдата без hdfs, репликаций и прочего
Оно может быть в облаке, например. Мы используем AWS и там S3 и Glue. Нет никакого кластера, всё serverless
T
Оно может быть в облаке, например. Мы используем AWS и там S3 и Glue. Нет никакого кластера, всё serverless
Какой обьем даных через glue пропускаете?
ME
Какой обьем даных через glue пропускаете?
Ой, там мелочь, меньше терабайта
ME
Хотя и мощность всегда настроена на минималку почти, 2-10 dpu
T
Ой, там мелочь, меньше терабайта
Да не много, спасибо за ответ
АС
Ой, там мелочь, меньше терабайта
В день?
ME
В день?
за запуск пайплайна, скорее. У нас цепочка последовательных джоб идёт
2019 December 16
Ik
Привет. Ребята каким образом можно решить проблему?
Ik
org.codehaus.janino.InternalCompilerException: Compiling "GeneratedClass": Code of method "processNext()V" of class "org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage11" grows beyond 64 KB
N
кто-нибудь локально разворачивал хадуп?
Скачайте sandbox hortonworks или cloudera.
N
а что, это уже не модно? ну в Сбере
У вас же есть свой сбердуп. Презентовали его тут недавно.
OI
Привет!
У меня спарк стрим читает из hdfs и пишет в табличку hive. И вот сейчас начал падать с ошибкой:
У меня спарк стрим читает из hdfs и пишет в табличку hive. И вот сейчас начал падать с ошибкой:
19/11/06 18:24:20 WARN RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect.Причём только на одной из таблиц. На остальных всё ок. Нагуглил только баги спарка/хайва, которые уже resolved...
org.apache.thrift.TApplicationException: Required field 'filesAdded' is unset! Struct:InsertEventRequestData(filesAdded:null)
если кому интересно, решилось настройкой
Там через жопу пишутся метаданные новых партиций.
"hive.metadata.dml.events", falseТам через жопу пишутся метаданные новых партиций.
N
У вас же есть свой сбердуп. Презентовали его тут недавно.
Это как ?