EV
есть позыв делать на streaming
Size: a a a
2020 September 02
EV
ИК
есть позыв делать на streaming
Стриминг = микробатч, я бы не стал связываться, если и так перекос и OOM. Но это просто мнение, возможно, как раз станет легче
EV
не, в стриминге можно стейт сессии вынести на внешнее быстрое хранилище и обработать отсортированный датаест в один проход
EV
а микро - не микро — пофиг
Ж
Жмака
Привет. Пытаюсь в скале аппликации запустить spark.sql запрос и выдает ошибку table or view not found. На уровне emr коефигурация hive.metastore.client.factory.class есть. Через спарк шелл могу запустить запрос. В аппликации трейт sparksessionsetup, который запускает сессию с конфигами и этот трецт экстендит сервис класс в котором весть flow и мэйн функция создает сервис инстанс и запускает метод execute в котором флоу. Не пойму в чем проблема
Может есть у кого идеи?
Ж
Так это потому что для весьма старых версий скалы threads, для более новых forkjoinpool, а если там к тому же и future в конечном итоге, то какой смысл отказываться от .par? По-моему никакого, особенно если сайдэффекты под контролем, каждый элемент преобразуется в Either.
Написал запрос и беру теже данные через aws glue catalog. Завершается за 7 минут. Только теперь проблема с дизайном аппликации.
T
Жмака
Написал запрос и беру теже данные через aws glue catalog. Завершается за 7 минут. Только теперь проблема с дизайном аппликации.
пробуй добавить в спарк сессию
.config("spark.sql.catalogImplementation", "hive")
.config("hive.metastore.connect.retries", 15)
.config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory")T
мне в свое время помогло
T
по ссылке пусто
T
Жмака
а где
.config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") ?Ж
а где
.config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") ?Я его только что доьавил и еще раз запустил. Та же ошибка. В конфиге emr тоже это есть
T
ну уменя больше идей нет тогда
T
Жмака
P.S
.stripMargin позволит оформить запрос красиво а нелепить все в одну строчку с конкатинациейЖ
P.S
.stripMargin позволит оформить запрос красиво а нелепить все в одну строчку с конкатинациейСпасибо. Сделаю
M
Кто-нибудь может знает тулу которая может помочь перегнать presto SQL в spark SQL? Или может есть какой документ со сравнением и разницей синтаксисов
A
подождать presto на spark ?
M
не вариант