VS
Помогите с тайп лямбдой: https://scastie.scala-lang.org/K7e51xCIQF6OTs4KGAZnwQ
Нужен InvariantK для
Нужен InvariantK для
trait CacheLikeK[F[_], K, V]Size: a a a
2020 September 02
E
Жмака
Привет. Пытаюсь в скале аппликации запустить spark.sql запрос и выдает ошибку table or view not found. На уровне emr коефигурация hive.metastore.client.factory.class есть. Через спарк шелл могу запустить запрос. В аппликации трейт sparksessionsetup, который запускает сессию с конфигами и этот трецт экстендит сервис класс в котором весть flow и мэйн функция создает сервис инстанс и запускает метод execute в котором флоу. Не пойму в чем проблема
Если udms_dl_data_assets.dl_optimization_input действительно существует в Hive Metastore и доступно через spark-shell, я бы посмотрел на class path приложения. Возможно, из-за отсуствия hive-site.xml ваш Spark context создает дефолтный в текущей директории
E
почему-то ссылку на доку не могу вставить
E
When not configured by the hive-site.xml, the context automatically creates metastore_db in the current directory and creates a directory configured by spark.sql.warehouse.dir, which defaults to the directory spark-warehouse in the current directory that the Spark application is started
Ж
Если udms_dl_data_assets.dl_optimization_input действительно существует в Hive Metastore и доступно через spark-shell, я бы посмотрел на class path приложения. Возможно, из-за отсуствия hive-site.xml ваш Spark context создает дефолтный в текущей директории
Я подключаюсь к aws glue catalog. Через спарк шелл на emr все нормально. Через аппликацию выкидывает ошибку
E
Glue Catatalog также использует Hive Metastore под капотом
Ж
В hive-site xml глю каталог тоже прописан
E
вот этот hive-site.xml в classpath приложения есть?
AP
Помогите с тайп лямбдой: https://scastie.scala-lang.org/K7e51xCIQF6OTs4KGAZnwQ
Нужен InvariantK для
Нужен InvariantK для
trait CacheLikeK[F[_], K, V]Через вложенные лямбды можно
Ж
вот этот hive-site.xml в classpath приложения есть?
Да. Emr автоматом сует туда
Oℕ
@pomadchin @aleksei_t как усмирить комбота?
Oℕ
Помогите с тайп лямбдой: https://scastie.scala-lang.org/K7e51xCIQF6OTs4KGAZnwQ
Нужен InvariantK для
Нужен InvariantK для
trait CacheLikeK[F[_], K, V]VS
❤️ мой любимый чат
VS
Оч классный выпуск scalalazа про ТФ. Растянутовато, но наконец-то Юре и Вадиму объяснили :)
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
SK
да как так-то, вроде уже и на канал в тг подписался, а скалалаз все равно пропускаю, даж интересный, @leammas спасибо
ЮБ
Оч классный выпуск scalalazа про ТФ. Растянутовато, но наконец-то Юре и Вадиму объяснили :)
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
На самом деле я хотел ещё некоторые вопросы поднять, но слишком много людей было и по времени и так уже поехали
GP
На самом деле я хотел ещё некоторые вопросы поднять, но слишком много людей было и по времени и так уже поехали
можно потом еще будет записать через какое-то время
𝛈µ
Оч классный выпуск scalalazа про ТФ. Растянутовато, но наконец-то Юре и Вадиму объяснили :)
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
И как ты их свапаешь, текстовой заменой штоле?
λ
Оч классный выпуск scalalazа про ТФ. Растянутовато, но наконец-то Юре и Вадиму объяснили :)
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
И да, про свап монадок я раньше думал, что ни разу не актуально, но сейчас у меня на руках 5 IO монад в коде и без общего знаменателя можно поехать кукухой; а общий знаменатель без ТФ выглядит уродом
не оч классно он сделан с точки зрения построения мыслей, особенно одно и тож обсуждать по 10 раз)
ЮБ
не оч классно он сделан с точки зрения построения мыслей, особенно одно и тож обсуждать по 10 раз)
Да это все из-за опоздунов