E
ребят, а какие либы обычно идут в комплекте, если на проекте есть спарк
Size: a a a
2020 October 08
E
я спрашивал про котов/скалаз на интервью, сказали что не используют
E
(в силу того, что туда жавистов напхали и им сложно)
ZM
ребят, а какие либы обычно идут в комплекте, если на проекте есть спарк
Здесь больше шансов узнать https://t.me/hadoopusers
E
AB
ребят, а какие либы обычно идут в комплекте, если на проекте есть спарк
бывает редко спарк + акка например
AB
ребят, а какие либы обычно идут в комплекте, если на проекте есть спарк
А какие тебя либо интересуют? Для чего?
ЮБ
ребят, а какие либы обычно идут в комплекте, если на проекте есть спарк
Спарк вполне самодостаточен. Если с ним и юзают что-то, то обычно это какие-то вспомогательные либы.
E
А какие тебя либо интересуют? Для чего?
да я так, на кофейной гуще гадал, что может использоваться в проекте помимо него
E
Спарк вполне самодостаточен. Если с ним и юзают что-то, то обычно это какие-то вспомогательные либы.
понял, спасибо
GP
ребят, а какие либы обычно идут в комплекте, если на проекте есть спарк
и коты и зио есть кк @krivdathetriewe
все зависит от глиняности проекта
все зависит от глиняности проекта
Oℕ
из спарка возгорится зио
SK
да я так, на кофейной гуще гадал, что может использоваться в проекте помимо него
Все ограничивается лишь вашей фантазией и версией скалы, у нас например есть дсл на free монадах поверх ридера.
Oℕ
это как?
Oℕ
Free[R => *, A] ?
SK
Free[R => *, A] ?
не, там вместо R => * структуры в которых лежат R => * + метаинформация и A - тоже в итоге R => *
SK
Ну и сам ридер тоже обернут, чтобы добавить нужное поведение для mapN при комбинации расчетов
SK
Может быть слишком overengineering, зато можно инспектировать весь ETL расчет не запустив при этом ни одной джобы
SK
Еще из плюсов:
1. рантайм написан один раз и добавление нового расчета становится очень простым
2. можно хачить расчет до его запуска, например сгенерить граф и запустить только отдельные его куски или по графу сгенерить аргументы для запуска
1. рантайм написан один раз и добавление нового расчета становится очень простым
2. можно хачить расчет до его запуска, например сгенерить граф и запустить только отдельные его куски или по графу сгенерить аргументы для запуска
2020 October 09
VS
У кого-нибудь опыт использования https://github.com/circe/circe-fs2 есть? Подводные камни?
