E
здравствуйте
Size: a a a
2020 October 08
E
ребят, подскажите, что зачастую идёт в комплекте на проекте, где есть Спарк? в плане либ
YI
ребят, подскажите, что зачастую идёт в комплекте на проекте, где есть Спарк? в плане либ
А можете конкретизировать вопрос?
E
А можете конкретизировать вопрос?
я слышал, что скалисты делятся на три условные категории:
- фп-челики (cats, scalaz, etc.)
- бывшие джависты, для которых фп-магия сложная и они просто хотят "slightly better Java"
- дата инженеры, которые спарк, хадуп и вот это все
- фп-челики (cats, scalaz, etc.)
- бывшие джависты, для которых фп-магия сложная и они просто хотят "slightly better Java"
- дата инженеры, которые спарк, хадуп и вот это все
E
так вот, что используется на типичных дата инженерных проектах, где во главе стоит спарк?
AZ
я слышал, что скалисты делятся на три условные категории:
- фп-челики (cats, scalaz, etc.)
- бывшие джависты, для которых фп-магия сложная и они просто хотят "slightly better Java"
- дата инженеры, которые спарк, хадуп и вот это все
- фп-челики (cats, scalaz, etc.)
- бывшие джависты, для которых фп-магия сложная и они просто хотят "slightly better Java"
- дата инженеры, которые спарк, хадуп и вот это все
это не эксклюзивные категории, они пересекаются
AA
какой странный диалог
ME
ребят, подскажите, что зачастую идёт в комплекте на проекте, где есть Спарк? в плане либ
Питон ещё)
E
это не эксклюзивные категории, они пересекаются
ну да, это очень условное деление
MV
так вот, что используется на типичных дата инженерных проектах, где во главе стоит спарк?
Да, обычно ещё Python, хотя бы для автоматизации.
Но если копнуть в инфраструктуру - очень по-разному всё бывает )
Но если копнуть в инфраструктуру - очень по-разному всё бывает )
E
ладно, проще будет с проекта дождаться ответа, чем гадать на кофейной гуще
AE
чорт, такую зарубу про файловые системы пропустил
AE
ещё помнится в 2012 я читал в епаме лекцию о том чё это такое и как это делается
AE
если совсем кратко, то ФС — это некоторая семантика
AE
и не более того. но и не менее. а что там под капотом никого не волнует.
AZ
чорт, такую зарубу про файловые системы пропустил
в следующей серии: почему Hive это не RDBMS
AE
а файл — это соответственно минимальная семантическая единица файловой системы
D
в следующей серии: почему Hive это не RDBMS
потому что нет R, relations
AA
Тут скорее интересует вопрос, выступает ли такой спорный вопрос на собесе редфлагом у ТС
AE
хдфс по семантике таки всё же ФС. а вот с3 не является таковой.