Size: a a a

2020 August 26

PA

Polina Azarova in Data Engineers
прям извращенство полное
источник

A

Alex in Data Engineers
ну некоторые и это тоже делают
а просто ярн без хдфс поверх s3 в кубике
я ещё нигде не видел
источник

PA

Polina Azarova in Data Engineers
Andrey Smirnov
1. да
2. ответов кроме модно-молодежно не помню
источник

PA

Polina Azarova in Data Engineers
звучит может и прикольно, но кажется что вместо одной не самой простой системы становится две, еще и взаимосвязанных
источник

СХ

Старый Хрыч... in Data Engineers
Polina Azarova
приветы! кто-нибудь пихал в кубер хадупц?
зачем люди это делают? 🙂
потому что кому то надо отчитаться что он амбициозный сто
источник

СХ

Старый Хрыч... in Data Engineers
пока в основном эту причину видел
источник

PA

Polina Azarova in Data Engineers
распил бюджета)
источник

СХ

Старый Хрыч... in Data Engineers
а в облаках по итогу октазываются от хадупа и переходят на всякие панды
источник

AS

Andrey Smirnov in Data Engineers
Старый Хрыч
а в облаках по итогу октазываются от хадупа и переходят на всякие панды
что такое "панды"?
источник

СХ

Старый Хрыч... in Data Engineers
Andrey Smirnov
что такое "панды"?
pandas
источник

A

Alex in Data Engineers
сейчас мы услышим как Хрыч кластеризует пандас
источник

СХ

Старый Хрыч... in Data Engineers
а где я его писал что кластеризирую
источник

AS

Andrey Smirnov in Data Engineers
ааа, как связан pandas  и hadoop?
источник

A

Alex in Data Engineers
ну всякие коалы и делают чтобы пандас апи на спарк и кластеризацию натянуть
на одной машинке работать ну такое
источник

СХ

Старый Хрыч... in Data Engineers
Andrey Smirnov
ааа, как связан pandas  и hadoop?
перезодя в облако счёт от хадупа становится очень высоким, народ переносит файлы в s3 и  парсит их через пандас
источник

СХ

Старый Хрыч... in Data Engineers
гемора стало больше, стоимость выросла, но зато мы ушли в облако и eks
источник

AS

Andrey Smirnov in Data Engineers
hadoop это в первую очередь это hdfs+yarn, пандас тут вообще не причем
источник

СХ

Старый Хрыч... in Data Engineers
Andrey Smirnov
hadoop это в первую очередь это hdfs+yarn, пандас тут вообще не причем
😐мда
источник

СХ

Старый Хрыч... in Data Engineers
люди видя стоимость hdfs+yarn в амазоне, меняют это на s3 с файлами+пандас+eks(готовый кубер от амазона)
источник

DZ

Dmitry Zuev in Data Engineers
при чем тут пандас?
источник