Size: a a a

2020 August 26

GP

Grigory Pomadchin in Data Engineers
Alexey Evdokimov
в всл2 ведро настояще, так что проблем просто нету. ну, кроме доступа к хостовой фс, он-то тормозит
у меня всл2 к хостовм дискам не может достучаться пока я после рестарта винды не перезапущу всл процесс
источник

GP

Grigory Pomadchin in Data Engineers
такой ор
источник

GP

Grigory Pomadchin in Data Engineers
если ребутнулся, надо wsl.exe —shutdown
источник

GP

Grigory Pomadchin in Data Engineers
бага гдето у них на гитхабе есть
источник

O

Oleg in Data Engineers
Sergey Boytsov
Привет, а кто-нибудь уже пробовал заиспользовать AWS Glue версии 2.0 которую анонсировали буквально пару недель назад?
Привет, пробовали, работает
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
в всл2 ведро настояще, так что проблем просто нету. ну, кроме доступа к хостовой фс, он-то тормозит
В хвостовую фс мне за две недели не потребовалось, я клоню в гестовую ФС и там же идею запускаю
источник

AZ

Anton Zadorozhniy in Data Engineers
Из багов я один раз поймал после сна сбой Х сервера, но благо десктоп я просто перестал его засыпать
источник

T

T in Data Engineers
Oleg
Привет, пробовали, работает
Ну и как? Действительно быстрей запускатеся? Теперь можно ожидать в меняемого время запуска?
источник

O

Oleg in Data Engineers
T
Ну и как? Действительно быстрей запускатеся? Теперь можно ожидать в меняемого время запуска?
Если мне не изменяет память, 3-5 минут в версии 2.0 против 10+ минут в первой версии
источник

O

Oleg in Data Engineers
В общем, в 2-4 раза быстрее примерно. Ощутимо.
источник

T

T in Data Engineers
Oleg
Если мне не изменяет память, 3-5 минут в версии 2.0 против 10+ минут в первой версии
Ну в первой версии же было как повезет, если на горячий кластер джоба попала то она тоже за пускалась быстро, а вот если не повезло то сиди жди 10+.
Как поцене кстати не сравневали? Дешевле выходит чем обычный emr на спотах крутить
источник

T

T in Data Engineers
Oleg
В общем, в 2-4 раза быстрее примерно. Ощутимо.
+ спасибо
источник

O

Oleg in Data Engineers
T
Ну в первой версии же было как повезет, если на горячий кластер джоба попала то она тоже за пускалась быстро, а вот если не повезло то сиди жди 10+.
Как поцене кстати не сравневали? Дешевле выходит чем обычный emr на спотах крутить
Неа, цифр у меня нет
источник

T

T in Data Engineers
Оставлю здесь может кому и пригодится:
Для того что бы поженить presto с изменой схемой, надо не только в
/etc/presto/conf/catalog/hive.properties

выставить
hive.parquet.use-column-names=true


Но еще и пере добавить старые партишены.
#emr #presto
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
Чорт,  мотивируешь к апгрейду!
Всячески рекомендую, и знаю уже много людей которые перешли на десктопы, это конечно роскошь которая не всем доступна, но если есть такая возможность - это другое качество жизни
источник

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
Всячески рекомендую, и знаю уже много людей которые перешли на десктопы, это конечно роскошь которая не всем доступна, но если есть такая возможность - это другое качество жизни
Дык у меня стоит уже cooler master storm trooper. Там просто топовое железо,  но 7-летней давности:)
источник

АЖ

Андрей Жуков... in Data Engineers
Кек,  даже 8-9
источник

AZ

Antto 👾 Zobnin in Data Engineers
А кто mleap в проде использовал - подскажите плиз, достаточно десяток контейнеров запустить с моделью по примеру из доки, или надо как-то иначе для прода запускать?
источник

ПБ

Повелитель Бури... in Data Engineers
коллеги, а минио со спарком кто-то дружил в проде? вместо hdfs
источник

АЖ

Андрей Жуков... in Data Engineers
Повелитель Бури
коллеги, а минио со спарком кто-то дружил в проде? вместо hdfs
Там s3 api, базово все просто
источник