Size: a a a

2020 August 31

GP

Grigory Pomadchin in Data Engineers
ну и потом коллектом собираешь кучки)
источник

А

Алексей in Data Engineers
у меня похоже старый спарк и скала: 2.3  и 2.11
источник

А

Алексей in Data Engineers
в интернетах пишут, что с 2,12
источник

GP

Grigory Pomadchin in Data Engineers
Алексей
в интернетах пишут, что с 2,12
тогда руками в трай оберни; чтото типа .map(Success(_)).recover(Failure(_))
источник

GP

Grigory Pomadchin in Data Engineers
суть вся Future[T] => Future[Try[T]]
источник

GP

Grigory Pomadchin in Data Engineers
только делай это до сиквенса
источник

А

Алексей in Data Engineers
если самому обернуть - работает, но тогда я не понимаю преимущества перед arr.par
источник

А

Алексей in Data Engineers
через par получается, короче и, вроде, понятней
dfs = dbs.par.map( db => ... ) )
dfs.filter(_.isSuccess).map(_.get).reduce(_ union _)
источник

K

KrivdaTheTriewe in Data Engineers
Алексей
если самому обернуть - работает, но тогда я не понимаю преимущества перед arr.par
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
а есть ссылка на ваш PR который правит эти проблемы?
у s3-dist-cp код закрытый. а от ванильной версии он отличается, скажем так, чуть менее чем полностью
источник

AE

Alexey Evdokimov in Data Engineers
а может в курсе кто, что щас актуального для дата инженегров на C#

поимел вчера очень смешную переписку с рекрутёркой какой-то конторы, которым ни в жисть ни в бысть нужен CTO на проект с геоданными, но только чтобы C#, и никаких других вариантов
источник

nn

nasdaq nice in Data Engineers
Alexey Evdokimov
а может в курсе кто, что щас актуального для дата инженегров на C#

поимел вчера очень смешную переписку с рекрутёркой какой-то конторы, которым ни в жисть ни в бысть нужен CTO на проект с геоданными, но только чтобы C#, и никаких других вариантов
Azure?
источник

AY

Andrew Ya in Data Engineers
разве что про такое вот слышал
https://docs.microsoft.com/ru-ru/dotnet/spark/what-is-apache-spark-dotnet
источник

AE

Alexey Evdokimov in Data Engineers
ну это ещё один биндинг
источник

AS

Andrey Smirnov in Data Engineers
Alexey Evdokimov
а может в курсе кто, что щас актуального для дата инженегров на C#

поимел вчера очень смешную переписку с рекрутёркой какой-то конторы, которым ни в жисть ни в бысть нужен CTO на проект с геоданными, но только чтобы C#, и никаких других вариантов
С# как язык даже получше чем java будет
источник

AE

Alexey Evdokimov in Data Engineers
эт никто не спорит. просто сам стек интересен
источник

AS

Andrey Smirnov in Data Engineers
я работал в компании где сбор данных был на .NET, но все равно биг дата была на spark/scala/python.
Так у рекретера и надо было уточнить, как они видят гео данные, может они просто mssql обходятся
источник

АЖ

Андрей Жуков... in Data Engineers
Alexey Evdokimov
ну это ещё один биндинг
Был NTS,  аналог Java Topology Suite, но чот загнулся.
источник

AE

Alexey Evdokimov in Data Engineers
Andrey Smirnov
я работал в компании где сбор данных был на .NET, но все равно биг дата была на spark/scala/python.
Так у рекретера и надо было уточнить, как они видят гео данные, может они просто mssql обходятся
ну я сказал примерно то же самое, рекрутёрка чёт прям сильно обиделась
источник

AS

Andrey Smirnov in Data Engineers
Alexey Evdokimov
ну я сказал примерно то же самое, рекрутёрка чёт прям сильно обиделась
Мы знаем средний уровень рекрутеров, если экселем не открыть, значит бигдата.
источник