DZ
Там опция есть
Size: a a a
2019 October 14
DZ
Привет,ребят, у меня есть спарк-датафрейм,в нём колонка типа double/float.Пишу этот датафрейм csv-шником в hdfs, но числа пишутся в экспоненциальной записи.Пробовал DecimalType(20,19) - не помогает, нули пишутся в виде 0E-19.Можно как-то это победить?
Как пробовал?
AP
Как пробовал?
withColumn("purchaseCasted", result("purchase").cast(DecimalType(20, 20))).show(10)
2019 October 15
C
niazi Sinan has been banned! Reason: CAS ban.
В
Ребят, у кого на работе есть data quality отдел?
VE
Ребят, у кого на работе есть data quality отдел?
А в чём вопрос? Вообще обычно DQ занимаются Data Governance отделы, но знаю компании где DQ отдельно работает
В
А в чём вопрос? Вообще обычно DQ занимаются Data Governance отделы, но знаю компании где DQ отдельно работает
в чем вообще их работа состоит?
В
чем они занимаются?
VE
Ну например проверяют то насколько сорс системы и новые загрузки данных соответсвуют качеству для их анализа. Проверяют соответствие бизнес правилам (которых бывает тысячи) и в некоторых случаях ещё и чистят/стандартизируют для загрузки в какой-нить дата март
VE
там конечно много всего ещё есть
В
ака тестировщик-аналитик?
VE
Ну тестировщиками их никто не называет, это могут быть например ETL инженеры которые принимают таски от бизнеса - типа хотим чтоб у нас были проверки на вот этой сорс системе, и уже в отделе их имплементируют
В
Ну тестировщиками их никто не называет, это могут быть например ETL инженеры которые принимают таски от бизнеса - типа хотим чтоб у нас были проверки на вот этой сорс системе, и уже в отделе их имплементируют
ох, я понял
В
спасибо большое
VE
без DQ/DG отделов обычно проверки делаются напрямую аналитиками через SQL запросы на сорс системах, но потом возникают проблемы что эти правила хочется иметь в одном месте и хочется запускаь их не только на каком-нибудь оракле, а ещё например на S3 и хадупе
В
То есть, под это все еще и инструменты есть
VE
Куча :) Я как раз работаю в одном из вендоров который специализируется на DQ
DZ
Вендор, DQ - понятно
K
Куча :) Я как раз работаю в одном из вендоров который специализируется на DQ
а что за вендор, если не секрет?
VE
Ataccama, у нас тут data catalog, data quality и master data management, сидим в основном в Праге