K
Проверки
Size: a a a
2020 September 27
SD
я бы тоже) но имею на руках то, что имею
SD
Я бы не использовал такой подход
Ну и раз зашел разговор, какой подход true way? Конструировать датафрейм до конца и при материализации обрабатывать ошибку? Или заранее проверять существование файла через hdfs api?
K
я бы тоже) но имею на руках то, что имею
Причем я боюсь там все сильно зависит от сорца который используется , и рид услново может ничего не проверять
K
Нужно посмотреть какой контракт наложен на рид и лоад
SD
К сожалению, я еще не на столько погрузился в Spark... по контрактам не в курсе. но в spark-shell погонял, в целом если файл не существует то на выходе Failure . Т.е. задумка автора в целом работает на целевой платформе.
K
Ну и раз зашел разговор, какой подход true way? Конструировать датафрейм до конца и при материализации обрабатывать ошибку? Или заранее проверять существование файла через hdfs api?
я не знаю правильного ответа, зависит от бизнес требований, к сожалению
K
но лезть через хдфс апи я бы меньше всего хотел
SD
Ну вообще я склоняюсь к полному построению и обработке материализации. Т.к. далее по коду идет фильтрация, и по сути в файле может просто не оказать необходимой информации, в виду чего проверка на наличие файла становится в принципе бессмысленной. В любом случае необходимые расчеты не смогут быть выполнены.
Спасибо за ответы.
Спасибо за ответы.
ME
А там именно hdfs? А то для s3 можно просто boto3 взять)
SD
hdfs)
2020 September 28
A
Ну вообще я склоняюсь к полному построению и обработке материализации. Т.к. далее по коду идет фильтрация, и по сути в файле может просто не оказать необходимой информации, в виду чего проверка на наличие файла становится в принципе бессмысленной. В любом случае необходимые расчеты не смогут быть выполнены.
Спасибо за ответы.
Спасибо за ответы.
обычно для расчетов устанавливается сенсор в workflow менеджере, точнее если данные необходимы для расчета, то устанавливается, если можно и без них рассчитать то нет(либо берется предыдущая партиция)
SD
Andrey
обычно для расчетов устанавливается сенсор в workflow менеджере, точнее если данные необходимы для расчета, то устанавливается, если можно и без них рассчитать то нет(либо берется предыдущая партиция)
Спасибо, я смотрел такую возможность в oozie, но, к сожалению, там другой бизнес-кейс, и такая механика не подходит.
PA
Всем хай.
Apache Beam python SDK.
Вопрос.
Как засунуть в файл после окончания срока окна, но чтобы file io или любой другой коннектор писал в файл только по комбинации старт окна конец окна и расширение файла. А то оно мне ещё шарды туда сует, я пытался отключить но что-то не але. Заранее спасибо
Apache Beam python SDK.
Вопрос.
Как засунуть в файл после окончания срока окна, но чтобы file io или любой другой коннектор писал в файл только по комбинации старт окна конец окна и расширение файла. А то оно мне ещё шарды туда сует, я пытался отключить но что-то не але. Заранее спасибо
PA
Имеется ввиду чтобы файл для окна был один
PA
Делаю вот этим коннектором
https://beam.apache.org/releases/pydoc/2.15.0/apache_beam.io.fileio.html но оно сует таки curent shard and total shsrd в название файла
https://beam.apache.org/releases/pydoc/2.15.0/apache_beam.io.fileio.html но оно сует таки curent shard and total shsrd в название файла
SS
Colegas, hola!
atención por favor
как бы мне через Spark Thrift Server поселектить не только паркетные таблицы, но и удаленные JDBC-таблички (постгрес там, мускули с ораклами, все это шапито)?
копать в сторону
EXTERNAL TABLE ... STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler'
?
atención por favor
как бы мне через Spark Thrift Server поселектить не только паркетные таблицы, но и удаленные JDBC-таблички (постгрес там, мускули с ораклами, все это шапито)?
копать в сторону
EXTERNAL TABLE ... STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler'
?
SS
Colegas, hola!
atención por favor
как бы мне через Spark Thrift Server поселектить не только паркетные таблицы, но и удаленные JDBC-таблички (постгрес там, мускули с ораклами, все это шапито)?
копать в сторону
EXTERNAL TABLE ... STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler'
?
atención por favor
как бы мне через Spark Thrift Server поселектить не только паркетные таблицы, но и удаленные JDBC-таблички (постгрес там, мускули с ораклами, все это шапито)?
копать в сторону
EXTERNAL TABLE ... STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler'
?
Presto?
АЖ
Colegas, hola!
atención por favor
как бы мне через Spark Thrift Server поселектить не только паркетные таблицы, но и удаленные JDBC-таблички (постгрес там, мускули с ораклами, все это шапито)?
копать в сторону
EXTERNAL TABLE ... STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler'
?
atención por favor
как бы мне через Spark Thrift Server поселектить не только паркетные таблицы, но и удаленные JDBC-таблички (постгрес там, мускули с ораклами, все это шапито)?
копать в сторону
EXTERNAL TABLE ... STORED BY 'org.apache.hive.storage.jdbc.JdbcStorageHandler'
?
Дримио решили выпилить? :)
SS
Дримио решили выпилить? :)
у нас его нетууу (((