DV
в датасетах нет столбцов и строк, это коллекции объектов заданного класса
Size: a a a
2019 November 06
AS
в датасетах нет столбцов и строк, это коллекции объектов заданного класса
Можно сконвертировать датасет в датафрейм
AS
В колонку типа structtype и если надо сделать flattening
DV
Вот да, нужен метод позволяющий выполнять операции сложения и умножения на число над столбцами DataSet ( т.е. DataFrame ). Прямо как для линейного пространтсва.
alpha × col1 + beta × col2 , где col1, col2 - это колонки DataFrame
alpha × col1 + beta × col2 , где col1, col2 - это колонки DataFrame
DV
не совсем понял задачу. у вас должно быть что то типа df = df.withColumn("res", f.col('col1')+f.col('col2'))
AZ
Вот да, нужен метод позволяющий выполнять операции сложения и умножения на число над столбцами DataSet ( т.е. DataFrame ). Прямо как для линейного пространтсва.
alpha × col1 + beta × col2 , где col1, col2 - это колонки DataFrame
alpha × col1 + beta × col2 , где col1, col2 - это колонки DataFrame
У вас Dataset[SomeClass], вам нужно сделать функцию SomeClass -> SomeOtherClass, применить ее через map и на выходе будет Dataset[SomeOtherClass]
DV
@dartov @anton_shelin Попробую, спасибо за информацию!
AS
Вот да, нужен метод позволяющий выполнять операции сложения и умножения на число над столбцами DataSet ( т.е. DataFrame ). Прямо как для линейного пространтсва.
alpha × col1 + beta × col2 , где col1, col2 - это колонки DataFrame
alpha × col1 + beta × col2 , где col1, col2 - это колонки DataFrame
если через датафреймы то так можно vec = [1,2,3]
muls = [f.col(df.columns[i]) * vec[i] for i in range(0,len(df.columns))]
df = df.withColumn('res', reduce((lambda x, y: x + y),muls))
muls = [f.col(df.columns[i]) * vec[i] for i in range(0,len(df.columns))]
df = df.withColumn('res', reduce((lambda x, y: x + y),muls))
AS
если через датафреймы то так можно vec = [1,2,3]
muls = [f.col(df.columns[i]) * vec[i] for i in range(0,len(df.columns))]
df = df.withColumn('res', reduce((lambda x, y: x + y),muls))
muls = [f.col(df.columns[i]) * vec[i] for i in range(0,len(df.columns))]
df = df.withColumn('res', reduce((lambda x, y: x + y),muls))
к сожалению 100 лет не писал на скале. поэтому примеры на питоне. но идею понять можно
MB
Подскажите, можно к hbase:meta обращаться как к таблице и вычитывать оттуда значения по условию/фильтру?
И есть ли java пример на эту тему? :)
И есть ли java пример на эту тему? :)
AZ
Подскажите, можно к hbase:meta обращаться как к таблице и вычитывать оттуда значения по условию/фильтру?
И есть ли java пример на эту тему? :)
И есть ли java пример на эту тему? :)
Нет, у HBase есть только get по значению ключа и scan по интервалу, примеры в HBase book
DM
Нет, у HBase есть только get по значению ключа и scan по интервалу, примеры в HBase book
Фильтр есть ж
VS
org.apache.hadoop.hbase
Class MetaTableAccessor
Class MetaTableAccessor
AZ
Фильтр есть ж
это ограничение того что посылается на клиента, данные с диска все равно читаются независимо от фильтра (такой примитивный копроцессор)
DM
это ограничение того что посылается на клиента, данные с диска все равно читаются независимо от фильтра (такой примитивный копроцессор)
я так понял вопрос был про апи
DM
хотя вру, я не понял всей глубины вопроса и сматчил по названию
OI
Привет!
У меня спарк стрим читает из hdfs и пишет в табличку hive. И вот сейчас начал падать с ошибкой:
Причём только на одной из таблиц. На остальных всё ок. Нагуглил только баги спарка/хайва, которые уже resolved...
У меня спарк стрим читает из hdfs и пишет в табличку hive. И вот сейчас начал падать с ошибкой:
19/11/06 18:24:20 WARN RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect.
org.apache.thrift.TApplicationException: Required field 'filesAdded' is unset! Struct:InsertEventRequestData(filesAdded:null)
Причём только на одной из таблиц. На остальных всё ок. Нагуглил только баги спарка/хайва, которые уже resolved...
OI
Мб кто сталкивался с таким?
OI
Ещё в логе нашел вот такую ошибку, хз связана ли она с остальным
ERROR KeyProviderCache: Could not find uri with key [dfs.encryption.key.provider.uri] to create a keyProvider !!
OI
Привет!
У меня спарк стрим читает из hdfs и пишет в табличку hive. И вот сейчас начал падать с ошибкой:
Причём только на одной из таблиц. На остальных всё ок. Нагуглил только баги спарка/хайва, которые уже resolved...
У меня спарк стрим читает из hdfs и пишет в табличку hive. И вот сейчас начал падать с ошибкой:
19/11/06 18:24:20 WARN RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect.
org.apache.thrift.TApplicationException: Required field 'filesAdded' is unset! Struct:InsertEventRequestData(filesAdded:null)
Причём только на одной из таблиц. На остальных всё ок. Нагуглил только баги спарка/хайва, которые уже resolved...
Вот это, как я понял, может быть связано со структурой таблицы и если сложный запрос в мету, то он отваливается. Но там не так уже много полей - штук 70 всего. hive.stats.autogather выключил