DZ
Ускорилась жизнь
Size: a a a
2019 October 30
K
Ускорилась жизнь
OO
https://medium.com/@rajasekar3eg/fastspark-a-new-fast-native-implementation-of-spark-from-scratch-368373a29a5c
Да ладно, вот сейчас перепишут спарк на раст и все буду счастливы
Да ладно, вот сейчас перепишут спарк на раст и все буду счастливы
как кассандру?
A
:) ну и касандру и мапр хдфс выпиливал, сказка то старая на новый лад
AS
популярная тема с переписыванием всего на rust
https://notamonadtutorial.com/weld-accelerating-numpy-scikit-and-pandas-as-much-as-100x-with-rust-and-llvm-12ec1c630a1
https://notamonadtutorial.com/weld-accelerating-numpy-scikit-and-pandas-as-much-as-100x-with-rust-and-llvm-12ec1c630a1
Ж
Нужна помощь с hbase на emr. Кластер с отдельным бакетом для hbase root dir. Сервис работает. Запускаю hbase shell. /createtables.txt,в котором только ddl 100 таблиц и начинает работать очень очень медленно, выдавая ошибку после создания каждой таблицы "Table... not enabled after 588400msec".
DM
Жмака
Нужна помощь с hbase на emr. Кластер с отдельным бакетом для hbase root dir. Сервис работает. Запускаю hbase shell. /createtables.txt,в котором только ddl 100 таблиц и начинает работать очень очень медленно, выдавая ошибку после создания каждой таблицы "Table... not enabled after 588400msec".
Логи?
K
Жмака
Нужна помощь с hbase на emr. Кластер с отдельным бакетом для hbase root dir. Сервис работает. Запускаю hbase shell. /createtables.txt,в котором только ddl 100 таблиц и начинает работать очень очень медленно, выдавая ошибку после создания каждой таблицы "Table... not enabled after 588400msec".
Как у вас ddl выглядит
Ж
Логи?
В логах висит ошибка filenotfound /mnt... /bucketcache permission denied.
Ж
Как у вас ddl выглядит
create '501813282_usage',{NAME => 'u', COMPRESSION => 'NONE', ENCRYPTION => 'AES'}
create '501822369_usage',{NAME => 'u', COMPRESSION => 'NONE', ENCRYPTION => 'AES'}
create '502822216_x1id_count',{NAME => 'o', COMPRESSION => 'SNAPPY', ENCRYPTION => 'AES'}
create '501822369_usage',{NAME => 'u', COMPRESSION => 'NONE', ENCRYPTION => 'AES'}
create '502822216_x1id_count',{NAME => 'o', COMPRESSION => 'SNAPPY', ENCRYPTION => 'AES'}
Ж
Логи?
java.lang.RuntimeException: java.io.FileNotFoundException: /mnt1/hbase/bucketcache (Permission denied)
2019 October 31
MH
Всем привет. Подскажите пожалуйста, как сделать функцию?
Есть построенный индекс по полю 'date. Как сделать так, чтобы запрос "прошелся" по индексам, при этом выполнив функцию фильтра, т.е подавать в условие по одной дате из диапазона?
Есть построенный индекс по полю 'date. Как сделать так, чтобы запрос "прошелся" по индексам, при этом выполнив функцию фильтра, т.е подавать в условие по одной дате из диапазона?
var table= spark.read.table(tableName = "table")
.filter('date >= "20190101" && 'date <= "20191231")
.filter('user == "1")ME
Сделать group by по датам?
VV
Здравствуйте может кто то сталкивался.
Ambari HDP-3.0, в Ranger Admin UI после отключения плагинов и переустановки Ranger при попытке включить их заново, в окне Service Manager не появляются ссылки на политики для данных плагинов.
В аудите - плагин статус, они видны как загруженные, время активности указывает на момент рестарта сервиса плагина, в статусах ласт апдейт прочерки.
Ambari HDP-3.0, в Ranger Admin UI после отключения плагинов и переустановки Ranger при попытке включить их заново, в окне Service Manager не появляются ссылки на политики для данных плагинов.
В аудите - плагин статус, они видны как загруженные, время активности указывает на момент рестарта сервиса плагина, в статусах ласт апдейт прочерки.
C
DM
Привет всем, кто-нибудь может подсказать можно ли в Apache Beam создать 2-3 KafkaIO.reader. У меня есть проблема с out of memory в стриминге Apache beam, мы его запускаем в Google DataFlow, следовательно подконектиться к джобе и за профилировать я его не смогу, пытался включить гугловские фичи с дампами, но постоянно выплевывает кривой дамп.
MH
Сделать group by по датам?
А как циклом идти?
ME
Mr. Heisenberg
А как циклом идти?
А вот эту часть не понял. Нужно к каждой дате применить какую-то трансформацию или что?
ME
можно так)