AA
M сортирует по первому столбцу в функции группировки. Если Вы группируете по этому своему индексу, вставьте его первым уровнем
Спасибо больше !
Size: a a a
2020 April 23
AS
Alexsandra Adamova
Спасибо больше !
Получилось? Я просто не уверен, что при втором развертывании сработает
AA
Получилось? Я просто не уверен, что при втором развертывании сработает
Все получилось )
AS
Alexsandra Adamova
Все получилось )
Огонь)
IS
Делал так, смысл этой таблицы - справочник, в квери забираю эти 2 столбца с 4 громоздких источников (запросов) в 1 и удаляю дубли, и при каждом пересчете, чтобы обновить справочник Материалов он повторно считывает все источники. В DAX я через UNION объединил в 1 таблицу и это занимает секунды, но как от дублей избавиться не могу сообразить
SUMMARIZE('Таблица' ;'Таблица'[ID]; "Наименование" ;MAX('Таблица' [Наименование]))
IS
Делал так, смысл этой таблицы - справочник, в квери забираю эти 2 столбца с 4 громоздких источников (запросов) в 1 и удаляю дубли, и при каждом пересчете, чтобы обновить справочник Материалов он повторно считывает все источники. В DAX я через UNION объединил в 1 таблицу и это занимает секунды, но как от дублей избавиться не могу сообразить
ну да, только если проект небольшой - так проще и быстрее, а если модель за 100млн строк и в этой таблице у вас будет много уникальных - более 100тысяч. то сжатие будет совсем плохое по сравнению с загруженными данными, а соответственно потом и расчеты и все остальное. Но может у вас зато памяти террабайт например и она высокоскоростная - тогда тоже пофиг))
С
Коллеги, приветствую!
Есть система аналитики, которая каждый день вытаскивает данные по API из ЯндексДирета, Google Analytics и коллтрекинга, всё это обрабатывается и визуализируется.
Сейчас столкнулся с проблемой, что данных стало очень много и думаем сделать так чтобы из всех систем данные получались за вчерашний день и дозаписывались в Google Big Query, а оттуда уже в PBi тянуть и визуализировать.
Возможно у кого-то был опыт или есть какая-то информация как это реализовать на практике. С BigQuery раньше не работал, и с SQL плохо, поэтому нужны подсказки или кейсы. В принципе, я сообразительный, как-то же сделал то что есть) Буду признателен за любую информацию.
Есть система аналитики, которая каждый день вытаскивает данные по API из ЯндексДирета, Google Analytics и коллтрекинга, всё это обрабатывается и визуализируется.
Сейчас столкнулся с проблемой, что данных стало очень много и думаем сделать так чтобы из всех систем данные получались за вчерашний день и дозаписывались в Google Big Query, а оттуда уже в PBi тянуть и визуализировать.
Возможно у кого-то был опыт или есть какая-то информация как это реализовать на практике. С BigQuery раньше не работал, и с SQL плохо, поэтому нужны подсказки или кейсы. В принципе, я сообразительный, как-то же сделал то что есть) Буду признателен за любую информацию.
V
Коллеги, приветствую!
Есть система аналитики, которая каждый день вытаскивает данные по API из ЯндексДирета, Google Analytics и коллтрекинга, всё это обрабатывается и визуализируется.
Сейчас столкнулся с проблемой, что данных стало очень много и думаем сделать так чтобы из всех систем данные получались за вчерашний день и дозаписывались в Google Big Query, а оттуда уже в PBi тянуть и визуализировать.
Возможно у кого-то был опыт или есть какая-то информация как это реализовать на практике. С BigQuery раньше не работал, и с SQL плохо, поэтому нужны подсказки или кейсы. В принципе, я сообразительный, как-то же сделал то что есть) Буду признателен за любую информацию.
Есть система аналитики, которая каждый день вытаскивает данные по API из ЯндексДирета, Google Analytics и коллтрекинга, всё это обрабатывается и визуализируется.
Сейчас столкнулся с проблемой, что данных стало очень много и думаем сделать так чтобы из всех систем данные получались за вчерашний день и дозаписывались в Google Big Query, а оттуда уже в PBi тянуть и визуализировать.
Возможно у кого-то был опыт или есть какая-то информация как это реализовать на практике. С BigQuery раньше не работал, и с SQL плохо, поэтому нужны подсказки или кейсы. В принципе, я сообразительный, как-то же сделал то что есть) Буду признателен за любую информацию.
mybi.connect
V
Тянут данные в БД SQL Azure, оттуда и заберете
С
mybi.connect
эти варианты рассматриваем тоже, но по возможности хочется сделать своими руками. Например, R-скрипт может забирать данные из всех систем, но вот дописывать в GBQ пока не умею
OB
в r есть пакет bigrquery с ним и дописываете
uploadBQ <- function(df, table){
# выгрузка в BQ по дням на вход подается датафрейм c датами в поле date
for (d in unique(as.character(df$date))){
df_temp <- subset(df, df$date == d)
insert_upload_job(project = "project_name",
table = paste0(table, gsub("-", "",d)),
dataset = "dataset_name",
values = df_temp,
billing = "billing_name",
create_disposition = "CREATE_IF_NEEDED",
write_disposition = "WRITE_TRUNCATE")
}
}ST
SUMMARIZE('Таблица' ;'Таблица'[ID]; "Наименование" ;MAX('Таблица' [Наименование]))
Спасибо Илья, то что нужно👍🏼
С
в r есть пакет bigrquery с ним и дописываете
uploadBQ <- function(df, table){
# выгрузка в BQ по дням на вход подается датафрейм c датами в поле date
for (d in unique(as.character(df$date))){
df_temp <- subset(df, df$date == d)
insert_upload_job(project = "project_name",
table = paste0(table, gsub("-", "",d)),
dataset = "dataset_name",
values = df_temp,
billing = "billing_name",
create_disposition = "CREATE_IF_NEEDED",
write_disposition = "WRITE_TRUNCATE")
}
}Похоже на то что надо! Спасибо, @nexter83!
Буду копать
Буду копать
С
в r есть пакет bigrquery с ним и дописываете
uploadBQ <- function(df, table){
# выгрузка в BQ по дням на вход подается датафрейм c датами в поле date
for (d in unique(as.character(df$date))){
df_temp <- subset(df, df$date == d)
insert_upload_job(project = "project_name",
table = paste0(table, gsub("-", "",d)),
dataset = "dataset_name",
values = df_temp,
billing = "billing_name",
create_disposition = "CREATE_IF_NEEDED",
write_disposition = "WRITE_TRUNCATE")
}
}Получается надо в R преобразовывать и объединять все данные, в BQ записывать готовые датафреймы, а в PBi просто получать их и визуализировать?
Еще, не в курсе, можно ли в PBi получать данные из BQ используя DirectQuery?
Еще, не в курсе, можно ли в PBi получать данные из BQ используя DirectQuery?
OB
первая часть вопроса - да. что касается директквери - не знаю, не пробовал
EH
Там столько источников данных, что больше половины я и не слышал никогда
С
да, это видел, но если PBi будет так же получать из BQ данные за весь период, то не совсем понятно, облегчит ли это нагрузку на PBi, данных то будет столько же как и сейчас (тянем напрямую из систем)
EH
я сделал меру
Последняя дата входа = max([Дата])
как мне в ней избавиться от часов и оставить только дату?
Последняя дата входа = max([Дата])
как мне в ней избавиться от часов и оставить только дату?