Size: a a a

Python для анализа данных

2021 October 14

EZ

Egor Zhulanov in Python для анализа данных
Power BI, SSRS и сотни других сервисов и ПО, подходящие по описанному запросу
источник

PZ

Pavel Zheltouhov in Python для анализа данных
выглядит как типичное применение для superset.
источник

NC

Nick Cat in Python для анализа данных
у нас есть подобные примеры в Oracle BI. По сути: анализ, построенный на прямом запросе к БД (без обращения к кубу)
источник

А

Алексей in Python для анализа данных
как через power bi обычный юзер может передавать параметры, которые ему нужны? Допустим в таблицы куча наименований с айдишниками, и он, к примеру, должен передать 100 айдишников в sql запрос.
источник

А

Алексей in Python для анализа данных
а там есть такой функционал? это же по сути аналог Power BI, т.е. юзеры могу фильтроваться по текущему датасету, но не могу изменять этот датасет. Типичный юзкейс описал выше, допустим у нас есть миллионы номенклатуры и юзеру нужно получить данные по определенным 100. Такое можно реализовать в superset?
источник

PZ

Pavel Zheltouhov in Python для анализа данных
ну вообще-то придется потанцевать с шаблонами. не очень то развитое ПО

а если фильтры чисто по датам и группам, то довольно легко все
источник

EZ

Egor Zhulanov in Python для анализа данных
Создаете параметры по которым возможно сделать фильтрацию, делаете 1 обязательный и остальные необязательные и пользователь сам решит, что ему нужно.

через поле со списком выбирать нужные id.
источник

PZ

Pavel Zheltouhov in Python для анализа данных
все-таки не очень понятно как по-вашему должен выглядеть интерфейс даже на 100 элементов?
вот если в sql будет уже погруппировано, то тогда нормально
источник

А

Алексей in Python для анализа данных
ну с датами и Power BI справится легко. Тут дело в том, что пользователи просто фильтруют существующий датасет. Если значений в фильтре не много, то это ок. А если миллионы, то так работать не будет
источник

EZ

Egor Zhulanov in Python для анализа данных
если миллионы, то он находит нужный фильтром и выбирает нужный)
источник

А

Алексей in Python для анализа данных
в веб виде, как я это реализовал сейчас всё просто, юзер просто вставляет список из айдишников в форму, бэк разбирает их и добавляет в sql запрос
источник

PZ

Pavel Zheltouhov in Python для анализа данных
https://youtu.be/rEz7cuS0ZVs?t=171
например тут на 2:50 выбирает страны
источник

А

Алексей in Python для анализа данных
ну это не серьезно, плюс скорее всего BI ляжет, потому что мы будем тянуть 10ки миллионов строк и потом оставлять 0,01% от них. Не говоря уже о удобстве пользования со стороны юзера
источник

EZ

Egor Zhulanov in Python для анализа данных
вы придумываете велосипед)
если не хотите, чтобы BI лег))), создайте на каждый параметр отдельный датасет с нужными таблицами, у вас все будет последовательно подгружаться и все, ничего не ляжет. время обработки каждого запроса для параметра миллисекунды
источник

PZ

Pavel Zheltouhov in Python для анализа данных
ну вообще, в superset можно даже загружать таблички с группами базу чтобы потом уже делать предопределенный join. вместо сложного интерфейса.

а если у вас power bi есть, то вообще никаких проблем.
источник

А

Алексей in Python для анализа данных
вы не понимаете похоже. Давайте еще раз...у юзера есть список айдишек, допустим в Экселе. Ему нужно получить данные именно по этим айдишкам, как ему вставить эти айдишки в фильтр PBI?
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Ну потормозит и потормозит.
источник

EZ

Egor Zhulanov in Python для анализа данных
а если хотите так, используйте Machine Learning Services на SQL с подключенным Python и выгружайте напрямую без PBI и тд сервисов, только выведите bat для пользователя, для запуска
источник

А

Алексей in Python для анализа данных
плюс, опять же...юзеру нужно в результате 1000 строк, а я буду тащить  100 млн. в датасет, чтобы он мог получить малую толику из них
источник

А

Алексей in Python для анализа данных
а интерфейс для ввода этих данных от юзера какой должен быть? :)
источник