Телеграмм чат группы pydata

В особенности если предполагается работа такого же формата в потоке

18:56пожаловаться #1

СИ

Artemiy Dubovoy

Я бы советовал вам разделить слои работы с данными по инструментам:
1. Забираем и обрабатываем питоном
2. Складываем в базу (можно поднять какой-то самый простой постгрес и не париться)
3. Обращаемся к базе средством визуализации (из бесплатных могу посоветовать metabase и superset)

хм. о втором шаге даже не подумал.
т.е. сначала все уложить в таблицы внутри БД, а потом к ним ходить через sql-запросы?

Makha Cloud in Python для анализа данных

18:57пожаловаться #2

MC

мысль такая: все расчеты показывать не нужно, в итоге хочется получить "чистый" дашборд, а всю логику спрятать от пользователя

Продаёте?)

18:57пожаловаться #3

AD

хм. о втором шаге даже не подумал.
т.е. сначала все уложить в таблицы внутри БД, а потом к ним ходить через sql-запросы?

Конечно, так проще всего

18:57пожаловаться #4

PZ

хм. о втором шаге даже не подумал.
т.е. сначала все уложить в таблицы внутри БД, а потом к ним ходить через sql-запросы?

ну тогда труба - придется позвать программиста, тимлида, тестировщика . и все равно всех их учить программировать (

Makha Cloud in Python для анализа данных

18:57пожаловаться #5

MC

ну тогда труба - придется позвать программиста, тимлида, тестировщика . и все равно всех их учить программировать (

Зачем?)))

18:58пожаловаться #6

PZ

Makha Cloud

Зачем?)))

таково Проклятье

18:58пожаловаться #7

AD

хм. о втором шаге даже не подумал.
т.е. сначала все уложить в таблицы внутри БД, а потом к ним ходить через sql-запросы?

Откуда вы берёте данные для ноутбуков? Если из базы, то прям там и сделайте базу/схему под то, что выплёвывают ноутбуки

Makha Cloud in Python для анализа данных

18:58пожаловаться #8

MC

таково Проклятье

Оно уже начало действовать?)

18:58пожаловаться #9

СИ

ну тогда труба - придется позвать программиста, тимлида, тестировщика . и все равно всех их учить программировать (

мсье изволит в юмор?

18:58пожаловаться #10

AD

хм. о втором шаге даже не подумал.
т.е. сначала все уложить в таблицы внутри БД, а потом к ним ходить через sql-запросы?

Крутить по расписанию скрипты можно первое время хоть crontab'ом, но лучше освоить какой-то шедулер типа Airflow или аналогичных

18:58пожаловаться #11

PZ

мсье изволит в юмор?

Ну вы же отказываетесь от простейшего

18:59пожаловаться #12

СИ

Artemiy Dubovoy

Крутить по расписанию скрипты можно первое время хоть crontab'ом, но лучше освоить какой-то шедулер типа Airflow или аналогичных

ок, спасибо. выглядит вполне себе решением.

18:59пожаловаться #13

СИ

Ну вы же отказываетесь от простейшего

мне оно не очень нравится тем, что выглядит у пользователя не очень. а так - да, наверное, простейшее

18:59пожаловаться #14

PZ

мне оно не очень нравится тем, что выглядит у пользователя не очень. а так - да, наверное, простейшее

да уж получше чем баги в суперсете отлавливать

19:00пожаловаться #15

AD

да уж получше чем баги в суперсете отлавливать

Посмотрю, как вы на viola сделаете отчётность для больше, чем одного человека

19:01пожаловаться #16

AD

Это не масштабируемое решение

19:01пожаловаться #17

PZ

было б куда масштабироваться) все аналитические модели скорее делаются на выброс

19:02пожаловаться #18

AD

Поэтому я в начале и оговорился, что моё решение для работе в потоке, а не для одноразовой работы

19:03пожаловаться #19

AD

Хотя по-моему лучше сразу заложить минимальную базу, от которой можно плясать потом