Size: a a a

Python для анализа данных

2021 February 08

VM

Valerii Mamontov in Python для анализа данных
Pavel Zheltouhov
А потом я спотыкаюсь об уголь в Пятерочке (
мы все спотыкаемся(
разделяю Вашу боль
источник

PZ

Pavel Zheltouhov in Python для анализа данных
надеюсь им все-таки надо было чем-то машину забить. уголь же без срока хранения.
источник

VM

Valerii Mamontov in Python для анализа данных
Pavel Zheltouhov
А потом я спотыкаюсь об уголь в Пятерочке (
в любом случае - это лучше, чем если бы мы все смотрели видосики про котиков в ВК
источник

VM

Valerii Mamontov in Python для анализа данных
пройдёт время, сформируются новые нейронные связи, отточатся навыки...
хотя... а давайте лучше пойдём все рисовать сайтики или пилить видосы для ТикТока
источник

VM

Valerii Mamontov in Python для анализа данных
источник

КД

Кирилл Дмитриевич... in Python для анализа данных
Valerii Mamontov
Как я понимаю - всё (текст и фото) перегоняется в чиселки и потом нейроночка считает эти чиселки, складывает между собой, перемножает, подставляет формулки... сама генерит фичи, сравнивает результаты... делает "магию")) и бац... искусственный интеллект
Искусственным интеллектом нейросети (совокупность линейных классификаторов) называют скорее по причине схожих с мозгом принципов работы
источник

VM

Valerii Mamontov in Python для анализа данных
Кирилл Дмитриевич
Искусственным интеллектом нейросети (совокупность линейных классификаторов) называют скорее по причине схожих с мозгом принципов работы
Да, я немного знаком и с тем и с другим
источник

h

helby in Python для анализа данных
Добрый день. Сталкивались ли вы с визуализацией в ПБИ через Пайтон?

Мне нужно картинки по условию отобразить через скрипт пайтона, чтобы по фильтру в ПБИ показывалось то или иное изображение.

Такое вообще возможно?
источник

СИ

Сергей Ильин... in Python для анализа данных
helby
Добрый день. Сталкивались ли вы с визуализацией в ПБИ через Пайтон?

Мне нужно картинки по условию отобразить через скрипт пайтона, чтобы по фильтру в ПБИ показывалось то или иное изображение.

Такое вообще возможно?
сейчас над такой же задачей работаю.
вроде, он умеет:
https://docs.microsoft.com/ru-ru/power-bi/connect-data/desktop-python-scripts
источник

h

helby in Python для анализа данных
Просто построение графиков в ПБИ - без проблем. А вот загрузить картинки, и отображать их по фильтру - вопрос

Но спасибо))
источник

З

Замбези in Python для анализа данных
Здорово. Спасибо
источник

З

Замбези in Python для анализа данных
+
источник

СИ

Сергей Ильин... in Python для анализа данных
Посоветовали спросить тут:

На входе есть сейчас юпитер-ноутбук, содержащий некую логику верчения csv-шника и построения графиков по нему
но ю-н - это совсем не продакшен решение. Хочется более строго и хорошо.
Подскажите, можно ли сделать так (или, если это bad-way, скорректируйте)

1/ переписываю код в пы-файл из .ipynb, чтобы запуская его, вся логика считалась сразу.
2/ те места, которые предполагают графики - выношу в Табло/ПБИ (вроде, в питон оно умеет, так?)
3/ поднимаю на машинке сервер для того, чтобы отрисовать дашборд в Табло и отдать во фронт
4/ стучусь внутри локальной сети к этому айпишнику, в браузере вижу красоту.

смущает еще вот какая штука:
когда в юпитере считаю графики, я, по сути, читаю датасет в память и оттуда строю несколько разных графиков, беря данные из одного места.
Если я использую Табло - я должен каждый раз подгрузить датасет по количеству графиков, которые нужно построить из него? или есть возможность данные загрузить туда и там уже вертеть?

если можете - расскажите, пожалуйста.[

UPD
Есть второй вариант - выкинуть Табло и самому передать данные на фронт и отрисовать в JS (но это геморрой, наверное)


В общем, кто как делает?
Извините за путанное изложение мыслей и многобукв
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Сергей Ильин
Посоветовали спросить тут:

На входе есть сейчас юпитер-ноутбук, содержащий некую логику верчения csv-шника и построения графиков по нему
но ю-н - это совсем не продакшен решение. Хочется более строго и хорошо.
Подскажите, можно ли сделать так (или, если это bad-way, скорректируйте)

1/ переписываю код в пы-файл из .ipynb, чтобы запуская его, вся логика считалась сразу.
2/ те места, которые предполагают графики - выношу в Табло/ПБИ (вроде, в питон оно умеет, так?)
3/ поднимаю на машинке сервер для того, чтобы отрисовать дашборд в Табло и отдать во фронт
4/ стучусь внутри локальной сети к этому айпишнику, в браузере вижу красоту.

смущает еще вот какая штука:
когда в юпитере считаю графики, я, по сути, читаю датасет в память и оттуда строю несколько разных графиков, беря данные из одного места.
Если я использую Табло - я должен каждый раз подгрузить датасет по количеству графиков, которые нужно построить из него? или есть возможность данные загрузить туда и там уже вертеть?

если можете - расскажите, пожалуйста.[

UPD
Есть второй вариант - выкинуть Табло и самому передать данные на фронт и отрисовать в JS (но это геморрой, наверное)


В общем, кто как делает?
Извините за путанное изложение мыслей и многобукв
А вы voila смотрели?
Просто может и не нужно так сложно.
Однако, если у вас в ноутбуке длительные расчеты, то voila будет их сначала повторять. Все как в ноутбуке.
источник

СИ

Сергей Ильин... in Python для анализа данных
Pavel Zheltouhov
А вы voila смотрели?
Просто может и не нужно так сложно.
Однако, если у вас в ноутбуке длительные расчеты, то voila будет их сначала повторять. Все как в ноутбуке.
мысль такая: все расчеты показывать не нужно, в итоге хочется получить "чистый" дашборд, а всю логику спрятать от пользователя
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Сергей Ильин
мысль такая: все расчеты показывать не нужно, в итоге хочется получить "чистый" дашборд, а всю логику спрятать от пользователя
так это зависит от того насколько сложная логика. может ее там особо  и нет, тогда и voila не проблема
источник

СИ

Сергей Ильин... in Python для анализа данных
Voila, все же (как я понял) - она действительно идет от логики ноутбука. Это не совсем то, что я бы хоте собрать.
источник

СИ

Сергей Ильин... in Python для анализа данных
то есть, "графики друг за другом" - норм, у меня сейчас так в ноутбуке именно так и посчитано, но это не совсем "пользовательское решение"
источник

PZ

Pavel Zheltouhov in Python для анализа данных
ничего не мешает сделать два ноутбука и один из них смотреть voila
источник

AD

Artemiy Dubovoy in Python для анализа данных
Сергей Ильин
Voila, все же (как я понял) - она действительно идет от логики ноутбука. Это не совсем то, что я бы хоте собрать.
Я бы советовал вам разделить слои работы с данными по инструментам:
1. Забираем и обрабатываем питоном
2. Складываем в базу (можно поднять какой-то самый простой постгрес и не париться)
3. Обращаемся к базе средством визуализации (из бесплатных могу посоветовать metabase и superset)
источник