Size: a a a

Python для анализа данных

2021 August 12

i

ivan in Python для анализа данных
уважаемый  товарищь Давай тоже отрыжек и оскорблений.
источник

i

ivan in Python для анализа данных
Без
источник

IS

Ilya Shutov in Python для анализа данных
1. не по адресу.
2. здесь 2.4К участников. нежелание четко сформулировать вопрос = неуважение * 2.4К
источник

i

ivan in Python для анализа данных
Нечетко сформулированеый вопрос. В чем здесь оскорбление?
А вот писать как ты там написал "отрыжка" . Я бы посоветовал тебе за языком своим следить.  Умный. Ментальный человек.
источник

h

helby in Python для анализа данных
Ну оскорбление в том, что вы своим вопросом без кода, и без выдаваемой ошибки, просто заставляете людей зайти сюда, и выйти

То есть как минимум, новый участник увидит что здесь лишь болтология, а не группа вопросов и ответов.

Вот правда, вы можете мне обьяснить, как вам могут помочь, в группе по Питону, без примера кода на питоне?
Люди должны догадываться что вы в коде написали?
источник

A

Andrey Denisov in Python для анализа данных
Хорош сраться.
У одних жЁпа горит от бестолковой или просто никакой постановки задачи, у других - от пустых "комментаторов". Многократно обсуждали - давайте друг друга уважать.

Одни - если хотят помощи - должны формулировать как для условного stackoverflow, другие - если помочь не могут - просто промолчать.
Ну и всегда можно заигнорить надоевшего человека.
источник

VM

Valerii Mamontov in Python для анализа данных
Свою проблему с авторизацией решили?
источник

IS

Ilya Shutov in Python для анализа данных
Егор, смотрю, все осталось без ответа. По-крайней мере, в чате.
Тогда еще раз вернусь к вопросу.

Итерирование по древовидным структурам json большого объема — непривитая культура разработки. Тут нет ничего личного.  
Предлагаю не заниматься итерированием, а воспользоваться специализированным json парсером jq.

Собственно, можно поиграть с командами преобразования можно на https://jqplay.org/ или https://jqterm.com/
источник

IS

Ilya Shutov in Python для анализа данных
Берем исходный файл
источник

IS

Ilya Shutov in Python для анализа данных
Смотрим на структуру. Похоже, что down по структуре дублирует up, поэтому достанем только ветку down. Придумываем команду трансформации.

Вот рабочая мантра для этого кейса:
[.[].down | del(.childs, .sscc) + .childs[]]
источник

IS

Ilya Shutov in Python для анализа данных
источник

IS

Ilya Shutov in Python для анализа данных
поскольку на jq можно работать где угодно, включая командную строку, приведу полный код на R, мне так удобнее:
{r}
df <- here::here("data", "etl_speed", "sample1.json") %>%
 readr::read_file() %>%
 jqr::jq('[.[].down | del(.childs, .sscc) + .childs[]]') %>%
 jsonlite::fromJSON()
источник

IS

Ilya Shutov in Python для анализа данных
Перекладывайте эту одну строку на питон...
источник

IS

Ilya Shutov in Python для анализа данных
Ну что, так проще? А уж насколько быстрее это отрабатывает в проде на объемах!
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Разве это проще, если требует освоения еще одного инструмента?
Да и прода у аналитика может не быть как такового
источник

VM

Valerii Mamontov in Python для анализа данных
Спасибо за интересный парсер. Я про такой не слышал. Возьму себе на заметку!
источник

h

helby in Python для анализа данных
Так в течении своей деятельности, карьерной, вы тоже одним инструментом не ограничитесь. На питоне свет клином не сошелся
источник

d3

d3c0d1ng 3rr0r in Python для анализа данных
джулия забавная штука, хоть я до нее так и толком не добрался пока
источник

IS

Ilya Shutov in Python для анализа данных
Павел, право смешно уже. Ну на все найдется отрицательный ответ, пусть хоть он даже не в тему.

Ничего учить не надо — так еще проще.
Дайте аналитику абак — так проще.
jq — утилита весом 3 Мб (https://github.com/stedolan/jq/releases), является популярным средством даже у сисадминов. Можно даже их блоги почитать, например, https://ubuntu.com/blog/improving-cli-output-with-jq

Но аналитику, конечно же, пайпы и функциональный подход jq не осилить!

Напишите свой рабочий вариант кода и положите в чат, а коллеги здесь и сравнят. С одной строчкой Вам не побороться — это неопровержимый факт. Ни по скорости, ни по простоте.

Я спорить не буду — мне это не интересно.
источник

PZ

Pavel Zheltouhov in Python для анализа данных
Но я не хочу становиться senjor json developer.
источник