отдельно кстати взрывает мозг, что если фрейм был сохранен в файл а потом считан, столбец со списком превращается в столбец со строкой)

Ну так тип колонки ведь object

Чтобы сохранять список можно использовать to_hdf()

👍

to_feather вроде более модно)

всем привет, а кто-то пользовался уже пакетом voila чтобы ноутбуки в веб версию конвертировать, можно ли как-то будет у себя захостить локально?

Добрый день всем!
Есть больше миллиона json-строк с высокой степенью вложенности. Нужен максимально быстрый способ преобразовать их в python объекты. Подскажите, пожалуйста, в какую сторону копать?
Спасибо!

Начните, например, с этого https://habr.com/ru/post/465531/

Посмотрите функцию json_normalize() через аргумеет max_level можно очень многое сделать в pandas 0.25

dgj dfsh, Pavel Niki - спасибо большое за ответы!
>> Распаковка вложенных списков неопределенной глубины
Крутая статья, поиграюсь, посмотрю производительность. Очень интересно.
>> json_normalize() - тоже очень юзабельная фича.

Однако (как и со статьей на Хабре) - эти методы применяются к десериализованному джейсону. А критический затык по производительности происходит на этапе десериализации из строки (json.loads или одноименный метод из более быстрых аналогов ujson, rapidjson, orjson и пр., которые дают незначительный прирост в скорости).

Нашел, в итоге, модуль ijson (с сишным бэкэндом jajl, либо python-реализация в связке с pypy), который позволяет читать сериализованный json с помощью генераторов, собирая только необходимые поля. По некоторым статьям, прирост производительности в сравнении с json.loads и отбрасыванием ненужных полей -> в 100-600 раз. На своих данных ещё не успел потестить. Но выглядит очень даже ничего.

Есть еще идеи? :)

Как-то разбить и распараллелить десериализацию

Не накапливать такое кол-во строк, а почаще их обрабатывать

Можете еще написать какие есть ограничения или какую доп. инфу

Проблема в том, что все эти json-строки хранятся в старом sql server. Так что возможности парсить на стороне БД тоже нет. И каждый день генерится примерно 10-20 ГБ данных.

100 млн строк - это и есть эти 10-20 Гб?

Каждая строка - это отдельная запись в БД?

Почему нельзя не накапливать, а периодически в течение дня обрабатывать их?

Потому что данные за несколько лет, увы, уже накопились в таком формате.

Нет, json только один из столбцов, необходимых для связывания с другими таблицами. Увы, повлиять на способ хранения данных другого ПО повлиять нельзя 😟

Сколько весят данные в одной строке в столбце с json?