Size: a a a

Python для анализа данных

2021 November 16

T

Tishka17 in Python для анализа данных
json - это формат представления в виде строки некоторых типов данных, таких как списки, строки, числа или словари
источник

T

Tishka17 in Python для анализа данных
При парсинге строки, содержащей данные в формате json можно получить словарь, список или ещё что-то из поддерживаемых типов.

Например,

json.loads("null")
json.loads("[1,2]")
источник

VM

Valerii Mamontov in Python для анализа данных
по сути это же один большой словарь) разве нет?
источник

T

Tishka17 in Python для анализа данных
Во-первых, жсон - это строка. Во-вторых, там может быть не словарь закодирован
источник

VM

Valerii Mamontov in Python для анализа данных
безусловно я сильно упрощаю и умышленно опускаю то, что значениями словаря могут быть и числа и строки... это итак понятно
источник

T

Tishka17 in Python для анализа данных
В данном коде, вы назвали дали название json переменной, которая не имеет к жсону никакого отношения.
источник

T

Tishka17 in Python для анализа данных
Не значения словаря. Словаря может не быть вообще. Выше примеры
источник

VM

Valerii Mamontov in Python для анализа данных
Конечно, спорить не буду.
Но в большинстве случаев в json упаковывают что-то такое, что сложнее набора строк или списка чисел.
источник

T

Tishka17 in Python для анализа данных
Конечно, например, список словарей или список списков
источник

T

Tishka17 in Python для анализа данных
Просто потом получаются такие ляпы, как pandas.json_normalize, который вообще не имеет никакого отношения к json
источник

DS

Denys Sedykh in Python для анализа данных
Я не могу понять синтаксис.

for token in data['messages'][0]['text']:
   for tokenName in data['text']:
           print(tokenName)

Что мне необходимо исправить, чтобы оно заработало?
источник

AG

Arsen Gumin in Python для анализа данных
Вся разница в том, что жысон это строка в определённом шаблоне(которые могут быть разные), а словарь это хэш таблица как фундаментальная структура
источник

KM

Konstantin Mohov in Python для анализа данных
я бы посоветовал не спрашивать ответ, а попытаться понять. Для начала почитать пару ресурсов, посоздавать словари, от простейших к более сложным
https://www.geeksforgeeks.org/python-dictionary/
источник

DS

Denys Sedykh in Python для анализа данных
Спасибо за ресурс.
источник

MM

Makar Minchenko in Python для анализа данных
Друзья, помогите разобраться с тем, как работает импорт модулей на питоне

ситуация:
1) есть DAG внутри которого вызываются функции импортируемые из файла
2) файл лежит в папке в виртуальном окружении внутри папки с DAG`ами
3) внутри этого файла происходит импорт библиотек из виртуального окружения
4) airflow говорит, что DAG поломанный, и что модуль не установлен

Прикрепляю схему, если структура не файлов не понятна

Собственно, вопрос : как мне произвести import рабочих функций из этого файла в DAG?

Может быть, я что-то принципиально не понимаю в том, как работает виртуальная среда и импорт файлов
источник

I

Igor in Python для анализа данных
Может попробуй добавить папку с дагами в окружение через sys.insert?
источник

MM

Makar Minchenko in Python для анализа данных
хм, возможно это сработает, если добавить путь к виртуальному окружению в path variable

насколько я понял виртуальное окружение реиндексирует папки говоря какой интерпретатор питона использовать и где искать пакеты в первую очередь

в таком случае проблема может быть в том, что у airflow свои  path variables и он просто не видит пакеты установленные в виртуальном окружении (хотя это странно, потому что он видит файл из которого импортируют функции, но не видит пакеты, находящиеся в том же виртуальном окружении)
источник

M

Mikhail in Python для анализа данных
Сам airflow в том же окружении? И из него запускается?
источник

M

Mikhail in Python для анализа данных
Второе - венв разве должен тупо видеть то что у него лежит в modules? Я не оч в курсе
источник

M

Mikhail in Python для анализа данных
Но как я обычно поступал - клал модули тупо внутри dags
источник