Size: a a a

Python для анализа данных

2021 April 29

БЕ

Борис Евдеев... in Python для анализа данных
У меня есть словарь SQL запросов, где я подставляю список переменныех Дальше эти запросы подставляю в pd.read_sql, чтобы выгрузить из Oracle множество df. Затем df буду соединять. Это надумывал как раз для создания df, а дальше мерджить их...
источник

БЕ

Борис Евдеев... in Python для анализа данных
Пока не придумал, как соединять результаты pd.read_sql без переменных...
источник

ND

Natalya Davydova in Python для анализа данных
а можно пример?
источник

АК

Андрей Карпов... in Python для анализа данных
а зачем вам именно переменные ?
источник

АК

Андрей Карпов... in Python для анализа данных
можете дропнуть один из уровней индекса через droplevel поидее
и получить стандартный фрейм
источник

АК

Андрей Карпов... in Python для анализа данных
https://stackoverflow.com/questions/14189695/reset-a-columns-multiindex-levels вот статейка со схожими примером
источник

БЕ

Борис Евдеев... in Python для анализа данных
Код примерно следующий... Тут нет соединения, еще не доделал... Предполагал получать data1, data2, data3, data4, а после цикла уже соединять все эти df
источник

АК

Андрей Карпов... in Python для анализа данных
а точно нельзя сохранять результаты в список и потом делать конкатенацию по списку?)
источник

АК

Андрей Карпов... in Python для анализа данных
типо список dataframe'ов
источник

АК

Андрей Карпов... in Python для анализа данных
и делать к нему .append
источник

АК

Андрей Карпов... in Python для анализа данных
если dataframe'ы бывают разные можно завести словарь со списками/несколько списков таких
источник

АК

Андрей Карпов... in Python для анализа данных
я может что-то упускаю из виду конечно, потому что решение со списками лежит на поверхности как правило
источник

БЕ

Борис Евдеев... in Python для анализа данных
Из-за внутренних корпоративных ограничений получилось грузить модулем cx_Oracle сразу в pd.read_sql. Изначально хотел получать список списков или json, а дальше обрабатывать. Пока не нашёл другого решения...
источник

АК

Андрей Карпов... in Python для анализа данных
так-с не совсем понятно в чём проблема то)
со списками или словарями =)
источник

АК

Андрей Карпов... in Python для анализа данных
делаете
например
 dict_df = {'df_type_1':[], 'df_type_2':[]} 

если нужно сортировать по типу датафреймы

или же просто список если в этом нет необходимости
и вместо
 data1 = get_orcale_data 

делаете
  dict_df_[df_type_number].append(get_oracle_data)
источник

АК

Андрей Карпов... in Python для анализа данных
мне лично просто очень интересен кейс генерирования переменных
но пока не понятно зачем)
поэтому я искренне хочу вникнуть и соррян если что-то упускаю/не понимаю =)
источник

БЕ

Борис Евдеев... in Python для анализа данных
Возможно, я просто не понимаю, как сделать по-другому, не пробовал. В голове только мысль о переменных 🙂

Идею выше примерно понял, попробую сделать так, а дальше уже соединять. Спасибо за наводку)
источник

ES

Ekaterina Savchenkov... in Python для анализа данных
на этом этапе вроде красиво получатся, но при попытке применить фильтр к столбцу count, допустим results[results.count > 100] - в трейсбеке вот что: TypeError: '>' not supported between instances of 'method' and 'int'
То есть пандас считает его не столбцом, а методом получается
источник

АК

Андрей Карпов... in Python для анализа данных
df.dtypes?
источник

ES

Ekaterina Savchenkov... in Python для анализа данных
источник