хотя не очень понял( этот дамп можно из питона сделать?

Столкнулся с интересной задачей, когда Jupyter падает от недостатка памяти.
В общем, есть два запроса к mysql. Первый достает список пользователей из одной базы, второй достает данные по этим позьзователям из другой базы.
Первый запрос достает около 100к строк (небольшой дф). А потом начинается веселуха, т.к. на каждого юзера в среднем 2-3К записей из второй базы. Я сделал выгрузку чанками, более-менее отпимизировал их кол-во (чтобы не слишком много, но и не по 10 штук вытаскивать). Так вот во время выгрузки второго запроса kernel падает по памяти. На машине всего 8 гиг оперативы.
Как можно было бы оптимизировать это? По идее можно как-то промежуточные результаты кешировать где-то, но может кто уже решал такое.

Для меня в таких случаях работает следующий способ:
Извлекаю данные из БД, итерируясь по датам
pd.read_sql(query.format(date=target_date), con=engine, ...)
и сохраняю каждый файл в отдельный pickle.
Пока грузятся все даты, можно в другом ноутбуке так же последовательно обрабатывать/агрегировать уже сохраненные pickle-файлы.
Правда, работать такой способ будет только тогда, когда есть возможность агрегировать в пределах даты/клиента/чанка клиентов.

Всем привет. Подскажите, как получить из датафрейма вида:
есть датафрейм
df = pd.DataFrame(np.array([[1,2,3], [4,5,6], [7,8,9], [1,2,3]]), columns=['a', 'b', 'c'])
И он выглядит так.
Как я могу получить сгруппированный датафрейм по столбцу 'а',
чтобы у меня получилось следующее

Привет! Кто-нибудь знает как передать csv файл из Jupyter в clickhouse, чтобы потом использовать данные из него для дальнейших фильтраций?

Через внешние таблицы.
Если не забуду, скину завтра. Или в ЛС напомните пример

@ax_makarov а можете немного объяснить, если не трудно?
я пытался сначала сделать новый столбец df['values'] = [df['b'], df['c']] и уже обламывался на этом этапе, так и не понял, что было неправильно