Телеграмм чат группы pydata

У меня получилось что средняя цсв-шка должна быть где-то 100-200 байт на строку (с учетом что юникод 2-4 бита за знак), значит если на машине 8 свободных гб, это порядка 400млн рядов. Верно?
А, если в 10 раз меньше, значит в районе 40 млн рядов, плюс-минус порядок.

источник

15:21пожаловаться #8

Zurab in Python для анализа данных

интересно, запомню

источник

15:21пожаловаться #9

helby in Python для анализа данных

https://wesmckinney.com/blog/apache-arrow-pandas-internals/

Wes McKinney

Apache Arrow and the "10 Things I Hate About pandas"

This post is the first of many to come on Apache Arrow, pandas, pandas2, and the general trajectory of my work in recent times and into the foreseeable future. This is a bit of a read and overall fairly technical, but if interested I encourage you to take the time …

источник

15:22пожаловаться #10

Valerii Mamontov in Python для анализа данных

классно! я тоже не знал об этом)

источник

15:28пожаловаться #11

helby in Python для анализа данных

Выше статью кинул, от МакКини, создателя Панд

Почитайте, занимательно

источник

15:30пожаловаться #12

Valerii Mamontov in Python для анализа данных

можно ещё проще:

list_tuples = [(1, 2), (3, 4), (100, 20), (23, 23)]

with open('file.csv', 'a') as file:
    for my_tuple in list_tuples:
        a, b = my_tuple
        file.write(f'{a};{b}\n')

источник

15:36пожаловаться #13

v in Python для анализа данных

Какой у вас любимый ресурс куда вы лезете с вопросом "как лучше всего сделать X в пандах?". С учетом того, что часто одну и ту же вещь можно сделать 2-3 разными способами.
У меня пока только очевидные доки панд и стековерфлоу.

источник

15:42пожаловаться #14

helby in Python для анализа данных

гугл в целом, наверное

источник

15:44пожаловаться #15

Pavel Zheltouhov in Python для анализа данных

Очевидно, что аналитик должен понимать как работает гугл и предпочитать гугл.
Разве stackoverflow в состоянии сам сделать поиск по себе?

источник

15:50пожаловаться #16

Pavel Zheltouhov in Python для анализа данных

А хотя есть еще один важный момент:
программирование по stackoverflow решает конкретные задачи, но не развивает понимание и память.

источник

15:59пожаловаться #17

Ilya Shutov in Python для анализа данных

Книги? Разные кукбуки для этого дела хороши

источник

17:10пожаловаться #18

Ilya Shutov in Python для анализа данных

Отнюдь. На SO иногда такие подробные разборы есть, что иные лекции в подметки не годятся. Наблюдение в отрыве от частной библиотеки, в целом.

источник

17:30пожаловаться #19

Ilya Shutov in Python для анализа данных

Не совсем, надо по внутренним представлениям типов данных считать. Но в целом подход к оценке верный. И правда, пандас далеко не лучший инструмент, особенно для больших объемов. Wes подробно объясняет почему так получилось. Blockmanager, …

источник

17:49пожаловаться #20