OB
а как правильно на русском?
Size: a a a
2019 October 05
OB
мне кажется лучше вообще не переводить такое
ВЛ
просто бы на столбец перевели
АМ
Ну Series это не совсем column
АМ
При этом Series не обязательно может быть колонкой датафрейма. Так что лучше вообще не переводить)
AK
Скорее ряд в значении последовательность надо переводить
АМ
Также как list compreheshion - трудно переводится на русский)
ВЛ
а pd pivot ?)
ЕА
Понял, спасибо за ответы. Буду звать их Series 😎
AK
Я бы даже сказал, что лучше книги читать вообще не на русском.
ВЛ
а я не понимаю как можно читать бумажные книги о программировании
ЕА
Я бы даже сказал, что лучше книги читать вообще не на русском.
Меня интересовало больше как два аналитика общаясь между собой будут их называть, ответ получил, а по поводу оригинала, не каждый знает английский на таком уровне, увы
NK
Всем привет, вопрос наверное простой, но что то завис) Буду рад любым советам по поводу как реализовать парсинг тематический чатов в телеграмме на python😓
YP
ID:425353012
Всем привет, вопрос наверное простой, но что то завис) Буду рад любым советам по поводу как реализовать парсинг тематический чатов в телеграмме на python😓
Копай в сторону либы pyrogram. Заведи отдельный аккаунт, вступи в нужные группы и отлавливай сообщения
NK
Копай в сторону либы pyrogram. Заведи отдельный аккаунт, вступи в нужные группы и отлавливай сообщения
Благодарю
2019 October 08
OA
Столкнулся с интересной задачей, когда Jupyter падает от недостатка памяти.
В общем, есть два запроса к mysql. Первый достает список пользователей из одной базы, второй достает данные по этим позьзователям из другой базы.
Первый запрос достает около 100к строк (небольшой дф). А потом начинается веселуха, т.к. на каждого юзера в среднем 2-3К записей из второй базы. Я сделал выгрузку чанками, более-менее отпимизировал их кол-во (чтобы не слишком много, но и не по 10 штук вытаскивать). Так вот во время выгрузки второго запроса kernel падает по памяти. На машине всего 8 гиг оперативы.
Как можно было бы оптимизировать это? По идее можно как-то промежуточные результаты кешировать где-то, но может кто уже решал такое.
В общем, есть два запроса к mysql. Первый достает список пользователей из одной базы, второй достает данные по этим позьзователям из другой базы.
Первый запрос достает около 100к строк (небольшой дф). А потом начинается веселуха, т.к. на каждого юзера в среднем 2-3К записей из второй базы. Я сделал выгрузку чанками, более-менее отпимизировал их кол-во (чтобы не слишком много, но и не по 10 штук вытаскивать). Так вот во время выгрузки второго запроса kernel падает по памяти. На машине всего 8 гиг оперативы.
Как можно было бы оптимизировать это? По идее можно как-то промежуточные результаты кешировать где-то, но может кто уже решал такое.
D
Столкнулся с интересной задачей, когда Jupyter падает от недостатка памяти.
В общем, есть два запроса к mysql. Первый достает список пользователей из одной базы, второй достает данные по этим позьзователям из другой базы.
Первый запрос достает около 100к строк (небольшой дф). А потом начинается веселуха, т.к. на каждого юзера в среднем 2-3К записей из второй базы. Я сделал выгрузку чанками, более-менее отпимизировал их кол-во (чтобы не слишком много, но и не по 10 штук вытаскивать). Так вот во время выгрузки второго запроса kernel падает по памяти. На машине всего 8 гиг оперативы.
Как можно было бы оптимизировать это? По идее можно как-то промежуточные результаты кешировать где-то, но может кто уже решал такое.
В общем, есть два запроса к mysql. Первый достает список пользователей из одной базы, второй достает данные по этим позьзователям из другой базы.
Первый запрос достает около 100к строк (небольшой дф). А потом начинается веселуха, т.к. на каждого юзера в среднем 2-3К записей из второй базы. Я сделал выгрузку чанками, более-менее отпимизировал их кол-во (чтобы не слишком много, но и не по 10 штук вытаскивать). Так вот во время выгрузки второго запроса kernel падает по памяти. На машине всего 8 гиг оперативы.
Как можно было бы оптимизировать это? По идее можно как-то промежуточные результаты кешировать где-то, но может кто уже решал такое.
у меня был чуть другой кейс когда кернел не выдерживал, но возможно поможет. если в первом df содержатся ключи, по которым ты хочешь достать значения из второго большого df, то второй df можно вытащить как json-дамп и вытягивать из него значения по ключу, не читая его
OA
хм. а если у меня нет второго дф? он точно в пямять не залезет. я поэтому и делаю подзапросами. или я не так понял?
D
хм. а если у меня нет второго дф? он точно в пямять не залезет. я поэтому и делаю подзапросами. или я не так понял?
его не нужно полностью читать/ загружать в память. можно сделать дамп базы в json или jsonl формате и обращаться к дампу как к словарю
OA
ухты. а можно пример?