В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Machine learning

7646 membersпожаловаться на группу
2020 December 14

НС

Никита Семёнов... in Machine learning
Что значит дампить на диск?
источник
17:29пожаловаться#1

GB

George Boole in Machine learning
Никита Семёнов
Что значит дампить на диск?
грузи по батчам
источник
17:30пожаловаться#2

НС

Никита Семёнов... in Machine learning
--.--
источник
17:30пожаловаться#3

GB

George Boole in Machine learning
это не дамп, это просто совет
источник
17:30пожаловаться#4

AA

Andrey Ananev in Machine learning
Никита Семёнов
Что значит дампить на диск?
Промежуточные массивы или блоки больших матриц сохранять на жесткий диск
источник
17:30пожаловаться#5

GB

George Boole in Machine learning
Никита Семёнов
--.--
?
источник
17:31пожаловаться#6

НС

Никита Семёнов... in Machine learning
А как это организовать?
источник
17:31пожаловаться#7

GB

George Boole in Machine learning
уф
источник
17:31пожаловаться#8

AA

Andrey Ananev in Machine learning
Зависит от структуры данных, сначала попробуй простые варианты
источник
17:31пожаловаться#9

DS

Denis Stadnik in Machine learning
Никита Семёнов
Что значит дампить на диск?
https://stackoverflow.com/questions/38515433/pickle-dump-pandas-dataframe
Stack Overflow
Pickle dump Pandas DataFrame
This is a question from a lazy man.

I have 4 million rows of pandas DataFrame and would like to save them into smaller chunks of pickle files.

Why smaller chunks?
To save/load them quicker.

My
источник
17:31пожаловаться#10

V

Valery in Machine learning
источник
17:32пожаловаться#11

AA

Andrey Ananev in Machine learning
Никита Семёнов
Что делать, если возникает memory error при работе с крупными датасетами?
Пишет, что не может выделить 180Мб на массив размера (4200, 5062)
x64  а не x32 - это про версию python
источник
17:33пожаловаться#12

DS

Denis Stadnik in Machine learning
Никита Семёнов
А как это организовать?
вообще с 8гб памяти не должно быть проблем с таким датафреймом.
источник
17:34пожаловаться#13

DS

Denis Stadnik in Machine learning
Проверь сначала версию действительно
источник
17:35пожаловаться#14

НС

Никита Семёнов... in Machine learning
32 бита, действительно
источник
17:37пожаловаться#15

AA

Andrey Ananev in Machine learning
Denis Stadnik
вообще с 8гб памяти не должно быть проблем с таким датафреймом.
+
источник
17:38пожаловаться#16

НС

Никита Семёнов... in Machine learning
Спасибо большое, сча 64 поставлю
источник
17:38пожаловаться#17

GB

George Boole in Machine learning
Погодите, причём тут разрядность?
источник
17:40пожаловаться#18

R

Roman in Machine learning
а если обучить модель линейной регрессии на всех данных и затем проверить её на этих же данных (без разбиения) тогда коэффициент детерминации будет равен 0?
источник
17:41пожаловаться#19

GB

George Boole in Machine learning
Датасет же мизерный
источник
17:41пожаловаться#20