Питон построчно может все схавать вроде как

Нет, датафрейм должен в память влезть + место на операции

Так это если пандас
А если просто файл читать построчно

ну человек про пандас вопрос задал. и дело же в том чтобы обработать, а не только прочитать

Я больше к тому, что если затык в помещении в память, можно пробовать читать и обрабатывать построчно, если это возможно

Это далеко не всегда поможет, но мало ли

можно

но это будет велосипед, который  уже реализован в dask нормально; поэтому если нет ограничений на зависимости, лучше его взять

Понятно, спасибо за разъяснение

Народ, почему более трёх and после if в цикле не воспринимает? хочу отфильтровать по 3ём условиям, как это сделать в этом цикле без особых костылей ?

def type_box(row):
   if row['MaxSide'] <= 460 and row['MeanSide'] <= 330 and row['MinSide'] <= 290:
       return 'Blue box'
   if 460 < row['MaxSide'] <= 660 and 330 < row['MeanSide'] <= 490 and 290 < row['MinSide'] <= 355:
       return 'Black box'
   if row['pcs'] == 2 and 460 < row['MaxSide'] <= 660 and 330 < row['MeanSide'] <= 490 and 290 < row['MinSide'] <= 355:
       return 'Black box 2 pcs'
   else:
       return 'another'

то есть у меня он не возращает Black box 2 pcs, по моим догадкам, т.к. более 3х end стоит

а ничего, что пересекаются диапазоны?

290 - X - 355 и 330 - X - 490. Такое условие вообще возможно?

не там MaxSide MeanSide MinSide

разные стороны

а, сорри, не заметил

по факту если потом фильтровать отдельно через лок или квери по штукам, всё считается, но я хочу в цикле сразу ранжировать

а после наложения какого из 4 условий перестаёт возвращать?

Заключи условие в скобки

хм, хотя если убирать второе условие работает