Нужно просто привести к необходимому виду

получается что при создании df надо иметь все индексы и после уже не добавить при варианте с мультииндексом?
Вроде при обычном индексе по другому, если я правильно понимаю своим нубовым умом

Не самое элегантное. Можно лучше

Гугл выручает, опять же: https://stackoverflow.com/questions/52785579/pandas-dataframe-multiindex-merge/52785602

Сложно так с ним. Понял

Привет. Для решения университетской задачи мне нужен специалист по библиотеке Keras, напишите, если сможете, скажи стоимость тоже

что-то тип такого, но чтоб первый индекс тоже не создавать

$ tesseract all.tif letters.box nobatch box.train   
Tesseract Open Source OCR Engine v4.1.1 with Leptonica
Page 1
Error during processing.

что я делаю не так? и как узнать подробнее в чем дело? хочу обучить тессеракт на своих картинках

В панде же есть встроенный метод подсчёта кумуляты по столбцу?

$ tesseract all.tif letters.box nobatch box.train   
Tesseract Open Source OCR Engine v4.1.1 with Leptonica
Page 1
Error during processing.

окей, я не учел начало координато внизу. Однако все равно не работает

...
APPLY_BOXES: boxfile line 68/O ((2154,42),(2166,55)): FAILURE! Couldn't find a matching blob
FAIL!
APPLY_BOXES: boxfile line 69/S ((2187,43),(2196,53)): FAILURE! Couldn't find a matching blob
FAIL!
APPLY_BOXES: boxfile line 76/H ((2408,37),(2424,60)): FAILURE! Couldn't find a matching blob
APPLY_BOXES:
   Boxes read from boxfile:      76
   Boxes failed resegmentation:      66
   Found 10 good blobs.
Generated training data for 9 words

Я не очень понимаю о каких "словах" идет речь в box файле, например тут https://www.endpoint.com/blog/2018/07/09/training-tesseract-models-from-scratch

cumsum штоле?

+
axis=0

Привет! Подскажите как можно с обработкой большого сета справиться?
Pandas ядро умирает через пару операций
Dask не подошёл

vaex?

Ещё можно читать чанками через тот же пандас, но тут зависит от того, насколько нужен какой-то агрегированный результат, исходя из всех данных (если это какие-то суммы или средние, то проще через консольные команды посчитать).

Ещё как вариант: поднять какой-нибудь кликхаус у себя на локалке, загрузить данные в таблицу, и потом воспользоваться обычным SQL

да, спасибо.

+
Ну и кроме того, стоит убедиться, что пандас использует память оптимально — например, посмотреть, каким поля какие форматы присвоены

low_memory=False
может помочь

Привет!
1. Можно изменить типы полей в DataFrame, описано тут.
2. Можно использовать библиотеку MODIN, упоминается тут.
3. Я считывал построчно в память 17 миллионов строк:

with open("files/17mln.csv", encoding="utf-8") as file:
    for line in file:
        pass
        # что-то делаю со строкой