спасибо вам огромное за наводки, попробую реализовать

ты лучше скажи, тебе точно надо хранить и использовать 10 Мб текста?

да)

я б наверно этот хлам писал как-то отдельно от остальных полей

ну если там не 10 полей по мегабайту

А зачем ты делаешь это сам с with, есть же стандартные штуки:

И там же в warning написано про  json, что:

JSON is very simple and flexible serialization format, but it doesn’t scale well for large amounts of data since incremental (aka. stream-mode) parsing is not well supported (if at all) among JSON parsers (on any language), and most of them just parse the entire object in memory. If you want the power and simplicity of JSON with a more stream-friendly format, consider using JsonLinesItemExporter instead, or splitting the output in multiple chunks.

Ребята подскажите - допустим мне необходимо выбрать все <h3>, у которых дочерним является <а>. Для чего нужны квадратные скобки для <a>? (XPath)

выбрать h3, такие что у них есть ./a

в []  пишется условие для ноды

так и без квадрытных скобок тоже ведь означает что дочерние элементы?

нет

без квадратных скобок выберутся сами а

у меня наоборот без кв 3шт h3  находит

а с точкой это для чего, Python?

да, потому что условие неправильное