в бд)

Просто перебераю по айди, и когда перезапускаю нужно чтобы состояние сохранялось. В скрапи есть встроенный такой счетчик?

встроенный счётчик чего?

айди, его просто инкрементю с 1 до n

нет, в скрапи такого конечно не встроено

или руками сейв-лоад или https://docs.scrapy.org/en/latest/topics/jobs.html#keeping-persistent-state-between-batches

1) А если гуглу говорить site: и inurl: (в Яндексе так называется этот параметр, в гугле может чуть иначе) в котором подставлять разделы/подразделы + использовать команды гуглу для разной сортировки

2) а как на сайте устроена навигация по этим 1,4млн страниц? Неужели только через поиск - по названию стартапа? Должно же быть что-то вроде "похожие" и т.п.? Или разные сочетания фильтров?

3) к site: , если через поиск гугла - можно добавлять и разные слова, тем самым получая разные наборы ответов. Слова - можете из меню взять ...или сделать словарь частот, хотя бы на основе заголовков спарсенных страниц. Но это странное решение) с трудом верится, что на сайте нет возможности собрать ссылки на все страницы

Как из html можно вытащить все теги как они есть с атрибутами и в список засунуть? Но не через регулярки...

Циклом по response.css('*')

Он вытащит в таком виде <span class="blabla" title="lala"> или атрибуты в объект распарсит ?

попробуй для начала

Атрибуты в .attrib

Или где-то там

В объект)

Мне нужно чтобы сохранялось именно в таком виде <span class="blabla" title="lala"> ибо потом буду делать замены в тексте по этим тэгам. Если делать через регулярку вроде <[^<]*?>

То кривая верстка или  тэг > в кавычках ломает все...

Может есть какая либа что такое умеет делать?

лучше так:
<[^>]+?>

а не проще взять все в виде объектов, и обходя дерево, просто перебирать аттрибуты и менять, что нужно, рег. выражением?

или просто сразу взять тэги вот так: <[^>]+?>