тут есть замечание - можно сразу делать re.split, причем если выражение будет в скобках, оно будет в массиве, если нет - отбросится.
про 300 и 10 ссылок - может где-то кукисы выставлялись в браузере давно, на показ 300 ссылок сразу?

Не кукис 100%

поищи на всякий случай прям цифру 300. у меня просто был похожий сайт, там они как-то base64 шифровались и была длиииинная строка и где-то в середине там было 100, и это был именно вывод по 100

Всем привет 🙂 Подскажите, может есть у кого хороший паук Email адресов с сайтов?

Is it possible to get the attribute of this element without going through any button clicks? (it's hidden basically but the xpath still finds it on the browser). The other way is to execute a script with the xpath by clicking it and making it active which I think will slowdown my process by a huge margin. Is there a workaround for something like this?

disable JS in the browser, check the element path (if it's still present), use that

It's not visible without JavaScript

visibility doesn't matter to Scrapy, only availability in the source

А это создатели  Scrapy такие видео делают?)

Web scraping with Scrapy — SuperDataScience (en) 2018

Плейлист из 10 видеолекций, которые помогут разобраться с веб скрапингом и библиотекой Scrapy.

Смотреть

#video #beginner

нет

Понятно) ...я смотрел группы про Data Science и вот нактнулся)

Может скоро и книгу кто-нибудь напишет и издаст))) data mining, data extract ...with Scrapy))

Я когда-то ходил на воркшоп по "ds scraping" или что-то похожее. Такая шняга была, пустая трата времени, типа "давайте пропарсим bash.im через requests". Короче названия громкие, а толку мало

Это черновая работа в DS от которой все плюются и обычно рабов в нее запрягают, чтоб датасэты готовить

не плохо 😃

Подскажите кто шарит в библиотеке pandas. У меня есть файл цсв в нем есть 6 колонок одна из них поле даты, мне нужно проитерировтся по всему датафрейму и найти к каждому полю другое поле с датой 3 дня назад, подскажет кто как ето сделать?

Вот да)) а так и есть ведь))) в то же время, с парсингом больших и популярных сацтов справляются далеко не все)

Про названия - я тут книгу увидел... https://www.labirint.ru/books/713541/ - звучит завораживающе)) посмотрел отрывок, а там про ФБ что-то типа "мы предполагаем, что у вас уже есть аккаунт с доступом к апи" и ниже "вы соберете данные только тех аккаунтов, кто установит ваше приложение" ) ...и часть книги про то, как пользоваться гитхабом, докером и Jupiter Notebook ))

Боюсь, про кластеризацию и прочее там все также скудно - но не видел текста полностью.

Вот не покидает часто ощущение, что слова громче реальности) ...смотришь презентации с профильных конференций о применении ИИ в разных бизнесах и "увеличили продажи на 7%" )) я понимаю, если бы на 70% или 700%)) ...а от чат-ботов порой тошно. и т.п.) печалька.

Я не знаю пандас (чтоб кусок кола прислать из головы сходу), но логика решения:

1) идете циклом по массиву дат, взяли первую дату (и, наверное, еще какой-то признак)
2) вторым циклом снова идете по массиву и сравниваете дату с той, что взяли в пункте 1. Если разница 3 дня - утаскиваете куда нужно
3) продолжаете цикл (1) до конца


Даже если там сотни тысяч строк - это все быстро отработает.

И с миллионами ...если результат не за секунду нужен.

Если миллиард... то там можно придумать что-то типа: отсортировать по дате (переведя ее в timestamp) и за один проход цикла (вторым циклом сравнивать не с каждым элементом, а с несколькими последующими, пока не будет достигнут иниервал в три дня) получать результат.


Но вряд ли у вас миллиард строк) поэтому можно пепвым вариантом, без пандас, просто циклами и массивами (словарями ...я по привычке из C и Perl ...один фиг в памяти это массив)

или использовать БД

Ага)