В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

580 membersпожаловаться на группу
2020 August 05

АК

Александр К-ош... in Scrapy
Как пользоваться virtualenv в Линукс?
alex@alex-Latitude-D430:~/apyvirtproject/env/bin$ home/alex/apyvirtproject/env/bin/pip install scrapy
bash: home/alex/apyvirtproject/env/bin/pip: Нет такого файла или каталога
alex@alex-Latitude-D430:~/apyvirtproject/env/bin$ /home/alex/apyvirtproject/env/bin/pip list
bash: /home/alex/apyvirtproject/env/bin/pip: Нет такого файла или каталога
источник
17:16пожаловаться#1

К

Кирилл in Scrapy
Александр К-ош
Как пользоваться virtualenv в Линукс?
alex@alex-Latitude-D430:~/apyvirtproject/env/bin$ home/alex/apyvirtproject/env/bin/pip install scrapy
bash: home/alex/apyvirtproject/env/bin/pip: Нет такого файла или каталога
alex@alex-Latitude-D430:~/apyvirtproject/env/bin$ /home/alex/apyvirtproject/env/bin/pip list
bash: /home/alex/apyvirtproject/env/bin/pip: Нет такого файла или каталога
После создания виртуального окружения запускай скрипт <путь к окружению>/bin/activate
источник
17:20пожаловаться#2

AS

Alexander Serebrov in Scrapy
sudo apt-get install python3-pip
pip3 install virtualenv 
virtualenv venv 
source venv/bin/activate
источник
17:21пожаловаться#3

AS

Alexander Serebrov in Scrapy
типа так
источник
17:21пожаловаться#4

AS

Alexander Serebrov in Scrapy
если pip уже установлен, первый шаг пропустить :)
источник
17:21пожаловаться#5

АК

Александр К-ош... in Scrapy
Благодарю за ответы. А что значит source ?
источник
17:22пожаловаться#6

К

Кирилл in Scrapy
исполнение шэл скрипта
источник
17:22пожаловаться#7

AS

Alexander Serebrov in Scrapy
прочитать и исполнить файл, ага
источник
17:22пожаловаться#8

AS

Alexander Serebrov in Scrapy
https://www.geeksforgeeks.org/source-command-in-linux-with-examples
GeeksforGeeks
source command in Linux with Examples - GeeksforGeeks
A Computer Science portal for geeks. It contains well written, well thought and well explained computer science and programming articles, quizzes and practice/competitive programming/company interview Questions.
источник
17:23пожаловаться#9

AS

Alexander Serebrov in Scrapy
в принципе всё гуглится, вопросы довольно распространенные)
источник
17:23пожаловаться#10

АК

Александр К-ош... in Scrapy
Благодарю, установил.
источник
17:42пожаловаться#11

SS

Sergey Sergey in Scrapy
Коллеги, добрый вечер)
Паршу страницы на которых данные подгружаются доп запросом.
Соответственно загружаю гетом токен, формирую тело запроса и отправляю постом. Получаю много 400 ошибок.
Юзерагентов меняю, прокси тоже. Из постмана большинство заголовков передрал.
Подскажите, куда тут лучше копать?
источник
19:17пожаловаться#12

К

Кирилл in Scrapy
Sergey Sergey
Коллеги, добрый вечер)
Паршу страницы на которых данные подгружаются доп запросом.
Соответственно загружаю гетом токен, формирую тело запроса и отправляю постом. Получаю много 400 ошибок.
Юзерагентов меняю, прокси тоже. Из постмана большинство заголовков передрал.
Подскажите, куда тут лучше копать?
Прочитай внимательно, что значит 400 статус
источник
19:18пожаловаться#13

SS

Sergey Sergey in Scrapy
Кирилл
Прочитай внимательно, что значит 400 статус
Bad Request возникает, когда сервер не может понять запрос, который был ему отправлен.
при этом он через раз одни и те же запросы нормально принимает
источник
19:19пожаловаться#14

К

Кирилл in Scrapy
Sergey Sergey
Bad Request возникает, когда сервер не может понять запрос, который был ему отправлен.
при этом он через раз одни и те же запросы нормально принимает
точно одинаковые?
источник
19:20пожаловаться#15

SS

Sergey Sergey in Scrapy
Кирилл
точно одинаковые?
да. Ну, токен меняется соответственно
источник
19:20пожаловаться#16

К

Кирилл in Scrapy
возможно у тебя непоследовательные вызовы, там же асинхрон, и получается что цепочка токенов нарушается
источник
19:21пожаловаться#17

К

Кирилл in Scrapy
может быть сайту это важно
источник
19:21пожаловаться#18

SS

Sergey Sergey in Scrapy
Кирилл
возможно у тебя непоследовательные вызовы, там же асинхрон, и получается что цепочка токенов нарушается
во) я тоже туда думал. А как в скрейпи последовательно сделать вызовы? Или только ручками, реквестом?
источник
19:22пожаловаться#19

К

Кирилл in Scrapy
И ещё помню, недавно у кого-то было, что одни и те же запросы могли сработать, а могли нет, вроде решили запросами "пока не получится"
источник
19:22пожаловаться#20