S
В этой ситуации наверное лучше одним запросом по 100 вытаскивать
Size: a a a
2020 September 17
S
И следовательно пока 100 парсит и обрабатывает, других 100 ещё 100 раз выбрать сможет
С
@dinkwi
Делал бота под крипту, который работал как расширение для хрома.
Инжектил скрипт на сайт биржи и он делал миллионы запросов обходя все лимиты, которые есть если бы я делал запросы через api той же биржи.
Делал бота под крипту, который работал как расширение для хрома.
Инжектил скрипт на сайт биржи и он делал миллионы запросов обходя все лимиты, которые есть если бы я делал запросы через api той же биржи.
AS
Ну это да, но это больше нюансы, наверно можно разрулить каким-то промежуточным статусом, чтоб брать по 100 один раз и они не попадали другому крону
С
Ну это да, но это больше нюансы, наверно можно разрулить каким-то промежуточным статусом, чтоб брать по 100 один раз и они не попадали другому крону
Так если ты проверил урл, ставь единичку что уже чекнул его, и выбирай всё нечекнутые
DM
С
Ты меня запутал.
Донор же. Он отдаёт же
Донор же. Он отдаёт же
AS
Так если ты проверил урл, ставь единичку что уже чекнул его, и выбирай всё нечекнутые
Надо сразу всей сотне ставить, которая в выборку попала. Чтоб через секунду в следующую не попала.
P
я сомневаюсь что это вообще проблема
С
Надо сразу всей сотне ставить, которая в выборку попала. Чтоб через секунду в следующую не попала.
Зачем, ты сохранять картинку будешь, сохранил, запрос в базу с единичкой
P
обновить 100 записей, это миллисекунды
AS
Зачем, ты сохранять картинку будешь, сохранил, запрос в базу с единичкой
Так а дальше что?)
С
Так а дальше что?)
Ну так эта запись уже не попадет в параллельный крон
P
а если и попадет, то хрен на нее ((:
С
Чтобы два раза не тягать
AS
Ну так эта запись уже не попадет в параллельный крон
Это если поштучно, я же сейчас про то, чтоб сразу 100 штук взять, их надо как-то "залочить" на время обработки, чтоб они не попали в параллельный поток еще раз
DM
Ты меня запутал.
Донор же. Он отдаёт же
Донор же. Он отдаёт же
ты сам себя запутал)), ты написал дословно - вставляет скрипт в сайт донора, то есть ломает вебсервер и пишет туда свой скрипт. А по факту - просто подключает скрипт к текущей страницы в браузере))
P
так обновишь в базе, поставишь всем 1
P
можно и таблицу блокировать, чтобы наверняка
С
Это если поштучно, я же сейчас про то, чтоб сразу 100 штук взять, их надо как-то "залочить" на время обработки, чтоб они не попали в параллельный поток еще раз
В базу при выборке тогда пометку 1, типа в загрузке, 2 загруженно, 3 ошибка...