P
или ты каждый день будешь по два миллиона сливать
Size: a a a
2020 September 17
DM
откуда вообще в этом всем взялся крон
логично)
AS
Крон раньше делал, но тогда инфы было за раз по 500-1000 товаров. А тут отжалели сразу 450 тыс, вот и думаю, то ли этот подправить, то ли новый делать)
AS
Т.е. файлики киданули, он их раз в час при наличии обработал и дальше спит
S
Сейчас Макс должен начать втирать за InnoDB и транзакции
DM
==А тут отжалели сразу 450 тыс==
я поначалу подумал что рублей)))
я поначалу подумал что рублей)))
AS
Нет, пока товаров))
AS
Ну и там хз сколько к ним отзывов
P
Сейчас Макс должен начать втирать за InnoDB и транзакции
а чем оно тут поможет?
S
а чем оно тут поможет?
Ну смотри наимпортили ресурсов и собрали строку->id
S
Потом ТВшки через транзакции массово
P
там узкое место это загрузка картинок в один поток
С
Т.е. файлики киданули, он их раз в час при наличии обработал и дальше спит
Можно ещё сделать небольшое расширение для хрома.
Которое на сайт донор инжектит скрипт, который запрашивает список например из 500 картинок с твоего сервера и запрашивает сам у себя, поскольку скрипт будет делать запрос от себя к себе и дальше уже отправлять на твой сервер.
Тебе придётся разве что разрешить входящие запросы с сайта донора.
То есть не ты будешь качать с него картинки, он будет тебе их отправлять
Которое на сайт донор инжектит скрипт, который запрашивает список например из 500 картинок с твоего сервера и запрашивает сам у себя, поскольку скрипт будет делать запрос от себя к себе и дальше уже отправлять на твой сервер.
Тебе придётся разве что разрешить входящие запросы с сайта донора.
То есть не ты будешь качать с него картинки, он будет тебе их отправлять
DM
==Которое на сайт донор инжектит скрипт==
шта?
шта?
S
Оу, я пропустил про катинки, ну тогда мини прогу на го, которая будет фотки в 10 потоков херачить
AS
Про один поток кстати хорошо, а если я запущу тыщу кронов, делающих это, оно же будет в тыщу раз быстрее? Так?))
P
ну примерно так
С
==Которое на сайт донор инжектит скрипт==
шта?
шта?
В чем трудности?
AS
Или он один скрипт не запустит пока предыдущий запуск не завершилс
S
Про один поток кстати хорошо, а если я запущу тыщу кронов, делающих это, оно же будет в тыщу раз быстрее? Так?))
Но нужно файл предварительно разрезать на 1000 других