AA
можно излюбнуться и через ченджед сделать - типа по дефолту нет значения, а при ините в фалс уходит
Size: a a a
2020 December 24
M
Поди эксепшн кидать на второй раз
Похоже. Но эксепшн уже после вызова будет )
TK
Всем привет, парсю сайт сейчас, но скрипт проходит за час всего 1к ссылок, а всего ссылок где-то 1.5 ляма. Есть какое-то решение для этого? Парсер простой - посылаю запрос на урл, беру хтмл, вырезаю нужные данные, сохраняю
АГ
зафигач еще 5-6 процессов параллельно
TK
подскажи метод для этого, пожалуйста
AS
Всем привет, парсю сайт сейчас, но скрипт проходит за час всего 1к ссылок, а всего ссылок где-то 1.5 ляма. Есть какое-то решение для этого? Парсер простой - посылаю запрос на урл, беру хтмл, вырезаю нужные данные, сохраняю
запустить асинхронно в N потоков, ускорив процесс в N раз
KS
Всем привет, парсю сайт сейчас, но скрипт проходит за час всего 1к ссылок, а всего ссылок где-то 1.5 ляма. Есть какое-то решение для этого? Парсер простой - посылаю запрос на урл, беру хтмл, вырезаю нужные данные, сохраняю
или же асинхронно написать парсер
АГ
через что запускаешь этот парсер?
TK
пхп скрипт через браузер просто
АГ
ну как это через браузер, ты гонешь
TK
я донный 🤷♂️
АГ
парсер работает час в вебе чтоли?)
АГ
консольную команду запили
AS
научите скрипты через броузер запускать 😶
АГ
параметры для ссылок сделай, там, например, начиная с какой-то буквы первой, смотреть
TK
научите скрипты через броузер запускать 😶
🌝
АГ
запусти несколько процессов, каждый со своими настройками
АГ
это самое простое решение. лезть в асинхронность - разбираться надо. но если газлом дергать - то можно по типу callback hell зафигачить, в принципе