И конечно не могу обойти стороного большое обновление Screaming Frog SEO Spider
ПОдробную статью по новым возможностям подготовлю потом. Есть о чем рассказать.
Основные обновления такие:🔸Запуск краулинга по расписанию
🔸Полноценный интерфейс командной строки. Это значит, что можно лягушку запускать прямо на сервере по крону кроме стандартного планировщика десктопной версии
🔸Индексируемость и статусы индекса страниц. На основе тех данных, что собираются во время обхода сайта пауком, выставляется возможность индексирования страницы (индекируемость) и статус, по которому можно понять возможные причины отсутствия страницы в индексе.
🔸Интегрированная в краулинг XML-карта сайта. Да! Теперь не нужно переключаться в List Mode, чтоб проскнаировать старинцы в карте сайта. А еще можно посомтреть какие страницы попали в карту сайта, а каких там нет, также как и запреты на индексирование страниц, участвующих в картах сайта
🔸Internal Link Score - некий аналог Page Rank, но не совсем. Надо его еще изучить будет.
🔸Пост краулинговый анализ. Можно сохранить HTML страниц и потом провести дополнительный анализ. Можно спрасить AMP, добавить данные из серчконсоли, аналитикса. Опять же Link Score считается после завешрения краулинка.
🔸
Визуализация. Это самая крутая часть! Теперь можно увидеть не только граф краулинга, но и граф структуры по дирректориям. Кроме того доступно облако терминов текста на странице и облако анкоров ссылок, ведущих на страницу. Очень крутой инструмент!
🔸Краулинг и валидация AMP-страниц. Спарсить AMP можно было раньше тольско через Custom Extractions, а теперь это есть из коробки и еще можно проверить на ошибки.
🔸Каноникалы, пагинация и фильтры. Отдельные табы для каждой категории параметров. Пагинацию распознает автоматически, как и фильтры.
🔸Улучшенный отчет по цепочкам редирктов и каноникалов.
Про визуализацию ниже закину пару примеров,
http://seoch.at/uh6w8X/