Как парсить тестовые или разработочные сайты с помощью Screaming Frog

Robots.txt

Игнорировать robots.txt. Ваша разработочная среда, вероятно, будет запрещена.

Настройка: Configuration > robots.txt

Может быть полезно настроить собственный robots.txt

Тайм-аут и ошибки

Установите более высокий тайм-аут ответа. Серверы тестирования, разработки или стадии обычно работают медленнее. Кроме того, будьте терпеливы с ошибками 5xx.

Настройка: Configuration > Spider > Advanced

Если вы хотите рендерить JavaScript, тайм-ауты AJAX также должны быть выше.

Настройка: Configuration > Spider > Rendering

Медленно

Спросите у ваших разработчиков, что может обрабатывать среда. По умолчанию установлено 5 потоков, что должно быть достаточно в большинстве случаев.

Настройка находится здесь: Configuration > speed