Поиск 404 ошибки.
Основная цель поиск страниц которые ведут на страницы 404.
Первый этап был сканирование всех ссылок сайта и поиск битых ссылок.
Сканирование сайта.
Подготовка ссылок.
Первым делом проверяем есть ли у Вас карта сайта. Если нет, то ищем генератор sitemap, например https://gensitemap.ru/. Сохраняем xml файл, потом открываем его с помощью MS Exel, будет много предупреждений просто жмем Ок. Видим примерно следующее:
Удаляем заголовки и копируем первый столбец, потом вставляем ссылки в текстовый редактор, который сохраняет переходы на строку, в моем случае это Sublime Text 3, сохраняем как TXT.