0. При проверке сайта программой Xenu’s link sleuth некоторые ссылки дают ошибку forbidden request. При этом если
попробовать открыть такую ссылку в Броузере, то никакой ошибки не возникает:
Ошибка forbidden request |
1. В моем случае такие ошибки были связаны с сайтом Google. Возможная причина
объясняется в ФАК сайта Xenu’s link sleuth. Вкратце – не нравится некоторым
сайтам User Agent Xenu
2 Сделанный автоматическим переводчиком перевод пукта ФАК говорит следующее:
20. То, почему некоторые ссылки, сообщают, как "сломано" Xenu, который
может быть показан в пределах моего браузера?
Некоторые серверы читают "User Agent", т.е. название
программного обеспечения, которое пытается получить доступ к веб-сайту.
Некоторые веб-сайты позволяют только браузеры, некоторые даже только Microsoft
Internet Explorer, и отказываются от всего остального. Некоторые могут даже
определенно отказаться от Xenu из-за прошлого неправильного употребления. У Andi
есть
список веб-сайтов, которые лишают доступа к Xenu. У Тома Бутелла есть
расширенное объяснение того, как
Википедия лишает доступа. Конфигурируемый пользователем "User
Agent" было бы решением, но это сделает злоупотребление возможным.
3. Нашел в интернете исполняемый файл Xenu’s link sleuth с другим User Agent . Побитовое
сравнение говорит, что изменения касаются только User Agenta. С этим файлом у
меня ошибки forbidden request исчезли. Скачать можно здесь: Xenu1.exe Поместить в директорию Xenu и
выполнить. Результат выполнения – ошибки forbidden request исчезли:
Ошибки forbidden request исчезли |