robots.txt

[Haisenberg]

Всем привет. Файл robots.txt в большинстве случаев закрыт от обычных пользователей. Но всё же может можно как то обойти защиту и посмотреть файл?
в рамках пинтеста разумеется.

 

[Exited3n]

Всем привет. Файл robots.txt в большинстве случаев закрыт от обычных пользователей. Но всё же может можно как то обойти защиту и посмотреть файл?
в рамках пинтеста разумеется.

Что значит закрыт? Если он есть или ты его создал то он как раз таки открыт. Иначе теряется весь смысл данного файла

 

[Haisenberg]

Я навкрное

Что значит закрыт? Если он есть или ты его создал то он как раз таки открыт. Иначе теряется весь смысл данного файла

Я навкрное не правильно выразился. Я провожу пинтест, и не могу его открыть. Пишет что страница недоступна обычным пользователям.

 

[z3r0c10wn]

"User-Agent: Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

 

[ellt3nt]

Пинтест - тестирование пин кодов?

 

[Trager]

Всем привет. Файл robots.txt в большинстве случаев закрыт от обычных пользователей. Но всё же может можно как то обойти защиту и посмотреть файл?
в рамках пинтеста разумеется.

Попробуй использовать юзер агенты различных поисковиков) И в большинстве случаев он не закрыт от обычных пользователей)

 

[iwustg]

Что за файл возможно смогу помочь

 

[TheLast]

Что за файл возможно смогу помочь

Вот тут написано что это за файл

 

[misterX]

"User-Agent: Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

Опасность))