Автор вопроса
Всем привет. Файл robots.txt в большинстве случаев закрыт от обычных пользователей. Но всё же может можно как то обойти защиту и посмотреть файл?
в рамках пинтеста разумеется.
в рамках пинтеста разумеется.
ВОПРОС · Q&A
robots.txt
Codeby Academy
Практика и мастерство
От основ до продвинутого — программы для практиков Codeby.
К курсу →
Что значит закрыт? Если он есть или ты его создал то он как раз таки открыт. Иначе теряется весь смысл данного файла
Я навкрное
Я навкрное не правильно выразился. Я провожу пинтест, и не могу его открыть. Пишет что страница недоступна обычным пользователям.Что значит закрыт? Если он есть или ты его создал то он как раз таки открыт. Иначе теряется весь смысл данного файла
Попробуй использовать юзер агенты различных поисковиков) И в большинстве случаев он не закрыт от обычных пользователей)
Ещё по теме
4
Статьяrobots.txt, sitemap и .well-known: пассивная разведка веб-инфраструктуры без единого скана
0
990
28.06.2026
СтатьяРазбор задач CTF: pwn, crypto, web, forensics
0
2 тыс.
17.09.2026
СтатьяOSINT-расследования по веб-архивам: пошаговый разбор инструментов и утилит
0
2 тыс.
10.08.2026
СтатьяAsset Management для пентестера: полная карта атакуемой инфраструктуры и охота на забытые активы
0
1 тыс.
29.06.2026