• 🔥 Бесплатный курс от Академии Кодебай: «Анализ защищенности веб-приложений»

    🛡 Научитесь находить и использовать уязвимости веб-приложений.
    🧠 Изучите SQLi, XSS, CSRF, IDOR и другие типовые атаки на практике.
    🧪 Погрузитесь в реальные лаборатории и взломайте свой первый сайт!
    🚀 Подходит новичкам — никаких сложных предварительных знаний не требуется.

    Доступ открыт прямо сейчас Записаться бесплатно

Библиотека Python Requests выдает Too Many Requests.

  • Автор темы Автор темы zSRGz
  • Дата начала Дата начала
  • Теги Теги
    python

zSRGz

Member
18.07.2019
17
0
Я парсю сайт с помощью библиотек Requests и Beautiful Soup.
И через некоторое время сайт меня, так скажем, не пускает из-за того что я превысил кол-во запросов с одного IP.
Как я могу поступить ?
 
Можно проще поступить. Есть библиотека fake_useragent
pip3 install fake_useragent

И так использовать в коде

Python:
# Импортируем
from fake_useragent import UserAgent
# Инициализируем
ua = UserAgent()
# добавляем в заголовки случайный Агент
request = Request(url, headers={'User-Agent': ua.random})
 
ua = UserAgent()
req = requests.get("###", headers={'User-Agent': ua.random})
soup = BeautifulSoup(req.text, "html.parser")
Правильно сделал ?
Если да, то не получилось.
Безымянный.png
 
Правильно сделал ?
Сделал правильно, но, возможно, сайт блокирует не агента, а IP.
Попробуй использовать прокси или поставь какую-нибудь задержку
Как минимум
Python:
import time
# Здесь у тебя идёт какой-то цикл
soup = BeautifulSoup(req.text, "html.parser") 
# В конце этого цикла пауза 5 секунд
time.sleep(5)
 
Мы в соцсетях:

Взломай свой первый сервер и прокачай скилл — Начни игру на HackerLab

Похожие темы