Библиотека Python Requests выдает Too Many Requests.

[zSRGz]

Я парсю сайт с помощью библиотек Requests и Beautiful Soup.
И через некоторое время сайт меня, так скажем, не пускает из-за того что я превысил кол-во запросов с одного IP.
Как я могу поступить ?

 

[fork]

Ссылка скрыта от гостей

 

[f22]

Ссылка скрыта от гостей

Можно проще поступить. Есть библиотека fake_useragent
pip3 install fake_useragent

И так использовать в коде

# Импортируем
from fake_useragent import UserAgent
# Инициализируем
ua = UserAgent()
# добавляем в заголовки случайный Агент
request = Request(url, headers={'User-Agent': ua.random})

 

[zSRGz]

ua = UserAgent()
req = requests.get("###", headers={'User-Agent': ua.random})
soup = BeautifulSoup(req.text, "html.parser")
Правильно сделал ?
Если да, то не получилось.

 

[f22]

Правильно сделал ?

Сделал правильно, но, возможно, сайт блокирует не агента, а IP.
Попробуй использовать прокси или поставь какую-нибудь задержку
Как минимум

import time
# Здесь у тебя идёт какой-то цикл
soup = BeautifulSoup(req.text, "html.parser") 
# В конце этого цикла пауза 5 секунд
time.sleep(5)

 

[zSRGz]

Можешь порекомендовать бесплатный прокси?

 

[f22]

Можешь порекомендовать бесплатный прокси?

Давно не пользовался, но вот, говорят, есть

Ссылка скрыта от гостей

 

[zSRGz]

Давно не пользовался, но вот, говорят, есть

Ссылка скрыта от гостей

Спасибо