Парсинг с помощью requests, Python

[Ali_Pythonist]

Меня недавно заинтересовала такая вещь, как парсинг сайтов, через некоторое время освоил парсинг с авторизацией на сайте, и потом поставил себе цель запарсить собственную почту mail.ru, и столкнулся с тем, что через requests это сделать сложно начал искать как это сделать в интернете, но ответа как это сделать именно через requests не нашёл, если кто то разбираться в этом, можете дать обратную связь? И возможно, ли это сделать вообще через requests, и как.

 

[Богда]

Мне больше интересно , можно ли обойти всякие Anti-DDOS интеграции на сайте , при том же парсинге , в моем случае краулинг и сбор инфы , блокируется все. На сайте стоит интеграция QRATOR , наша российская разработка. Пару раз на запрещенные страницы зайдешь и бан по IP ..

 

[f22]

запарсить собственную почту mail.ru

А что именно вы вкладываете в термин "запарсить"?
Поднять свой почтовый сервер?

 

[Ali_Pythonist]

А что именно вы вкладываете в термин "запарсить"?
Поднять свой почтовый сервер?

Авторизоваться, и спарсить, с аккаунта любое сообщение.

 

[f22]

Авторизоваться, и спарсить, с аккаунта любое сообщение.

Для таких целей лучше использовать не http протокол, а гораздо более адаптированный для таких задач pop3 или smtp - они как раз предназначены для получения и отправки почты.

Ссылка скрыта от гостей

Ссылка скрыта от гостей

 

[Местный]

Авторизоваться, и спарсить, с аккаунта любое сообщение.

изучи папитир. Наверное через него легче всего будет это сделать.

 

[larchik]

Полагаю, что ТС хочет сделать запрос к веб-странице на mail.ru (конкретно к любому входящему письму) и получить ответ в виде html-кода, распарсить этот код и вытащить из него само письмо.
Но у него не получается по той причине, что в html нет этого письма, хотя в браузере оно отображается.

@Ali_Pythonist, для понимания проблемы советую проделать следующее:
1. Открыть в браузере любое входящее письмо на mail.ru (в данном случае firefox, но в других браузерах примерно также)
2. Затем просмотреть исходный код страницы через контекстное меню (пункт меню "Исходный код страницы"):

3. Просмотреть код страницы через веб-инспектор (пункт меню "Исследовать"):

4. Увидеть разницу.

В первом случае ты не увидишь своего письма в исходнике, а во втором увидишь.
Дело в том, что когда загружается страница в веб-приложении, чаще всего контент на ней формируется динамически с помощью javascript. Это твое письмо подгружается туда после загрузки основного кода (который ты видишь через пункт меню "Исходный код страницы").
И когда в python ты делаешь запрос к этой странице с помощью библиотеки requests, в ответ тебе приходит именно основной код, каркас. Без того, что позже должно загрузиться с помощью скриптов js.
Для решения проблемы предлагаю гуглить в сторону DOM. Вообще ознакомься с этим понятием сначала, потом уже гугли, как с помощью python получить DOM веб-страницы.

P.S. Если задача стоит просто получить почту с помощью python, то лучше конечно использовать предназначенные для этого протоколы, как советовали выше.