bs4 неверно парсит страницу

[Алёна]

Доброго времени суток, пытаюсь спарсить аватарку вконтакте, в качестве примера взяла Павла Дурова, часть кода следующая:

Проблема состоит в том, что страница по адресу Павел Дуров | ВКонтакте содержит около 2500 строк, среди которых как раз-таки нужный тег <a> с требуемым id = profile_photo_link, а результат парсинга этой страницы содержит строк 100 от силы
Не понимаю, почему страница парсится не полностью
Очень прошу помочь!

 

[evi_gweapin]

потому что ты не залогинен в вк когда скрапишь страницу и дуровский профиль может быть приватен и закрыт - соответственно отдается мелкий html

 

[Алёна]

потому что ты не залогинен в вк когда скрапишь страницу и дуровский профиль может быть приватен и закрыт - соответственно отдается мелкий html

А возможно как-то обойти авторизацию без vk_api?

потому что ты не залогинен в вк когда скрапишь страницу и дуровский профиль может быть приватен и закрыт - соответственно отдается мелкий html

Дуровский профиль кстати открыт, когда открываю в Гугле вручную и смотрю код, все показывает правильно
А парсится не так

 

[evi_gweapin]

А возможно как-то обойти авторизацию без vk_api?

да, можно в request.get передать словарь из значений куков. значения куков можно посмотреть в браузере в storage inspector (в том же firefox)
тогда вк будет считать тебя авторизованным при запросе из скрипта

так же надо в реквест.гет передать user-agent, какой нибудь наиболее растространенный - тоже не лишнее

в доке по реквест модулю там можешь примеры глянуть как эти параметры передаются

 

[Citizen0]

Без указания User-Agent Вы получаете html

Ссылка скрыта от гостей