• B правой части каждого сообщения есть стрелки ⇧ и ⇩. Не стесняйтесь оценивать ответы. Чтобы автору вопроса закрыть свой тикет, надо выбрать лучший ответ. Просто нажмите значок ✔ в правой части сообщения.

  • 15 апреля стартует «Курс «SQL-injection Master» ©» от команды The Codeby

    За 3 месяца вы пройдете путь от начальных навыков работы с SQL-запросами к базам данных до продвинутых техник. Научитесь находить уязвимости связанные с базами данных, и внедрять произвольный SQL-код в уязвимые приложения.

    На последнюю неделю приходится экзамен, где нужно будет показать свои навыки, взломав ряд уязвимых учебных сайтов, и добыть флаги. Успешно сдавшие экзамен получат сертификат.

    Запись на курс до 25 апреля. Получить промодоступ ...

Как сделать связку scrapy + selenium?

A

Andrei_

Green Team
04.08.2020
67
2
BIT
0
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
 
Сортировать по дате Сортировать по голосам
f22

f22

Codeby Academy
Gold Team
05.05.2019
1 834
225
BIT
962
Andrei_ сказал(а):
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
Нажмите, чтобы раскрыть...
Быть может вам проще будет использовать в коде эти модули?
Ссылка скрыта от гостей

Ссылка скрыта от гостей

Ссылка скрыта от гостей
 
За 0 Против
A

Andrei_

Green Team
04.08.2020
67
2
BIT
0
f22 сказал(а):
Быть может вам проще будет использовать в коде эти модули?
Ссылка скрыта от гостей

Ссылка скрыта от гостей

Ссылка скрыта от гостей
Нажмите, чтобы раскрыть...
Нужно скачивать очень большое объемы фотографий, так что думаю проще доделать, что есть
Проблему с подгрузкой я решил, но теперь не очень понимаю, как скачать фотографии по ссылкам с помощью scrapy
 
За 0 Против
Для ответа нужно войти/зарегистрироваться
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!

Верх Низ