Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?

 

Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?

Быть может вам проще будет использовать в коде эти модули?
google_images_download
Google-Images-Search
pibooth-google-photo

 

Быть может вам проще будет использовать в коде эти модули?
google_images_download
Google-Images-Search
pibooth-google-photo

Нужно скачивать очень большое объемы фотографий, так что думаю проще доделать, что есть
Проблему с подгрузкой я решил, но теперь не очень понимаю, как скачать фотографии по ссылкам с помощью scrapy