• B правой части каждого сообщения есть стрелки и . Не стесняйтесь оценивать ответы. Чтобы автору вопроса закрыть свой тикет, надо выбрать лучший ответ. Просто нажмите значок в правой части сообщения.

Как сделать связку scrapy + selenium?

Andrei_

Green Team
04.08.2020
67
2
BIT
0
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
 
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
Быть может вам проще будет использовать в коде эти модули?


 
Быть может вам проще будет использовать в коде эти модули?


Нужно скачивать очень большое объемы фотографий, так что думаю проще доделать, что есть
Проблему с подгрузкой я решил, но теперь не очень понимаю, как скачать фотографии по ссылкам с помощью scrapy
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!