• B правой части каждого сообщения есть стрелки и . Не стесняйтесь оценивать ответы. Чтобы автору вопроса закрыть свой тикет, надо выбрать лучший ответ. Просто нажмите значок в правой части сообщения.

  • Курсы Академии Кодебай, стартующие в мае - июне, от команды The Codeby

    1. Цифровая криминалистика и реагирование на инциденты
    2. ОС Linux (DFIR) Старт: 16 мая
    3. Анализ фишинговых атак Старт: 16 мая Устройства для тестирования на проникновение Старт: 16 мая

    Скидки до 10%

    Полный список ближайших курсов ...

Как сделать связку scrapy + selenium?

Andrei_

Green Team
04.08.2020
67
2
BIT
0
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
 

f22

Codeby Academy
Gold Team
05.05.2019
1 841
225
BIT
1 043
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
Быть может вам проще будет использовать в коде эти модули?


 

Andrei_

Green Team
04.08.2020
67
2
BIT
0
Быть может вам проще будет использовать в коде эти модули?


Нужно скачивать очень большое объемы фотографий, так что думаю проще доделать, что есть
Проблему с подгрузкой я решил, но теперь не очень понимаю, как скачать фотографии по ссылкам с помощью scrapy
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!