• B правой части каждого сообщения есть стрелки и . Не стесняйтесь оценивать ответы. Чтобы автору вопроса закрыть свой тикет, надо выбрать лучший ответ. Просто нажмите значок в правой части сообщения.

  • 🔥 Бесплатный курс от Академии Кодебай: «Анализ защищенности веб-приложений»

    🛡 Научитесь находить и использовать уязвимости веб-приложений.
    🧠 Изучите SQLi, XSS, CSRF, IDOR и другие типовые атаки на практике.
    🧪 Погрузитесь в реальные лаборатории и взломайте свой первый сайт!
    🚀 Подходит новичкам — никаких сложных предварительных знаний не требуется.

    Доступ открыт прямо сейчас Записаться бесплатно

Как сделать связку scrapy + selenium?

Andrei_

Green Team
04.08.2020
67
2
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
 
Доброго времени суток, есть задача соскрапить несколько тысяч фото по одному запросу в images.google
Но изначально подгружаются только первые 30 фоток, вопрос в следующем:
Как использовать selenium для прокрутки страницы и как его совместить со scrapy?
Быть может вам проще будет использовать в коде эти модули?


 
Быть может вам проще будет использовать в коде эти модули?


Нужно скачивать очень большое объемы фотографий, так что думаю проще доделать, что есть
Проблему с подгрузкой я решил, но теперь не очень понимаю, как скачать фотографии по ссылкам с помощью scrapy
 
Мы в соцсетях:

Взломай свой первый сервер и прокачай скилл — Начни игру на HackerLab