Как скрапить динамические сайты?

  • Автор темы Автор темы Andrei_
  • Дата начала Дата начала
  • Теги Теги
    scrapy

Andrei_

Green Team
04.08.2020
67
2
Доброго времени суток, есть потребность скачивать первые 2000 фотографий по одному запросу с гугл картинок, используется фреймворк scrapy
В этом фреймворка опыта разработки у меня нет, поэтому прошу помощи:
Как скрапить динамические сайты?
Ведь на Гугл картинках грузятся лишь первые несколько десятков фото, остальные догружаются по мере прокрутки страницы
Как это обойти?
 
Мы в соцсетях:

Взломай свой первый сервер и прокачай скилл — Начни игру на HackerLab

🚀 Первый раз на Codeby?
Гайд для новичков: что делать в первые 15 минут, ключевые разделы, правила
Начать здесь →

Популярный контент

🔴 Свежие CVE, 0-day и инциденты
То, о чём ChatGPT ещё не знает — обсуждаем в реальном времени
Threat Intel →
💼 Вакансии и заказы в ИБ
Pentest, SOC, DevSecOps, bug bounty — работа и проекты от проверенных компаний
Карьера в ИБ →

HackerLab