Чуваки я как-то подымал эту тему где-то когда-то , но тут сново пригорело.
Я увлекаюсь автоматизацией. И меня очень беспокоит проблема анонимности и маскировки (мимикрии пол юзера) браузера в интернете.
У меня есть опыт по трем направлениям.
1) Обычный скраппинг html (инструментов куча) . Все заебись но не проигрывает js. А как мы знаем щас практически все юзает очень много js.
2) Селениум. Про этот инструмент можно говорить многое . Он как мультитул. Все при нем, но для автоматизации он подходит только для средненьких сайтов. Если сайт реальный и имеет очень весомый информационный вес, то как бы я не пытался, палится он только за здрасте. В целом по селениуму все что можно сказано по этой ссылке:
stackoverflow.com
Если вкратце: очень много вещей которые его палят не говоря уже о поведенческом факторе который тоже надо как то маскировать а селениум не очень хорошо помогает это сделать.
3) Знакомы пробывал через qt WebKit тоже палит как то и выкидывает плюс скорость страдает очень сильно особенно если много страниц.
Знаю что можно юзают хром драйвер с nodejs типо Puppeteer, но я не юзал подобное.
Знаю про платные браузеры. Но они платные и я не уверен что они дадут гарантию анонимизации действий. При этом ты еще ограничен по цене/количество потоков.
Но и вобщем гоу делится опытом. Что прибывали как тестировали как определяли что палится а что не палится?????
Вобще у меня есть мысль сесть и уже перепиливать какой нить браузер под это дело например (firefox servo) но это не так уж и просто.
Вобщем приглашаю всех под ветку пообщаться. Может я чего то не знаю и вы подскажете в каком направлении двигаться.
Вот кстати интересный списочек по тематике.
github.com
P.S. Прошу не флудить, и желательно отвечать если у вас есть опыт в программировании. ))
Я увлекаюсь автоматизацией. И меня очень беспокоит проблема анонимности и маскировки (мимикрии пол юзера) браузера в интернете.
У меня есть опыт по трем направлениям.
1) Обычный скраппинг html (инструментов куча) . Все заебись но не проигрывает js. А как мы знаем щас практически все юзает очень много js.
2) Селениум. Про этот инструмент можно говорить многое . Он как мультитул. Все при нем, но для автоматизации он подходит только для средненьких сайтов. Если сайт реальный и имеет очень весомый информационный вес, то как бы я не пытался, палится он только за здрасте. В целом по селениуму все что можно сказано по этой ссылке:
Can a website detect when you are using Selenium with chromedriver?
I've been testing out Selenium with Chromedriver and I noticed that some pages can detect that you're using Selenium even though there's no automation at all. Even when I'm just browsing manually j...
stackoverflow.com
3) Знакомы пробывал через qt WebKit тоже палит как то и выкидывает плюс скорость страдает очень сильно особенно если много страниц.
Знаю что можно юзают хром драйвер с nodejs типо Puppeteer, но я не юзал подобное.
Знаю про платные браузеры. Но они платные и я не уверен что они дадут гарантию анонимизации действий. При этом ты еще ограничен по цене/количество потоков.
Но и вобщем гоу делится опытом. Что прибывали как тестировали как определяли что палится а что не палится?????
Вобще у меня есть мысль сесть и уже перепиливать какой нить браузер под это дело например (firefox servo) но это не так уж и просто.
Вобщем приглашаю всех под ветку пообщаться. Может я чего то не знаю и вы подскажете в каком направлении двигаться.
Вот кстати интересный списочек по тематике.
GitHub - dhamaniasad/HeadlessBrowsers: A list of (almost) all headless web browsers in existence
A list of (almost) all headless web browsers in existence - dhamaniasad/HeadlessBrowsers
github.com
P.S. Прошу не флудить, и желательно отвечать если у вас есть опыт в программировании. ))
