Чуваки я как-то подымал эту тему где-то когда-то , но тут сново пригорело.
Я увлекаюсь автоматизацией. И меня очень беспокоит проблема анонимности и маскировки (мимикрии пол юзера) браузера в интернете.
У меня есть опыт по трем направлениям.
1) Обычный скраппинг html (инструментов куча) . Все заебись но не проигрывает js. А как мы знаем щас практически все юзает очень много js.
2) Селениум. Про этот инструмент можно говорить многое . Он как мультитул. Все при нем, но для автоматизации он подходит только для средненьких сайтов. Если сайт реальный и имеет очень весомый информационный вес, то как бы я не пытался, палится он только за здрасте. В целом по селениуму все что можно сказано по этой ссылке:
3) Знакомы пробывал через qt WebKit тоже палит как то и выкидывает плюс скорость страдает очень сильно особенно если много страниц.
Знаю что можно юзают хром драйвер с nodejs типо Puppeteer, но я не юзал подобное.
Знаю про платные браузеры. Но они платные и я не уверен что они дадут гарантию анонимизации действий. При этом ты еще ограничен по цене/количество потоков.
Но и вобщем гоу делится опытом. Что прибывали как тестировали как определяли что палится а что не палится?????
Вобще у меня есть мысль сесть и уже перепиливать какой нить браузер под это дело например (firefox servo) но это не так уж и просто.
Вобщем приглашаю всех под ветку пообщаться. Может я чего то не знаю и вы подскажете в каком направлении двигаться.
Вот кстати интересный списочек по тематике.
github.com
P.S. Прошу не флудить, и желательно отвечать если у вас есть опыт в программировании. ))
Я увлекаюсь автоматизацией. И меня очень беспокоит проблема анонимности и маскировки (мимикрии пол юзера) браузера в интернете.
У меня есть опыт по трем направлениям.
1) Обычный скраппинг html (инструментов куча) . Все заебись но не проигрывает js. А как мы знаем щас практически все юзает очень много js.
2) Селениум. Про этот инструмент можно говорить многое . Он как мультитул. Все при нем, но для автоматизации он подходит только для средненьких сайтов. Если сайт реальный и имеет очень весомый информационный вес, то как бы я не пытался, палится он только за здрасте. В целом по селениуму все что можно сказано по этой ссылке:
Ссылка скрыта от гостей
Если вкратце: очень много вещей которые его палят не говоря уже о поведенческом факторе который тоже надо как то маскировать а селениум не очень хорошо помогает это сделать.3) Знакомы пробывал через qt WebKit тоже палит как то и выкидывает плюс скорость страдает очень сильно особенно если много страниц.
Знаю что можно юзают хром драйвер с nodejs типо Puppeteer, но я не юзал подобное.
Знаю про платные браузеры. Но они платные и я не уверен что они дадут гарантию анонимизации действий. При этом ты еще ограничен по цене/количество потоков.
Но и вобщем гоу делится опытом. Что прибывали как тестировали как определяли что палится а что не палится?????
Вобще у меня есть мысль сесть и уже перепиливать какой нить браузер под это дело например (firefox servo) но это не так уж и просто.
Вобщем приглашаю всех под ветку пообщаться. Может я чего то не знаю и вы подскажете в каком направлении двигаться.
Вот кстати интересный списочек по тематике.
GitHub - dhamaniasad/HeadlessBrowsers: A list of (almost) all headless web browsers in existence
A list of (almost) all headless web browsers in existence - dhamaniasad/HeadlessBrowsers
github.com
P.S. Прошу не флудить, и желательно отвечать если у вас есть опыт в программировании. ))