SASGIS

Веб-картография и навигация

Бан и борьба с ним

Обсуждаем сервисы Google Maps и Google Earth™

Модератор: Tolik

Re: Бан и борьба с ним

Сообщение T_Im » 05 июл 2014, 15:52

Поделюсь еще удобным вариантом, как обойти бан имея динамический IP и роутер.
Достаточно найти в инете для модели роутера команду на смену IP (что то типа dhcpc_renew, она вырубает инет на меньшее время, чем если бы роутер ребутился).
Далее понадобятся две консольные утилитки - wait и curl.
Создаем в папке с wait и curl файл 1_renew.bat следующего содержимого:

for /L %%i IN (3600,0,10000000) DO wait %%i & curl -b cookies.txt -c cookies.txt -m 10 -u "admin:admin" "http://192.168.1.1/apply.cgi?action_mode=Update&action_script=dhcpc_renew"

Пояснения:
цикл сделан бесконечным, 3600 - количество секунд между сменами IP (подбирается экспериментально :) ), admin:admin - логин:пароль от роутера, дальше - как менять IP на роутере (если в меню роутера есть такая кнопочка, то этот запрос можно подсмотреть с помощью Proxomitron-а). Если команды типа dhcpc_renew для роутера нет, то можно искать команду перезагрузки (ребут есть у любого роутера, команду можно подсмотреть Proxomitron-ом, нажав соответствующую кнопку в web-интерфейсе роутера).
Вложения
renewIP.7z
(161.75 KiB) Скачиваний: 173
T_Im
Постигающий Дао
 
Сообщения: 112
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 15 раз.
Поблагодарили: 14 раз.

Re: Бан и борьба с ним

Сообщение DJ VK » 06 июл 2014, 06:44

T_Im писал(а):Поделюсь еще удобным вариантом, как обойти бан имея динамический IP и роутер.
Если команды типа dhcpc_renew для роутера нет, то можно искать команду перезагрузки.

Не знаю как у Вас, но у нас ip меняется только если закончился учетный период, а денег на новый на счете нет. И быстрая перезагрузка не поможет. :lol:
Смену ip не пробовал, но почему-то кажется, что ее результат мало отличается от перезагрузки.
Конечно все дело во времени, если долго ждать, час-другой, может новый и дадут.
Но насколько проще пару раз руками сменить прокси, или, долго мучаясь, найти золотой, небанимый прокси.
Ведь если качать на полной скорости полчаса, а потом ждать 1 час, то итоговая скорость падает в 3 раза. Совсем как через прокси получится. И интернет, замечу, при использовании прокси для Вас включен 24\7.
Аватара пользователя
DJ VK
Гуру
 
Сообщения: 1468
Зарегистрирован: 16 апр 2009, 13:57
Откуда: 8 км. от МКАД
Благодарил (а): 82 раз.
Поблагодарили: 300 раз.

Re: Бан и борьба с ним

Сообщение T_Im » 08 июл 2014, 00:30

Смену ip не пробовал, но почему-то кажется, что ее результат мало отличается от перезагрузки.

Значит, хитрый провайдер привязывает IP из своего пула к оборудованию или аккаунту - тогда dhcp_renew, естественно, не прокатит.
Если второй вариант - то тут без приемлемых вариантов, а в первом, если подключение не через ADSL, а по выделенке - то можно попробовать поменять в настройках внешний MAC адрес роутера (тот, которым он смотрит в локалку) и перегрузиться: может так статься, что именно к нему провайдер привязывает выдаваемый IP. Если фокус получится - то процесс, в принципе, можно автоматизировать.

Ведь если качать на полной скорости полчаса, а потом ждать 1 час, то итоговая скорость падает в 3 раза. Совсем как через прокси получится.

Если можно менять IP автоматом, то эту процедуру можно делать хоть каждые 10 минут. IP меняется почти мгновенно, ничего ждать не надо. ;)
А вообще для себя, чтобы качалось без затыков, я сделал чуть хитрее - написал перловый скрипт, который запрашивает у гугла рэндомный тайл раз в минуту, и если в содержимом ответа не содержится "JFIF" - выполняется команда смены IP. ;)
T_Im
Постигающий Дао
 
Сообщения: 112
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 15 раз.
Поблагодарили: 14 раз.

Re: Бан и борьба с ним

Сообщение zed » 05 окт 2014, 12:13

Найдено на просторах интернета (работоспособность не проверял):
Предлагаю такой вариант обхода первой стадии бана (когда гугл пытается подсунуть captcha, а SASПланета не умеет с ним работать):
http://malykh.com/temp/2010-10-04/malyk ... server.zip

Скачиваете, распаковываете, запускаете gmaps-server.exe

Потом идете в SAS.планета, включаете показ гугловских спутниковых снимков, выбираете Параметры->Параметры карты (Ctrl+Alt+P). В поле URL будет что-то типа http://khm.google.com/kh/v=61&hl=ru (число может отличаться от 61). Меняете khm.google.com на 127.0.0.0:5454, а число на актуальную версию карт (в примере 71).

Т.е. URL должен выглядеть так:
http://127.0.0.1:5454/kh/v=71&hl=ru

2010-10-04_101025.jpg

Тем самым мы делегируем загрузку тайлов моей софтинке, которая будет пытаться обрабатывать запросы Captcha.

Теперь пытаемся загружать снимки в SAS.планета. Если гугл забанил, но не сильно, то моя программка будет просить ввести цифры (или буквы). Если они будут введены правильно, то тайлы будут грузиться.

2010-10-04_101107.jpg

Но если гугл забанил более жестко, то эта программа не поможет! Или, если поменяется механизм бана, тоже не поможет.

Просьба софтинку не распространять по другим форумам! Иначе гугл может начать менять алгоритмы бана.

Если кому-то поможет, то буду рад. Мне помогает (вот сегодня опять гугл так забанил).

p.s. Если захотите работать в SAS.планета без моей софтинки, то просто в меню настроек, которое показано выше, нажмите "Все по умолчанию", потом "Принять" - настройки вернутся к родным.

За это сообщение автора zed поблагодарили: 2
BSDshaman (06 окт 2014, 21:15) • Ivan30 (05 окт 2014, 12:55)
Рейтинг: 10.53%
 
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Бан и борьба с ним

Сообщение alexey65536 » 11 сен 2018, 22:06

zed писал(а):Найдено на просторах интернета (работоспособность не проверял):

Увы, не работает.
Возможно, из-за того, что адрес сервера теперь не khm.google.com, а khms...
Если добавить даже этот один символ в одном из бинарников проекта - программа не запускается.
alexey65536
Новичок
 
Сообщения: 3
Зарегистрирован: 11 апр 2015, 10:33
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение VMatveev » 10 сен 2019, 21:35

Прелюбопытная новость тут прошла: Хабр: Суд США полностью легализовал скрапинг сайтов и запретил ему технически препятствовать. Теперь бы разобрать вопрос: является ли скачивание тайлов гугл-мапс сторонней программой, вроде САС-а — этим самым скрапингом, и кто знает, может у пользователей САС-а и других качалок, в кои-то веки, ВНЕЗАПНО появится шанс надавать гуглу по рукам, за эти его капчи и баны? :lol:
J'ai rêvé qu'on pouvait s'aimer
J'avais rêvé du mot aimer...
© MF
Аватара пользователя
VMatveev
Советчик
 
Сообщения: 290
Зарегистрирован: 07 ноя 2008, 04:41
Благодарил (а): 82 раз.
Поблагодарили: 72 раз.

Re: Бан и борьба с ним

Сообщение Parasite » 11 сен 2019, 04:39

VMatveev писал(а):Суд США полностью легализовал
у пользователей САС-а и других качалок, в кои-то веки, ВНЕЗАПНО появится шанс надавать гуглу по рукам

Не раньше, чем оные пользователи САСа переместятся в зону юрисдикции суда США :lol:
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 459 раз.

Re: Бан и борьба с ним

Сообщение Sant118 » 11 сен 2019, 05:11

Parasite писал(а):Не раньше, чем оные пользователи САСа переместятся в зону юрисдикции суда США :lol:


Через прокси или ВПН - быстро и легко!
Sant118
Новичок
 
Сообщения: 13
Зарегистрирован: 18 ноя 2010, 23:53
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение Parasite » 11 сен 2019, 19:19

Sant118 писал(а):
Parasite писал(а):Не раньше, чем оные пользователи САСа переместятся в зону юрисдикции суда США :lol:

Через прокси или ВПН - быстро и легко!

Ну, во-первых, не слишком быстро и (для многих) - вовсе не легко.
А во-вторых - для этого вовсе не надо ждать никаких решений судов США и иже с ними.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 459 раз.

Пред.

Вернуться в Google Maps + Google Earth™

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1