SASGIS

Веб-картография и навигация

Бан и борьба с ним

Обсуждаем сервисы Google Maps и Google Earth™

Модератор: Tolik

Re: Бан и борьба с ним

Сообщение ZmeiGorinich » 27 апр 2010, 22:59

так.
ситуация один.
скорость 2.6
интервал 1000 - всё работает, интервал 500 - всё работает, интервал 0 - всё работает

ситуация два.
скорость 6.2
интервал 1000 - бан

Это я к тому, что загружать с 0-вым интервалом намного приятнее, чем сидеть в бане с интервалом 1000.
Аватара пользователя
ZmeiGorinich
Соображающий
 
Сообщения: 68
ICQ: 341401656
Зарегистрирован: 07 дек 2009, 02:43
Откуда: Тверь
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Бан и борьба с ним

Сообщение KKS » 28 апр 2010, 13:28

Приведу формулу с примером.
Так как точного алгоритма бана никто не знает то можно только догадываться.
60000/(filesize(bytes)/speed(bytes/ms)+sleep(ms))>limit by google -> BAN
размер одного тайла ~6000 байт
скорость твоя 6.2 мегабита/сек = 812646 байт/сек = 812,646 байт/мс (конечно такой скорости в реале нету и на таких малых размерах она и до полмегабита недоростает, тут скорее время отлкика влияет, но что бы показать тебе наявно что скорость тут совсем непричем - продолжим...)
слип тайм = 0 (для сравнения)

60000/(6000/812,646+0)= ~8126 запросов в минуту
следующая скорость твоя 2,6 мбит/сек = 340,787 байт/мс
60000/(6000/340,787+0)= ~3407 запросов в минуту

теперь тоже самое только с слиптаймом в 1000мс
60000/(6000/812,646+1000)= ~59 запросов в минуту
60000/(6000/340,787+1000)= ~58 запросов в минуту

Точно сказать какой период времени мониторит гугль - нельзя... минуту, 10, 25, 30, час... не ясно . но ясно то что гугль не хочет что бы с него качали много. Рядовой пользователь листая обычную карту, думаю врядли выйдет за приделы 90 запросов в минуту.
Также возможно они мониторят жестче кучу запросов с ответом 404, которые обычный юзер таким шквалом никогда не пошлет.
Так что тебе решать как качать.


PS реальных 6,2 мбита/сек ты на файле в 6кб никогда не увидишь
PPS родилась очередная хотелка :)
KKS
Новичок
 
Сообщения: 43
Зарегистрирован: 21 апр 2010, 01:32
Благодарил (а): 1 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение ZmeiGorinich » 28 апр 2010, 14:12

так вот при "60000/(6000/340,787+0)= ~3407 запросов в минуту" бана то и не было. Вот что интересно!

Да, а 404-е ошибки я, в принципе, искореняю. Выделяю/качаю только то, что есть...
Аватара пользователя
ZmeiGorinich
Соображающий
 
Сообщения: 68
ICQ: 341401656
Зарегистрирован: 07 дек 2009, 02:43
Откуда: Тверь
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Бан и борьба с ним

Сообщение Parasite » 28 апр 2010, 17:56

ZmeiGorinich писал(а):ситуация один.
всё работает

ситуация два.
бан

Sharing IP (как провайдерскую совокупность числа юзверей помноженных на скорость сети - но все в то же бутылочное горлышко белой провайдерской подсетки) в варианте 2 мы, конечно же, в расчет не берем? Очевидно, что чем больше скорости отдается юзеру - тем больший приоритет должен быть у того бутылочного горлышка, на котором оные скоростные юзеры сидят. И тем больше частота\скорость запросов по оному ВООБЩЕ (от провайдера, в сумме), и тем быстрее влет в бан там, где банится именно IPшник по данному параметру частоты\числа запросов.
У меня такое на депозите как-то наблюдалось. Как ни зайдешь - "Вы исчерпали лимит подключений!", хотя _месяцами_ не качал. Взял более медленный, но "белый" IP - как рукой сняло.

ZmeiGorinich писал(а):Это я к тому, что загружать с 0-вым интервалом намного приятнее, чем сидеть в бане с интервалом 1000.

Какой "неожиданный" вывод... :lol:
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Re: Бан и борьба с ним

Сообщение ZmeiGorinich » 28 апр 2010, 18:33

В том то и дело, что обидно...
Белый IP (и тогда и сейчас), наконец то оптика - и в баню. Приходится сейчас интервал 1500 ставить - пока полёт нормальный.
Аватара пользователя
ZmeiGorinich
Соображающий
 
Сообщения: 68
ICQ: 341401656
Зарегистрирован: 07 дек 2009, 02:43
Откуда: Тверь
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Бан и борьба с ним

Сообщение ZmeiGorinich » 30 апр 2010, 22:34

Ну вот - с интервалом 1500 Гугл меня забанил.
Может, всё-таки дело в скорости скачивания одного файла? ;)
Аватара пользователя
ZmeiGorinich
Соображающий
 
Сообщения: 68
ICQ: 341401656
Зарегистрирован: 07 дек 2009, 02:43
Откуда: Тверь
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Бан и борьба с ним

Сообщение zed » 30 апр 2010, 22:57

ZmeiGorinich писал(а):Может, всё-таки дело в скорости скачивания одного файла? ;)

Как такое может быть? Ведь вы браузером-то тоже по-одному тайлу тянете без ограничения скорости.
Со скоростью поэксперементируйте: поставьте шейпер (к примеру, простенький BWMeter), зарежьте свой канал и посмотрите как быстро забанят.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Бан и борьба с ним

Сообщение CepheX » 06 май 2010, 17:00

Информация для владельцев WiFi карточек.
О моей борьбе с баней гугла. Имею обыкновенный проводной интернет в многоквартирном доме и WiFi рутер потому как имеется несколько ноутбуков. В свою очередь соседи у меня очень добрые и юзают такие же WiFi рутеры но без кодирования (спасибо им) :) В итоге я имею 3 разных подсести. Выставляю паузу 0.3 секунды и качаю пока не забанят. Как тока оказался в бане подключаюсь на следующий рутер. И так методом ротации имею возможность качать сутками напролет.
И еще совет, я формирую из 14 слоя нижестоящие вплоть до 10 слоя таким методом я вижу на довольно обзорном 10-м слое все подробные слои для Латвии хватает :). Остальные подробные слои я качаю с 17-го слоя и только интересующие места качаю на максимально доступном зуме и также формирую все предыдущие. В итоге требуется качать всего несколько слоев а в результате имеем полное заполнение карты всеми слоями. 257000 тайлов на компе :)
Аватара пользователя
CepheX
Новичок
 
Сообщения: 31
Зарегистрирован: 27 апр 2010, 23:32
Благодарил (а): 8 раз.
Поблагодарили: 4 раз.

Re: Бан и борьба с ним

Сообщение Abashin » 30 ноя 2010, 12:33

Может кто знает, почему при выставлении бана от Google maps (Спутник) через браузер Google Chrome я по прежнему могу просматривать карту, через другие браузеры (IE, Opera) нет - до тех пор пока не снимется бан?
До того как что-нибудь было, ничего не было... (с) Божественная комедия
Аватара пользователя
Abashin
Новичок
 
Сообщения: 12
Зарегистрирован: 02 ноя 2010, 14:09
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение Parasite » 30 ноя 2010, 12:47

Abashin писал(а):Может кто знает, почему при выставлении бана от Google maps (Спутник) через браузер Google Chrome я по прежнему могу просматривать карту, через другие браузеры (IE, Opera) нет - до тех пор пока не снимется бан?

Просматривается в любом современном браузере, поддерживающем куки (это же ответ и на вопрос "почему сас банят" - он не поддерживает куков). Причем сас может быть в бане - а на том же компьютере в браузере всё будет работать.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Пред.След.

Вернуться в Google Maps + Google Earth™

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2