Бан и борьба с ним

[Rasp]

Рискую нарваться на плюсомет модератора, но тему подниму, поскольку нигде на форуме информации об этом не нашел.

Очевидно, что Гуугль банит за попытки скачивания несуществующих тайлов. Почему тогда борьба с баном ведется не путем изменения алгоритма загрузки, а путем увеличения паузы между запросами на сервер?

[vdemidov]

Очевидно, что Гуугль банит за попытки скачивания несуществующих тайлов. Почему тогда борьба с баном ведется не путем изменения алгоритма загрузки, а путем увеличения паузы между запросами на сервер?

Вопрос в том как угадывать существует тайл или нет.
Сейчас есть такая идея:
При закачке региона можно добавить опцию типа "Когда не делать попыток закачки" и варианты:
1. Всегда пытаться скачать.
2. Не качать только если есть tne для этого тайла
3. Не качать, если есть tne для тайла на уровень выше
4. Не качать, если нет скачанного тайла на уровень выше.

Предлагаю высказываться. Какое мнение сообщества, стоит реализовывать или ну его нафиг, слишком запутанно?

[Rasp]

Меня интересуют спутниковые снимки слоя х16 европейской части России. Алгоритм скачивания следующий:
0. В настройках скачивания карт убираю все задержки
1. Скачиваются тайлы всей европейской части России х14. Они все есть и бана не происходит. Скачивание проходит на максимальной скорости канала.
2. В ручном режиме просматриваю снимки х14. Нахожу участки местности, которые имеют слои с большим разрешением. Их не сложно заметить по большему кол-ву деталей.
3. На масштабе х14 выделяю такие области и скачиваю масштаб х16. Поскольку такие тайлы точно есть, то бана нет и скачивание идет на максимальной скорости канала.
4. И так последовательно просматривая поверхность интересующей меня местности нахожу все участки с высоким разрешением.

+ Таким способом можно за день выкачать несколько гигабайт тайлов высокого разрешения без всяких банов.
+ Понятно, что нет никаких ограничений на многопоточность скачивания.

- Тратится много времени. Причем даже не на поиск участка с высоким разрешением. А на выделение этого участка точно по границам. Причем, поскольку участок в разрешении х14 не помещается на один экран то его скачивание приходится делать в несколько приемов.
- При смене версии программы приходится каждый раз лазить в настройку карт и убирать задержки
- Если прошли изменения в слоях, то надо заново скачать слой х14 и посмотреть в ручном режиме, не появились ли новые участки с высоким разрешением.

Алгоритм далек до идеального. Но другого варианта пока не нашел. Возможные улучшения алгоритма требуют доработки программы. Например:
1. Самостоятельный поиск программой тайлов высокого разрешения на заданном участке. Для этого надо скачивать тайлы сильно прореженной сеткой, а не сплошняком.
2. После нахождения тайла с высоким разрешением или указания его в ручную, программа скачала бы всю область высокого разрешения, по возможности не выходя за ее границы. Алгоритмически задача сложна, но решаема.
3. При скачивании участка и обнаружения измененных тайлов, программа может проверять наличие в этих местах тайлов с высоким разрешением.

[zed]

А что, бан связан ТОЛЬКО с запросами несуществующих тайлов, и никакие другие действия юзера к бану не приводят?

Вопрос в том как угадывать существует тайл или нет.

Нечего угадывать не надо. Существует тайл или нет, записано здесь: viewtopic.php?f=27&t=765 НаУчитесь пользоваться предоставленной информацией, и забудите про бан

[Rasp]

А что, бан связан ТОЛЬКО с запросами несуществующих тайлов, и никакие другие действия юзера к бану не приводят?

По моим экспериментальным наблюдениям именно так. Как только перестал запрашивать несуществующие тайлы баны прекратились напрочь. Задержки равны нулю. Канал 10 магабит. Скачиваю в несколько ручьев. Объем скачанного в кеше, на текущий момент, превышает 30 гб и 3 млн. файлов. Бана нет.

[Rasp]

Нечего угадывать не надо. Существует тайл или нет, записано здесь: viewtopic.php?f=27&t=765 НаУчитесь пользоваться предоставленной информацией, и забудите про бан

Сходил по ссылке и не понял, что Вы имели в виду. Там обнаружил только ссылки на неполную коллекцию тайлов низкого разрешения до х12. х12 и х14 у меня есть. Даже если бы их небыло, время на их получение порядка суток. А нужны х16.

[zed]

По ссылке лежит q-дерево, один зум которого, описывает наличие тайлов сразу на 4-х низлежащих зумах, т.е. 12-й зум дерева описывает 13..16 зумы тайлов, а 16-й, соответственно, 17..20 зумы. Ну, пока SAS не умеет работать с q-деревом, вам оно, как бы и нафиг надо. Мой пост относился к разработчикам, мол, вот где можно брать инфу. Если такой вариант их заинтересует, то алго скачки с GM придётся сильно модифицировать, но если это избавит от бана, то, наверное, оно того стоит?

[Rasp]

Понял. Спасибо. если разработчкики вклеют это в алгоритм, то все проблемы моментально решатся. Останется только вопрос где брать актуальное дерево. Или это не проблема?

[zed]

Есть, конечно, нюансы, но в общем - не проблема.

[vdemidov]

Если я правильно понимаю, это Q дерево для GE. И в скачивании Google Maps ничем помочь не может. Или я не прав?