SASGIS - SAS.Планета
View Issue Details
0000833SAS.Планета[All Projects] Хотелкаpublic11-07-2011 14:4105-09-2011 18:58
tech-gs 
 
normalfeaturehave not tried
newopen 
Windows7Ultimate
110418 
 
0000833: Реализовать автоматическую паузу скачивания при блокировании IP сервисом
При скачивании большого объема карт за определенный промежуток времени, IP пользователя блокируется сайтом сервиса. Далее скачивать бессмысленно.
Предлагаю добавить в параметрах скачивания, например, в окне 'Операции с выделенной областью' галочку автоматической паузы при блокировке. В Яндекс.Картах этот момент легко отловить, поскольку окно загрузки начинает выдавать сообщения 'Сервис вернул тип "text/html", а не один из ожидаемых'.
антибан
Issue History
11-07-2011 14:41tech-gsNew Issue
11-07-2011 15:28vdemidovAdditional Information Updatedbug_revision_view_page.php?rev_id=1579#r1579
11-07-2011 15:57gpsMaxTag Attached: антибан
11-07-2011 16:02gpsMaxNote Added: 0003144
11-07-2011 18:10tech-gsNote Added: 0003146
12-07-2011 04:51zedNote Added: 0003147
12-07-2011 05:06zedNote Edited: 0003147bug_revision_view_page.php?bugnote_id=3147#r1581
16-07-2011 19:57vasketsovNote Added: 0003172
05-09-2011 18:58zOnNote Added: 0003703

Notes
(0003144)
gpsMax   
11-07-2011 16:02   
Отличное предложение, никто ранее про это как-то не догадался.

Только бан бывает и кратковременным, бывают и локальные затыки - не стоит при первых признаках неотдачи тайлов намертво стопорить процесс. Возможно, стоило бы применить прогрессивную паузу - при первом пропуске ждем пять секунд, при втором - 10, при третьем - 20... Цифры навскидку.
(0003146)
tech-gs   
11-07-2011 18:10   
Ну, если никак не отличить бан от затыка, то можно и так.
А можно к галочке и поля приделать, куда пользователь сам будет заносить на свой вкус эти самые паузы.
(0003147)
zed   
12-07-2011 04:51   
(edited on: 12-07-2011 05:06)
А можно сделать антибан на скриптах (http://sasgis.org/forum/viewtopic.php?f=47&t=1615) и пусть пользователь сам решает когда его забанили, и что при этом делать. А то ведь галочек, дополнительных полей, да параметров в zmp всё равно на все случаи жизни не предусмотришь.

(0003172)
vasketsov   
16-07-2011 19:57   
>А можно сделать антибан на скриптах
Тогда уж надо предусмотреть замену прокси в скрипте на другой хоть немного более рабочий.
(0003703)
zOn   
05-09-2011 18:58   
>Тогда уж надо предусмотреть замену прокси в скрипте на другой хоть немного более рабочий.
перебор прокси был реализован еще в ES1.95, но счастья так и не прибавил. и на то несколько причин:
1. многие анонимные прокси в бан листе у гугла.
2. многие сидят за своими прокси, а каскадирование - это уже не такая тривиальная задача.
есть вариант кача ч/з Тор, но больно медленно.
всё же "прогрессивная пауза" - не плохой вариант.