SASGIS - SAS.Планета
View Issue Details
0001180SAS.Планета[All Projects] Багpublic18-02-2012 17:2306-06-2012 10:24
Smith2007 
vdemidov 
normalmajoralways
closedno change required 
Windows7Professional
.Nightly 
 
0001180: Параметры карты "Пауза" не корректно работает.
Ставлю паузу в 3000 (3 сек.) Тайлы скачиваются слишком быстро. Реально за секунду качается по 2 тайла. Как следствие - быстрый бан ip.
антибан, потоки
Issue History
18-02-2012 17:23Smith2007New Issue
18-02-2012 17:32Smith2007Note Added: 0005571
19-02-2012 07:14TolikNote Added: 0005573
19-02-2012 07:14TolikStatusnew => acknowledged
19-02-2012 07:15TolikNote Edited: 0005573bug_revision_view_page.php?bugnote_id=5573#r2802
19-02-2012 08:37Smith2007Note Added: 0005575
19-02-2012 09:42TolikNote Added: 0005576
19-02-2012 09:43TolikNote Edited: 0005576bug_revision_view_page.php?bugnote_id=5576#r2804
19-02-2012 12:42Smith2007Note Added: 0005579
19-02-2012 14:47TolikNote Added: 0005583
19-02-2012 14:48TolikStatusacknowledged => resolved
19-02-2012 14:48TolikResolutionopen => no change required
19-02-2012 14:48TolikAssigned To => Tolik
19-02-2012 14:48TolikStatusresolved => closed
19-02-2012 14:55TolikNote Edited: 0005576bug_revision_view_page.php?bugnote_id=5576#r2805
19-02-2012 14:55TolikNote Edited: 0005583bug_revision_view_page.php?bugnote_id=5583#r2807
19-02-2012 15:17zedNote Added: 0005585
19-02-2012 17:45TolikNote Added: 0005587
19-02-2012 17:45TolikAssigned ToTolik =>
19-02-2012 17:45TolikStatusclosed => acknowledged
19-02-2012 17:45TolikResolutionno change required => open
25-02-2012 19:36vdemidovNote Added: 0005636
25-02-2012 20:47vasketsovNote Added: 0005640
25-02-2012 21:02vdemidovNote Added: 0005643
29-02-2012 09:40gpsMaxTag Attached: антибан
29-02-2012 09:41gpsMaxTag Attached: потоки
06-06-2012 10:24vdemidovNote Added: 0007323
06-06-2012 10:24vdemidovStatusacknowledged => resolved
06-06-2012 10:24vdemidovResolutionopen => no change required
06-06-2012 10:24vdemidovAssigned To => vdemidov
06-06-2012 10:24vdemidovStatusresolved => closed

Notes
(0005571)
Smith2007   
18-02-2012 17:32   
Сделал еще одну проверку:
1. Установил значение "пауза" = 3000
Засек время.
За 60 сек было загружено 63 тайла.
(0005573)
Tolik   
19-02-2012 07:14   
(edited on: 19-02-2012 07:15)
Мне кажется, это связано с многопоточностью.
Сделал паузу 3000, стал бродить по карте и вижу:
появилось штуки 4 тайла одновременно, потом 3 сек ничего не происходит, потом опять 4 тайла.

Не знаю, баг или фича.

(0005575)
Smith2007   
19-02-2012 08:37   
Гугл банит примерно через 2 часа. Хорошо, что ip динамический получаю. Ребут интерфейса маршрутизатора и качаем дальше. Но сие не правильно.
(0005576)
Tolik   
19-02-2012 09:42   
(edited on: 19-02-2012 14:55)
А попробуйте в ini сделать

[ZmpDefaultParams]
MaxConnectToServerCount=1

(0005579)
Smith2007   
19-02-2012 12:42   
Установил в ini
[ZmpDefaultParams]
 MaxConnectToServerCount=1

Теперь все правильно работает!
Таймаут 3000 (3 сек)
За 60 сек скачал 20 тайлов!
(0005583)
Tolik   
19-02-2012 14:47   
(edited on: 19-02-2012 14:55)
Этот же параметр
MaxConnectToServerCount=1
можно добавить в params.txt для этой карты, а для остальных оставить многопоточность.

Так что это не баг, закрываю.

(0005585)
zed   
19-02-2012 15:17   
Имхо, это таки баг. Сколько бы потоков прога не запускала, паузу она обязана учитывать.
(0005587)
Tolik   
19-02-2012 17:45   
Тогда открываю обратно.
(0005636)
vdemidov   
25-02-2012 19:36   
ИМХО нужно забить на эту паузу и делать возможность ставить ограничение на количество запросов в минуту и количество скачанных байт в минуту.
(0005640)
vasketsov   
25-02-2012 20:47   
А реальную паузу вычислять на основании количества рабочих потоков и соответственно минимального из двух ограничений (по числу запросов и числу байт) исходя из фактической статистики скачки?
Ну в общем конечно логично и масштабируемо.
Только всё равно минимальное ограничение паузы должно быть, хотя бы для начального этапа, пока скорость скачки неизвестна, или при сильном изменении количества качаюших потоков (например, включение или отключение "интерфейсной" качалки в 100500 потоков).
(0005643)
vdemidov   
25-02-2012 21:02   
Пауза имеет смысл только при 1 потоке закачки. А если их много, то это дурдом.
(0007323)
vdemidov   
06-06-2012 10:24   
Если нужна строго заданная пауза, ставьте MaxConnectToServerCount=1