ESRI (arcgisonline.com)
Модератор: Tolik
ESRI (arcgisonline.com)
Тема касается скачки покрытия и его метаданных с сервиса
http://server.arcgisonline.com/ArcGIS/r ... apServer/0
Скачка сделана через перловый скрипт. Параметрами скрипта можно рулить в рамках собственных способностей.
Скачка идёт по годам. Если за год получается более 500 объектов - качается помесячно.
Если в месяце более 500 - будет облом, но пока такого не было, если не жадничать ))).
Перл забирается с сайта activestate.com (любая новая версия ActivePerl).
Вызывается он батником в виде
perl.exe esri_downloader.pl 1 26 40 74 80
для скачивания участка, ограниченного прямоугольником,
или
perl.exe esri_downloader.pl 0
для скачивания по "имени".
esri_downloader.pl (с батниками) лежит тут
http://narod.ru/disk/58993474001.542f28 ... r.rar.html
Результат скачки в пямоугольнике 26 40 74 80 (это lon lat min max) лежит тут (дабы всем не насиловать сервис):
http://narod.ru/disk/58993566001.c1d3a1 ... 8_06_(4087).rar.html
Там лежит кучка kmz + лог, всего 4087 объектов с метаданными, но при закгрузке в сас их будет больше ем 4087 по причине деления многокомпонентных мультиполигонов.
После того как я только что переделал импорт kmz, все эти объекты могут быть легко загружены в сас импортом всей кучи.
http://server.arcgisonline.com/ArcGIS/r ... apServer/0
Скачка сделана через перловый скрипт. Параметрами скрипта можно рулить в рамках собственных способностей.
Скачка идёт по годам. Если за год получается более 500 объектов - качается помесячно.
Если в месяце более 500 - будет облом, но пока такого не было, если не жадничать ))).
Перл забирается с сайта activestate.com (любая новая версия ActivePerl).
Вызывается он батником в виде
perl.exe esri_downloader.pl 1 26 40 74 80
для скачивания участка, ограниченного прямоугольником,
или
perl.exe esri_downloader.pl 0
для скачивания по "имени".
esri_downloader.pl (с батниками) лежит тут
http://narod.ru/disk/58993474001.542f28 ... r.rar.html
Результат скачки в пямоугольнике 26 40 74 80 (это lon lat min max) лежит тут (дабы всем не насиловать сервис):
http://narod.ru/disk/58993566001.c1d3a1 ... 8_06_(4087).rar.html
Там лежит кучка kmz + лог, всего 4087 объектов с метаданными, но при закгрузке в сас их будет больше ем 4087 по причине деления многокомпонентных мультиполигонов.
После того как я только что переделал импорт kmz, все эти объекты могут быть легко загружены в сас импортом всей кучи.
Re: ESRI (arcgisonline.com)
Наблюдать сие в онлайне можно либо на портале
http://www.arcgis.com/home/webmap/viewer.html
если там выбрать "Базовая карта" - "Изображение" (самый первый пункт)
либо
на портале росреестра, если в качестве подложки включить ESRI.
зы. Для труъ-хакеров и прочих специалистов вопрос: какого фига обрезано покрытие примерно чуть севернее Омутнинска ровно по параллели, хочу выше что-нибудь ))))).
http://www.arcgis.com/home/webmap/viewer.html
если там выбрать "Базовая карта" - "Изображение" (самый первый пункт)
либо
на портале росреестра, если в качестве подложки включить ESRI.
зы. Для труъ-хакеров и прочих специалистов вопрос: какого фига обрезано покрытие примерно чуть севернее Омутнинска ровно по параллели, хочу выше что-нибудь ))))).
- Papazol
- Гуру
- Сообщения: 2069
- Зарегистрирован: 04 дек 2009, 01:39
- Откуда: Рязань
- Благодарил (а): 73 раза
- Поблагодарили: 647 раз
Re: ESRI (arcgisonline.com)
vasketsov писал(а):perl.exe esri_downloader.pl 0
для скачивания по "имени".
Что в данном случае считается "именем"?
Re: ESRI (arcgisonline.com)
Под именем понимается параметр NICE_NAME.
То есть формируется строка where типа "(NICE_NAME like '%Europe%')".
Для примера - открываем страничку Query (линк вверху темы), там вбиваем (NICE_NAME like '%Europe%') в поле where и звёздочку в поле Return Fields (Comma Separated), после жмакаем на GET - ждём и получаем не более 500 объектов.
Но так как не у всех "европейских" снимков параметр NICE_NAME включает в себя Europe - это осталось не более чем стартовой опцией на поиграться (и соответственно имя не вынесено в параметры скрипта).
Для выкачивания kmz рекомендуется выкачивать по прямоугольным координатам.
То есть формируется строка where типа "(NICE_NAME like '%Europe%')".
Для примера - открываем страничку Query (линк вверху темы), там вбиваем (NICE_NAME like '%Europe%') в поле where и звёздочку в поле Return Fields (Comma Separated), после жмакаем на GET - ждём и получаем не более 500 объектов.
Но так как не у всех "европейских" снимков параметр NICE_NAME включает в себя Europe - это осталось не более чем стартовой опцией на поиграться (и соответственно имя не вынесено в параметры скрипта).
Для выкачивания kmz рекомендуется выкачивать по прямоугольным координатам.
- Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: ESRI (arcgisonline.com)
А как быть если объектов больше 500?
Это, как я понимаю - сабжево:
Это, как я понимаю - сабжево:
Код: Выделить всё
ERROR: 544 objects for 201102
ERROR: 732 objects for 201103The only difference between me and a mad man is that I am not mad. /Salvador Dali/


Re: ESRI (arcgisonline.com)
Parasite писал(а):А как быть если объектов больше 500?
Это, как я понимаю - сабжево:Код: Выделить всё
ERROR: 544 objects for 201102
ERROR: 732 objects for 201103
Да. Это оно и есть.
Уменьшить площадь например.
- Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: ESRI (arcgisonline.com)
vasketsov писал(а):Уменьшить площадь например.
Ну я ж в своем репертуаре - недолго думая дал perl esri_downloader 1 -180 -90 180 90
Пока что тянет (исключая нечастые ошибки "over 500"), как утащит - разберусь с ошибочными и вывалю все это оптом на торренты. Чего сервис насиловать...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/


Re: ESRI (arcgisonline.com)
Лучше б в несколько потоков квадратами градусов по 40 запустил бы )))
Потом замучаешься разбираться, если всё целиком, ну не по дням же качать.
Или например "полосками" по тому же делению, что и высоты ты накачал.
Кроме того, там же всё равно периодически обновления бывают, отслеживать их проще небольшими кусками.
Потом замучаешься разбираться, если всё целиком, ну не по дням же качать.
Или например "полосками" по тому же делению, что и высоты ты накачал.
Кроме того, там же всё равно периодически обновления бывают, отслеживать их проще небольшими кусками.
- Parasite
- Администратор
- Сообщения: 5646
- Зарегистрирован: 23 окт 2008, 17:38
- Благодарил (а): 124 раза
- Поблагодарили: 508 раз
Re: ESRI (arcgisonline.com)
Та я сугубо в тестовом режиме пока что.
Но вот что-то оно как-то хитро качает. Вот например про 2012 - вообще ни одного файла не скачало и ошибок не дало, хотя даже в твоем архиве в первом посте - они есть. А на 2011й - скачало кучку здоровенных КМZ (то есть, по идее - таки работает). То ли оно еще и сервером обрезается при больших размерах, то ли еще как...
Но вот что-то оно как-то хитро качает. Вот например про 2012 - вообще ни одного файла не скачало и ошибок не дало, хотя даже в твоем архиве в первом посте - они есть. А на 2011й - скачало кучку здоровенных КМZ (то есть, по идее - таки работает). То ли оно еще и сервером обрезается при больших размерах, то ли еще как...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/


- Papazol
- Гуру
- Сообщения: 2069
- Зарегистрирован: 04 дек 2009, 01:39
- Откуда: Рязань
- Благодарил (а): 73 раза
- Поблагодарили: 647 раз
Re: ESRI (arcgisonline.com)
Parasite писал(а): и вывалю все это оптом на торренты.
Есть ли смысл качать ВСЁ? Как разбираться потом, что нужно, что нет? Разбивка по датам, а не по местностям. Проще скачивать каждому для интересующего района. А то marks.sml весьма разрастается, ворочать его тяжело.