SASGIS

Веб-картография и навигация

Windows XP и 50 миллионов файлов в кеше SASGIS

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение vdemidov » 21 ноя 2015, 20:56

Merh писал(а):А если ещё и бан серверов вспомнить...

Именно. Поэтому все кому нужны миллионы тайлов изобретают свои велосипед и сами борются с баном. Для простых пользователей хватает возможностей файловой системы и уж тем более хватает возможностей тайлохранилища в БерклиДБ
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.

За это сообщение автора vdemidov поблагодарил:
Merh (21 ноя 2015, 21:18)
Рейтинг: 5.26%
 
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1687
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 191 раз.
Поблагодарили: 157 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Merh » 21 ноя 2015, 21:18

В-третьих, файлов на типичном компе совсем не много.
В-4, в уважающей себя конторе не "домашний комп" (собранный на коленке), а какой-никакой брэнд.

Лютый бред по обоим пунктам, уж извините.
У меня даже до кеша тайлов уже мелочи на пару лям файлов лежало. Именно мелочи, от 200 до 700 килобайт.
Таки да, на NTFS.
С появлением SAS добавилось. Поэтому вопрос очень таки актуальный.
По "конторам" может быть, в службе картографии это так, у нас же - даже у СМ мягко говоря, хлам стоял, и, таки да - с палёным таки софтом, местами.
ж тем более хватает возможностей тайлохранилища в БерклиДБ

На сегодняшний момент да, "беркли" - это, пожалуй, единственный выход.
Просто шикарное решение, именно для хранения кеша.
Отдельный Ордена Червоного Прапора Цілком і Повністю Упоротий Полк Першого Диверсійного Загону Аэлирэ́нн Aen Saevherne, Третій Санітарний Дивізіон Бронетанкових Панцерваффе ЦК АВО імені Майора Нємчицький.
S.A.N.I.T.A.R. АВО
Аватара пользователя
Merh
Соображающий
 
Сообщения: 53
Зарегистрирован: 13 ноя 2015, 20:19
Благодарил (а): 118 раз.
Поблагодарили: 1 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Parasite » 21 ноя 2015, 21:18

Tolik писал(а):не "домашний комп" (собранный на коленке), а какой-никакой брэнд.

А "какие-нибудь брэнды" чуть менее чем все поголовно собраны уже на китайской коленке (и больны "эффективностью менеджмента" и удешевлением производства ничуть не меньше), так что вся разница - только в шильдике и ценнике. Особенно же если смотреть на эту тему со стороны файловой системы NTFS.
Наличие\отсутствие бренда никакой уличной магии в данном вопросе не делает - брэнды тоже и горят, и глючат, и требуют внимания админа к своей скромной персоне ничуть не меньше (а чаще - даже больше, ибо брэндованные вещи частенько более закрыты).

И таки рекомендую предыдущему оратору все же определиться с конкретным вопросом к данной теме. При 50м файлов в\на NTFS - возможны сюрпризы. Что-то еще?
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение

За это сообщение автора Parasite поблагодарил:
Merh (21 ноя 2015, 21:19)
Рейтинг: 5.26%
 
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Papazol » 21 ноя 2015, 21:48

Если под "серверами" иметь в виду хранилища Google или хоть Яндекс, то это не просто какой-нибудь тауэр, набитый хард дисками, а стойки, с вентиляцией, с резервным питанием, с датчиками перегрева в конце концов. И там есть обслуживающий персонал в том или ином виде. Эти компании не могут себе позволить просто так потерять данные или спалить технику.
Перфекционизм - штука, конечно, хорошая, но довольно затратная. И всяко на свой страх и риск, ведь для "изделий" обязательны всякие тесты: климатические, механические... и другие. Домашний комп - не "изделие". Но не стоит отчаиваться, в том виде, в котором эти компы продаются, они на многое способны. Только не надо от них требовать невозможного.

Я сейчас имею "область интереса", состоящую из одной полной области и двух неполных. Эти неполные добавил недавно, поэтому пришлось их скачивать практически с нуля. Скачиваю всегда в полуавтоматическом режиме, то есть на мелких масштабах по всей выделенной области, а на z17 и z18 - выделяя куски руками. За четыре-пять вечеров вся моя область интереса была скачана. А дальше только новые снимки, а их не так много, да и не в каждом обновлении. Бана при таком методе не наблюдал. Кстати, скачивать масштабы более z18 считаю бессмысленным (если это снимки территории России) ввиду отсутствия дополнительной информации на бОльших зумах. Оговорюсь, есть снимки, которые можно и нужно смотреть и на z20, но это не на Гугле и не на Яндексе.
Аватара пользователя
Papazol
Гуру
 
Сообщения: 2069
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 74 раз.
Поблагодарили: 647 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Merh » 21 ноя 2015, 21:49

И таки рекомендую предыдущему оратору все же определиться с конкретным вопросом к данной теме. При 50м файлов в\на NTFS - возможны сюрпризы.

Перекинуть в "беркли" и вопрос закрыт, так ведь?
Кстати, скачивать масштабы более z18 считаю бессмысленным (если это снимки территории России) ввиду отсутствия дополнительной информации на бОльших зумах.

А это смотря что смотреть, на территории РФ. :mrgreen:
PS.А где смотреть 20-й посоветуете?
Отдельный Ордена Червоного Прапора Цілком і Повністю Упоротий Полк Першого Диверсійного Загону Аэлирэ́нн Aen Saevherne, Третій Санітарний Дивізіон Бронетанкових Панцерваффе ЦК АВО імені Майора Нємчицький.
S.A.N.I.T.A.R. АВО
Аватара пользователя
Merh
Соображающий
 
Сообщения: 53
Зарегистрирован: 13 ноя 2015, 20:19
Благодарил (а): 118 раз.
Поблагодарили: 1 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение zed » 21 ноя 2015, 22:38

У нас там ещё кэш в СУБД есть. И можно посмотреть в сторону NFS (Network File System).
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Merh » 21 ноя 2015, 23:32

У нас там ещё кэш в СУБД есть.

Обычному хомячку (вроде меня), это ни о чём не говорит вообще.
А вот с "беркли" - там в принципе понятно, сконвертил (или сразу включил писать в него), и с проблемой FS можно дел не иметь.
И копироваться будут, самое тоже важное - быстро.
Я один раз попробовал 4 гига тайлов на флешку просто так скопировать... думал не дождусь.
Потом в контейнер от "трикрипта" снёс. А ещё "tar" есть... Вообще отличная вещь.
Отдельный Ордена Червоного Прапора Цілком і Повністю Упоротий Полк Першого Диверсійного Загону Аэлирэ́нн Aen Saevherne, Третій Санітарний Дивізіон Бронетанкових Панцерваффе ЦК АВО імені Майора Нємчицький.
S.A.N.I.T.A.R. АВО
Аватара пользователя
Merh
Соображающий
 
Сообщения: 53
Зарегистрирован: 13 ноя 2015, 20:19
Благодарил (а): 118 раз.
Поблагодарили: 1 раз.

Пред.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и гости: 10