SASGIS

Веб-картография и навигация

Решение проблемы перемещения кэша

Обсуждение различной информации связанной с картографией в САСе, а также сторонние программные продукты для связки с САСом

Модератор: Tolik

Re: Решение проблемы перемещения кэша

Сообщение VMatveev » 30 сен 2009, 23:42

:idea: Интересно, нельзя-ли сделать КЭШ на основе этого крутого TAR-а, чтобы все тайлы сразу писались в него, и читались с него тоже. Или это невозможно в принципе?
Один кэш=один файл - это было-бы здорово!
J'ai rêvé qu'on pouvait s'aimer
J'avais rêvé du mot aimer...
© MF
Аватара пользователя
VMatveev
Советчик
 
Сообщения: 284
Зарегистрирован: 07 ноя 2008, 04:41
Благодарил (а): 76 раз.
Поблагодарили: 68 раз.

Re: Решение проблемы перемещения кэша

Сообщение zed » 01 окт 2009, 08:45

Кэш одним файлом можно сделать и без tar-a, как говорится: для каждой задачи - свой инструмент. TAR - архиватор, и на его базе (и как на базе любого другого архиватора), можно сделать "кэш одним файлом", но встанет вопрос быстродействия доступа к отдельно взятому тайлу...
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 2888
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 01 окт 2009, 10:54

zed писал(а):TAR - архиватор

Дампер устройства в файл, я бы сказал.
Архиватор там навешивается сверху, сторонний, по желанию (gzip\bzip\bz2\compress на выбор, определяется ключами, в основном ключом z\Z), в винде они юзают бибилиотеку zlib.dll - идет в комплекте с таром.
Сам же tar в "голом" виде поддержкой сжатия не страдает и дампит "как есть". :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5644
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 457 раз.

Re: Решение проблемы перемещения кэша

Сообщение zed » 01 окт 2009, 17:10

Parasite писал(а):Сам же tar в "голом" виде поддержкой сжатия не страдает и дампит "как есть".

О! Отсюда вывод, что если нужно максимально быстро перенести кэш, и размер полученного архива не столь важен (копируем с винта на винт), то сжатие лучше и вовсе не использовать. При этом размер конечного несжатого "архива" увеличится на 10-15%, но и скорость паковки/распаковки возрастёт.

Чтобы использовать режим "без сжатия", скачайте файл из аттача, распакуйте его до кучи, к остальным файлам архиватора, и собственно, используйте:
Код: Выделить всё
tar <папка для архивирования> <имя архива>.tar
Пример: tar SAT sat.tar

tar.zip
(152 байт) Скачиваний: 413


Иллюстрации:
01.10_3.jpg
Свойства исходной папки. Размер данных 2,09 Гб

01.10_2.jpg
Свойства tar файла. Размер файла 2,21 Гб

01.10.jpg
Размер tgz архива 2,01 Гб
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 2888
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 01 окт 2009, 20:29

zed писал(а):
Parasite писал(а):Сам же tar в "голом" виде поддержкой сжатия не страдает и дампит "как есть".

О! Отсюда вывод, что если нужно максимально быстро перенести кэш, и размер полученного архива не столь важен (копируем с винта на винт), то сжатие лучше и вовсе не использовать. При этом размер конечного несжатого "архива" увеличится на 10-15%, но и скорость паковки/распаковки возрастёт.

Так дело хозяйское же. Для отрывания сжатия - убрать буковку z из коммандлайна в батнике, и все.
Что же касается скорости - то тар и так весьма реактивен, и лично я не вижу разницы в скорости работы со сжатием и без. А если нет разницы - то зачем создавать более большой файл? Он будет дольше копироваться. :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5644
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 457 раз.

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 06 окт 2009, 11:51

Parasite писал(а):PS: только что для теста утоптал виндовой версией 17 миллионов тайлов за 2.5 часа (получился 42Гб контейнер). Ни единого нарекания, ни единого лишнего вопроса, запрос к памяти не выше 1Мб - точно так, как оно и должно быть в идеале.

...а вот так выглядит WinRAR последней версии при попытке сделать то же самое:
Clipboard01.jpg
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5644
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 457 раз.

Re: Решение проблемы перемещения кэша

Сообщение bk99 » 30 окт 2009, 15:42

Parasite
Предлагаю свой способ хранения...

Минусы:
лично мне не видны.
Обсуждение приветствуется.

а вот такой теоретический вопрос - как при дефрагментации диска такой огромный файл-контейнер будет дефрагментироваться (ведь его размер будет постоянно расти) - каждый раз заново? А TryeCrypt'овский контейнер всегда постоянного объёма и при дефрагментации проскакивает, не дефрагментируется, так?
bk99
Новичок
 
Сообщения: 49
Зарегистрирован: 01 авг 2008, 14:18
Благодарил (а): 16 раз.
Поблагодарили: 0 раз.

Re: Решение проблемы перемещения кэша

Сообщение zed » 31 окт 2009, 13:19

bk99 писал(а):(ведь его размер будет постоянно расти)

С чего бы ему расти? Один раз упаковали, и лежит себе на здоровье...
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 2888
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Решение проблемы перемещения кэша

Сообщение bk99 » 01 ноя 2009, 17:36

zed
С чего бы ему расти? Один раз упаковали, и лежит себе на здоровье...

А-а-а! Действительно! Глупость спорол, сори! Я почему-то решил, что это как при работе с трукриптовским диском - монтируется диск и идёт накопление кэша прямо на него, а потом файл-контейнер переносится в другое место. Всё, понял, спасибо!
bk99
Новичок
 
Сообщения: 49
Зарегистрирован: 01 авг 2008, 14:18
Благодарил (а): 16 раз.
Поблагодарили: 0 раз.

Re: Решение проблемы перемещения кэша

Сообщение Fetser » 01 ноя 2009, 19:52

В порядке эксперимента попробовал все архиваторы какие есть. про остальные архиваторы не хочется говорить.
А вот с TAR получил разными способами два разных результата
способом описанным Parasite за 10 сек 40% сжатие (Пробовал с маленьким архивом 100 Мб)

а если Total Commander (у него вшит TAR) без дополнительных настроек то 4 сек и без сжатия
а при выборе TGZ получаем те же параметры что и у Parasite

поэтому если есть Total Commander ничего дополнительного скачивать не надо и никаких консолей
Fetser
Соображающий
 
Сообщения: 99
Зарегистрирован: 24 окт 2009, 23:40
Благодарил (а): 5 раз.
Поблагодарили: 14 раз.

Пред.След.

Вернуться в Другие программы

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1