Как максимально объединить кеш и zmp?

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Как максимально объединить кеш и zmp?

Сообщение T_Im » 09 мар 2018, 19:47

Есть много (сотни) небольших read-only кешей. Размеры порядка 100-10000 файлов и 1-50 МБ.
Хотелось бы удобно их хранить, делиться, переносить и добавлять к существующим папкам САС.

Т.е. задача для удобства пользования максимально объединить zmp+cache, чтобы получилось минимальное число папок и файлов, с минимальным объемом служебной информации.

Для этого нужно:
1) перенаправить пути из папки кеша в папку кеша;
2) максимально компактизировать кеш.

Хотелось бы узнать оптимальные пути решения этой задачи в рамках возможностей SAS.

По идее, чтобы перенаправить кеш в папку .zmp (и оставить портативность) нужно указать
NameInCache=\..\Maps\NameInCache_OLD\
Должно ли так работать? Если должно, почему не работает? Есть ли что нибудь типа переменной %Maps% или %SAS% для использования в относительных путях?

BerkeleyDB для задачи компактизации маленьких кешей не подходит. Даже если в StorageConfig.ini указать
[BerkeleyDB]
IsReadOnly=1
папка env после прохода sdb_util все равно используется и занимает минимум 15МБ, что в разы больше типичных размеров тайлового кеша.

Как оптимально компактизировать небольшой кеш? Есть ли хранилища типа архивов, чтобы весь кеш "сложить" в один файл?

Можно ли как то файловый кеш "запихнуть" внутрь .zmp архива? Аналогично тому, как из zmp архива читаются GetUrlScript.txt и params.txt.
T_Im
Постигающий Дао
 
Сообщения: 112
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 15 раз.
Поблагодарили: 14 раз.

Re: Как максимально объединить кеш и zmp?

Сообщение garl » 09 мар 2018, 21:03

SQLite + Версионность?
тогда можно в одном файле носить ваши сотни файлов.
Russian NDN Team
QIP NightlyTester
Аватара пользователя
garl
Гуру
 
Сообщения: 1621
Зарегистрирован: 16 июл 2008, 14:40
Откуда: Краснодар, Кубанская столица.
Благодарил (а): 96 раз.
Поблагодарили: 241 раз.

Re: Как максимально объединить кеш и zmp?

Сообщение T_Im » 10 мар 2018, 11:48

По идее, чтобы перенаправить кеш в папку .zmp (и оставить портативность) нужно указать
NameInCache=\..\Maps\NameInCache_OLD\

Тут был лишний первый слеш, так работает:
NameInCache=..\Maps\NameInCache_OLD\

SQLite + Версионность?

Это который SQLite3, или через СУБД? (Не очень разбираюсь, пользовался раньше только BerkeleyDB).
Погонял SQLite3, для маленьких кешей он явно лучше, чем BerkeleyDB (не хранятся логи и заметно меньше размер баз). Из минусов заметил только создание логов, несмотря на ридонли режим в params.txt.

тогда можно в одном файле носить ваши сотни файлов.

Это можно сделать одним файлом? SQLite3 создает кучу папок и файлов.
T_Im
Постигающий Дао
 
Сообщения: 112
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 15 раз.
Поблагодарили: 14 раз.

Re: Как максимально объединить кеш и zmp?

Сообщение garl » 10 мар 2018, 16:05

T_Im писал(а):Это можно сделать одним файлом? SQLite3 создает кучу папок и файлов.

одним кэшем (кучей файлов) это всяко лучше чем 10 раз по куче файлов
Russian NDN Team
QIP NightlyTester
Аватара пользователя
garl
Гуру
 
Сообщения: 1621
Зарегистрирован: 16 июл 2008, 14:40
Откуда: Краснодар, Кубанская столица.
Благодарил (а): 96 раз.
Поблагодарили: 241 раз.


Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и гости: 4