SASGIS

Веб-картография и навигация

Использование в Sas.Планета кеша в формате Berkeley

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение svp » 29 окт 2008, 10:45

Parasite писал(а):оно же еще и поможет при складировании кучи мелких файлов в один, но большой архив. И архив крайне просто изменяется\разбивается\добавляется\удаляется\редактируется\криптуется.


Архивы совершенно не приспособлены к многопоточному доступу.

Parasite писал(а):Любой архиватор со взведенной опцией восстановления повреждений архива - поможет.

Поможет при потере данных в процессе хранения. Однако работать с файлами лежащими в архиве в реальном времени не получится. Структура архива уязвима к сбоям в процессе работы архиватора.
Аватара пользователя
svp
Советчик
 
Сообщения: 447
ICQ: 204094886
Зарегистрирован: 26 авг 2008, 11:14
Откуда: Белгород
Благодарил (а): 2 раз.
Поблагодарили: 4 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение Parasite » 29 окт 2008, 17:16

svp писал(а):
Parasite писал(а):оно же еще и поможет при складировании кучи мелких файлов в один, но большой архив. И архив крайне просто изменяется\разбивается\добавляется\удаляется\редактируется\криптуется.

Архивы совершенно не приспособлены к многопоточному доступу.
Parasite писал(а):Любой архиватор со взведенной опцией восстановления повреждений архива - поможет.

Поможет при потере данных в процессе хранения. Однако работать с файлами лежащими в архиве в реальном времени не получится. Структура архива уязвима к сбоям в процессе работы архиватора.

Уважаемый, просьба не терять текущую нить обсуждения. Цитирую: "...Планируется делать резервные копии на DVD и не хочется из-за шального байта потерять 4,5ГБ...". Вы уж определитесь, плиз - обсуждаем ЛИБО надежную резервную копию на ДВД и желательно без потерь, ЛИБО многопоточную работу в реальном времени?
Я понимаю что хочется-то всего хорошего и сразу (мне тоже этого хочется, причем везде и постоянно) - но получится-то опять как всегда...

PS: а для запрошенного Вами прекрасно подойдет любой "виртуальный диск" (TrueCrypt именно в этом режиме и заюзан, как я понимаю - но это забивание гвоздей микроскопом. Впрочем, работать-то оно будет, а большего в данном случае особо и не надо...).
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение svp » 29 окт 2008, 18:55

Parasite писал(а):Уважаемый, просьба не терять текущую нить обсуждения. Цитирую: "...Планируется делать резервные копии на DVD и не хочется из-за шального байта потерять 4,5ГБ...". Вы уж определитесь, плиз - обсуждаем ЛИБО надежную резервную копию на ДВД и желательно без потерь, ЛИБО многопоточную работу в реальном времени?

Я так понимаю мы пытаемся выработать оптимальный вариант хранения кеша.
Требуемыми нам свойствами обладабт по отдельности разные продукты. Не видится технических причин невозможности объединения этих свойств в одном решении.
База беркли или аналогичное хранилище в данном случае решали бы практически все проблемы хранения кеша:
1. Быстрый индексированный доступ на чтение.
2. Быстрое безопасное при сбоях добавление тайлов.
3. Надёжное (при потерях целостности файла) хранение базы.
Хочется именно всего и сразу.
Кстати, избыточность, за счет которой решается проблема нарушения целостности архивов в нашем случае на самом деле не нужна. Потеря одного-двух-нескольких тайлов совершенно не смертельна. Их почти всегда можно докачать, либо игнорировать, либо взять с другого слоя.
Parasite писал(а):PS: а для запрошенного Вами прекрасно подойдет любой "виртуальный диск"

Не прекрасно подойдёт! Не видел ещё виртуальных дисков с нефиксированным объёмом и возможностью монтироваться не из одного, а из набора файлов.
Parasite писал(а):- но это забивание гвоздей микроскопом

Не "микроскопом", а "киянкой". "Гвозди"-то в принципе "забиваются" кое-как, только вот не удобно и "киянка портится", менять часто надо....
Аватара пользователя
svp
Советчик
 
Сообщения: 447
ICQ: 204094886
Зарегистрирован: 26 авг 2008, 11:14
Откуда: Белгород
Благодарил (а): 2 раз.
Поблагодарили: 4 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение Parasite » 29 окт 2008, 21:57

svp писал(а):Кстати, избыточность, за счет которой решается проблема нарушения целостности архивов в нашем случае на самом деле не нужна. Потеря одного-двух-нескольких тайлов совершенно не смертельна. Их почти всегда можно докачать, либо игнорировать, либо взять с другого слоя.

Это все верно - но автор предыдущего поста запрашивал именно статичного бэкапа, а не динамического контейнера. Причем статичный бэкап был запрошен именно с гарантией от повреждений даже в 1 байт, не говоря уж о тайле.
На что я и ответил, собссно.

svp писал(а):
Parasite писал(а):PS: а для запрошенного Вами прекрасно подойдет любой "виртуальный диск"

Не прекрасно подойдёт! Не видел ещё виртуальных дисков с нефиксированным объёмом и возможностью монтироваться не из одного, а из набора файлов.

Чтобы не ходить далеко - в моем ESX сервере (в коем я прямо сейчас и работаю) это сделано по умолчанию средствами оного же. Именно файл нефиксированного размера (по желанию можно указать верхнюю планку путем введения квот на хранилище), предоставляемое гостевой системе в виде отдельного диска. Не уверен насчет разбития на части - но явно такая фича есть, на глаза попадалась (но сам не пользовал).
Другой вопрос что устанавливая ESX для нужд SASа - это колка орехов даже не микроскопом, а международной космической станцией. :)

Возвращаясь же к Винде и ее "возможностям" (вернее узеньким лазейкам из тотальной НЕвозможности сделать что-то, заранее не учтенное БГ) - такая фича есть например в Акронисе, в его a) Acronis Zone и б) в подмонтировании уже сделанных оным Акронисом бэкапов как отдельных дисков (кои бэкапы могут расти, попутно разбиваясь по заранее заданному размеру). Уверен, что покопав в данном направлении - Вы найдете нужное, имхо все запрошенное в Акронисе присутствует.
Либо же еще какая похожая альтернатива, кроме Акрониса.

PS: В оси, "в которой не работают даже вирусы©" (не будем показывать пальцем, а то сочтут за рекламу) - данная задача быстро и изящно решается двумя строками в консоли, средствами системы же (первая - созданием grow-файла со всеми нужными квотами и пермишнами, вторая - монтированием данного файла как "раздела").
На чем разрешите и откланяться.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение zed » 30 окт 2008, 10:08

Parasite писал(а):Уважаемый, просьба не терять текущую нить обсуждения. Цитирую: "...Планируется делать резервные копии на DVD и не хочется из-за шального байта потерять 4,5ГБ...". Вы уж определитесь, плиз - обсуждаем ЛИБО надежную резервную копию на ДВД и желательно без потерь, ЛИБО многопоточную работу в реальном времени?

С WinRAR вы не правы. Мы обсуждаем резервную копию, способную на "многопоточную работу в реальном времени". Имелась в виду именно такая резервная копия кэша, которую можно подключить к основному кэшу либо прямо с DVD, либо скопировав несколько больших файлов на веник. А то, что можно пользоваться винраром - так и ежу понятно, но достаточно прикинуть временные затраты на создание, а потом распаковку архива, чтобы понять неудобство такого метода. Тогда уж будет проще создавать iso-образы - временные затраты необходимы только для создание образа, а распаковка, в общем-то не нужна, т.к. iso можно прекрасно подключить как виртуальный диск.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение Parasite » 30 окт 2008, 11:40

zed писал(а):С WinRAR вы не правы. Мы обсуждаем резервную копию, способную на "многопоточную работу в реальном времени". Имелась в виду именно такая резервная копия кэша, которую можно подключить к основному кэшу либо прямо с DVD, либо скопировав несколько больших файлов на веник.

Не знал, что понятие "резервная копия" можно трактовать двояко. Она на то и резервная, что НЕ ПРЕДНАЗНАЧЕНА для активной работы в виде постоянно изменяемого\добавляемого хранилища.
В данном же случае, насколько я понимаю, обсуждается именно рабочий контейнер? Поставьте ЛЮБОЙ базовод и кладите в него. Многопоточность, хранение всех данных в ОДНОМ\ДВУХ\НЕСКОЛЬКИХ файлах, параллельная загрузка\выгрузка, возможность удаленного централизованного хранения\использования, опциональное криптование\бэкапы\квоты\контроли доступа и прочая. Тот же фряшный MySQL например...?
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение Vasya » 30 окт 2008, 17:09

Пока некоторые ломают копья хочу предложить ещё несколько вариантов баз данных:

Sqlite - http://www.sqlite.org/ SQLite4Delphi - http://sqlite4delphi.sourceforge.net/
Ограничения :
SQLite не предназначена для систем с большим количеством процессов, которые пишут в одну базу.
База ограничено по размеру 2 терабайтами (241 байт). Это теоретический предел. На практике, желательно придерживаться размера SQLite базы меньше 100 гигабайт для избежания проблем производительности

Blackfish SQL for .NET is fully integrated with CodeGear RAD Studio 2007 and supports Delphi - http://www.codegear.com/products/blackfish
На сколько я понял, только одно ограничение - поддержка баз данных до 2GB? но возможно (пока не находил) есть возможность работы с несколькими базами.
Интересная статейка - http://www.felix-colibri.com/papers/db/ ... shsql.html

Firebird - http://www.firebirdsql.org/
Delphi & Firbird - http://delphi.wikia.com/wiki/Firebird
Ограничения:
Максимальный размер таблицы:
- до FB2: 36 ГБ;
- FB2 и выше: 2.5 ТБ для страницы в 4 КБ;

Максимальная длинна записи (суммарно все поля): 64 КБ; - т.е. в нашем случае картинка смело вмещается в одну запись. :)

MySQL - http://www.mysql.com/


С TrueCrypt же в пронципе только одна проблема - невозможность увеличения размера db

И после всего сказанного скажу, что оганичение в Berkley - до 256 ТВ

К сожелению я не могу сразу всё предусмотреть и найти (ограничение по времени), но надеюсь этот небольшой обзор будет полезен.
Аватара пользователя
Vasya
Советчик
 
Сообщения: 266
ICQ: 137791
Зарегистрирован: 14 июл 2008, 13:06
Откуда: Одесса
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение Parasite » 30 окт 2008, 21:24

Vasya писал(а):И после всего сказанного скажу, что оганичение в Berkley - до 256 ТВ

И Вы действительно надеетесь столько накачать и хранить у себя? А на чем Вы собираетесь держать столь большой файл, и собссно - ЗАЧЕМ? :) Ведь данные на Гугле постоянно обновляются, и особого смысла в ОГРОМНОМ локальном кэше лично я не вижу - он банально устареет еще до того, как будет весь выкачан. Насколько я понимаю - кэш нужен для склеивания той или иной карты (отдельно взятой), но при склеивании больших карт SASом - см.соседнюю тему про "Недостаточно памяти". Имхо это как раз то, на что автору надо обратить внимание в первую очередь. С существующим кэшем народ еще как-то поживет какое-то время, а вот с глючной работой того, для чего собссно программа и предназначена - с этим гораздо сложнее смириться. :(
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение

За это сообщение автора Parasite поблагодарил:
Merh (19 ноя 2015, 00:29)
Рейтинг: 5.26%
 
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение svp » 30 окт 2008, 23:48

Parasite писал(а):Насколько я понимаю - кэш нужен для склеивания той или иной карты (отдельно взятой)

Уверен большинству кеш нужен для быстрого автономного доступа к спутниковым снимкам и картам. Не так уж часто они обновляются. тем более не всегда новые снимки лучше старых. Например, свежие снимки парижа ни в какое сравнение не идут по качеству изображения (а именно по цвету) с теми, что были до этого. Выходит кеш нужен для скорости доступа и автономности больше. а склеивание карт -- это побочный и не всем нужный момент=). Короче каждому нужно свою. Не стоит перетягивать одеяло=).
А насчет терабайтов, то они действительно вряд ли кому нужны. Вот сотни гигабайт -- это да=) Причем перед поездкой куда-нибудь можно слить себе на ноут именно то, что нужно и обходиться без инета.
Аватара пользователя
svp
Советчик
 
Сообщения: 447
ICQ: 204094886
Зарегистрирован: 26 авг 2008, 11:14
Откуда: Белгород
Благодарил (а): 2 раз.
Поблагодарили: 4 раз.

Re: Использование в Sas.Планета кеша в формате Berkely

Сообщение Vasya » 31 окт 2008, 03:36

И Вы действительно надеетесь столько накачать и хранить у себя?

Конечно до физических ограничений ни кто доходить не собирается, но....
Можно же всё в деталях разобрать и потом сделать вывод.
Итак, в данный момент у меня есть кеш примерно на 20 гигов. Ежу понятно, что:
1. Некоторые види баз данных не смогут это в себе держать (см. мой же пост выше по поводу ограничений). Так же - ни один DVD этого также не сделает. Т.е. бэкапы также отметаются.
2. По поводу trueCrypt - на сколько я понимаю, эта та же самая файловая система, которая обделена индексами, в следствии этого ни о каком увеличении скорости работы говорить не возможно. не говоря о том что кеш постоянно увеличивается в следствии новых поездок и т.д., а увеличить размер раздела нельзя !

Из этого следует, что по мере прохождения времени любой пользователь будет постепенно наращивать объём кеша за счёт собственых закачек или обмена. В этом случае можно оставаться на нынешнем уровне, используя "услуги" стандартной файловой системы NTFS (Fat32 отметается из-за ограничения по размеру раздела), HPFS (как у меня переодически бывает - MacOSX) или другой, или же совместно выработать стратегию развития (а не навязывания) оптимальной системы хранения данных.

Кстати, по поводу склейки - Вы точно уверены, что это делает каждый ?
Я, например, пользуюсь функционалом Sas, им доволен, и не конвертирую данные в другие форматы, такие как Ozi, хотя часто сам им пользуюсь. В этом случае могу сказать только одно - мне приятней пользоваться программой, которая сможет предоставить весь функционал, который мне необходим, а не "конвертировать данные в Word`e 2007, чтоб потом работать в Notepad`e" (сразу извеняюсь за сравнения).
Аватара пользователя
Vasya
Советчик
 
Сообщения: 266
ICQ: 137791
Зарегистрирован: 14 июл 2008, 13:06
Откуда: Одесса
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2