Здесь показаны различия между двумя версиями данной страницы.
чистка_кэша_беркли [19/06/2014 19:03] 91.203.67.40 [Чистка кэша Беркли] |
чистка_кэша_беркли [16/05/2023 23:01] (текущий) radioxoma wiki syntax |
||
---|---|---|---|
Строка 1: | Строка 1: | ||
[[главная|Главная страница]] | [[главная|Главная страница]] | ||
- | ====== Чистка кэша Беркли ====== | + | ====== Чистка/оптимизация кэша Беркли ====== |
- | Добавляя файлы в кэш Беркли путём скачивания или формирования, мы увеличиваем размеры файлов базы данных (БД). А вот при удалении файлов из базы данных путём "стирания" лишних тайлов, уменьшения размеров файлов БД не происходит, так как ранее занятое файлами место так и остаётся занятым (примерно как в файловых системах, которым периодически приходится проводить дефрагментацию). | + | > Описываемая процедура предназначена для очистки кэша от уже удалённых тайлов, а не самого их удаления, которое должно выполняться из программы SAS.Planet. |
- | ====Описываемая процедура предназначена для очистки кэша от уже удалённых файлов, а не самого их удаления, которое должно выполняться из программы SASПланета.==== | + | Сохранение тайлов в кэш Беркли, приводит к увеличению размеров файлов базы данных *.sdb или *.sdbv (далее - файлов БД). Удаление же тайлов из кэша Беркли (если вы вдруг таким занимались через операции с выделенной областью), не приводит к уменьшению размера файлов БД. Это связано с тем, что физически данные в БД не стираются, а лишь помечаются как удалённые, на место которых могут быть записаны новые данные. При этом, до определённого момента, увеличения размеров файлов БД не происходит. Такое поведение типично для сколь-нибудь сложных БД, и Беркли тому не исключение. Естественно, существуют и способы по уменьшению размеров файлов БД (чистка от удалённых данных), о которых и будет рассказано ниже. |
- | Используя набор утилит для кэша Беркли, можно очистить кэш от удалённых файлов. Очень удобно пользоваться утилитой **sdb_util.exe**, объединяющей в себе возможности почти всех отдельных утилит. В списке действий, которые данная утилита выполняет, есть **Restore broken files from *.bad**. То есть восстановление повреждённых файлов из файлов *.bad. | + | Внимание: |
+ | * при всех операциях над кэшем Беркли "извне" SAS.Планета должна быть закрыта | ||
+ | * перед всеми процедурами делайте бэкапы файлов БД, которые вы планируете оптимизировать | ||
- | Действие **Restore broken files from *.bad** утилиты **sdb_util.exe** состоит из трёх этапов:\\ | + | ===== Чистка кэша с использованием sdb_util ===== |
- | 1) Создание дампа файла БД. Составляется список полноценных файлов, т. е. тех, которые одновременно и числятся в БД, и могут быть прочитаны. Файлы, не удовлетворяющие хотя бы одному из указанных условий, игнорируются. К этой категории относятся как повреждённые, так и удалённые файлы.\\ | + | |
- | 2) Создание из полученного дампа нового файла БД, содержащего только полноценные данные.\\ | + | |
- | 3) Верификация нового файла БД, если всё хорошо, файл дампа и файл *.bad удаляются, остаётся нормальный файл БД. | + | |
- | Откуда берутся файлы *.bad? При верификации утилитой **db_verify.exe** (или действием **Verify cache (find broken files)** утилиты **sdb_util.exe**) отыскиваются повреждённые файлы, то есть файлы, которые числятся в БД, но не могут быть прочитаны. Тогда файл БД получает "второе" расширение *.bad. На удалённые файлы утилита **db_verify.exe** не реагирует, так как они уже не числятся в БД. Поэтому, если "настоящих" повреждённых файлов в БД нет, то верификация пройдёт успешно, и к имени файла БД не будет добавлено расширение .bad.\\ | + | Используя набор утилит для кэша Беркли, можно очистить кэш от удалённых тайлов. Очень удобно пользоваться утилитой **sdb_util.exe**, объединяющей в себе возможности почти всех отдельных утилит. В списке действий, которые данная утилита выполняет, есть **Restore broken files from *.bad** - восстановление повреждённых файлов из файлов *.bad. |
- | **Но никто не мешает нам добавить это расширение вручную**. | + | |
+ | Действие **Restore broken files from *.bad** утилиты **sdb_util.exe** состоит из трёх этапов: | ||
+ | - Создание дампа отдельно взятого файла БД. При этом происходит копирование во временный файл (*.dump) неповреждённых тайлов и тайлов, не помеченных в БД как удалённые. | ||
+ | - Создание из полученного дампа нового файла БД, содержащего только полноценные данные. | ||
+ | - Верификация нового файла БД, если всё хорошо, файл дампа и файл *.bad удаляются, остаётся нормальный файл БД. | ||
+ | |||
+ | Откуда берутся файлы *.bad? При проверке файлов БД утилитой **db_verify.exe** (или действием **Verify cache (find broken files)** утилиты **sdb_util.exe**) отыскиваются повреждённые тайлы, то есть тайлы, которые числятся в БД, но не могут быть прочитаны вследствие ошибок в структуре БД или из-за физического повреждения файлов БД. Тогда файл БД получает "второе" расширение *.bad. На удалённые из кэша тайлы утилита **db_verify.exe** не реагирует, поэтому, если с файлом БД нет никаких проблем и повреждений, верификация пройдёт успешно, и к имени файла БД не будет добавлено расширение .bad. **Но никто не мешает нам добавить это расширение вручную**. | ||
Утилита **sdb_util.exe** обрабатывает все файлы *.bad, находящиеся внутри указанной папки (и во всех вложенных папках тоже). | Утилита **sdb_util.exe** обрабатывает все файлы *.bad, находящиеся внутри указанной папки (и во всех вложенных папках тоже). | ||
Строка 21: | Строка 26: | ||
Для переименования файлов БД удобно пользоваться Total Commander'ом. | Для переименования файлов БД удобно пользоваться Total Commander'ом. | ||
- | Чем больше размеры файлов БД и их количество, тем больше времени занимает процедура очистки. Файлы *.bad не могут быть использованы SASПланетой ни для отображения, ни для скачивания, поэтому, пока идёт процедура очистки, SASПланетой пользоваться не получится. Отсюда рекомендация: не замахиваться на глобальную очистку, переименовывая сразу все файлы БД в кэше. | + | Чем больше размеры файлов БД и их количество, тем больше времени занимает процедура очистки. Файлы *.bad не могут быть использованы SAS.Планетой ни для отображения, ни для скачивания, поэтому, пока идёт процедура очистки, SAS.Планетой пользоваться не получится. Отсюда рекомендация: не замахиваться на глобальную очистку, переименовывая сразу все файлы БД в кэше. |
- | Если нужно почистить не весь кэш, а лишь определённую местность, то из всех имеющихся файлов БД следует выбрать только те, которые содержат тайлы этой местности. Для этого в SASПланете устанавливаем масштаб, равный масштабу, который нужно почистить, минус 8. Должно быть включено отображение границ тайлов. Смотрим на обозначения тайлов, попадающих на нужную местность. Цифры, указанные в виде x=XXX, y=YYY, будут входить в названия нужных нам файлов БД. Например, если мы хотим почистить карту Черногории на z15, находим Черногорию и устанавливаем масштаб 15-8=7. Карта попадает в тайл с x=35 и y=23. Значит, файл БД, содержащий эту карту, должен называться 35.23.sdb (ну, или 35.23.sdbv, если кэш версионный). Поиском находим этот файл и обрабатываем его. | + | Если нужно почистить не весь кэш, а лишь определённую местность, то из всех имеющихся файлов БД следует выбрать только те, которые содержат тайлы этой местности. Для этого в SAS.Планете устанавливаем масштаб, равный масштабу, который нужно почистить, минус 8. Должно быть включено отображение границ тайлов. Смотрим на обозначения тайлов, попадающих на нужную местность. Цифры, указанные в виде x=XXX, y=YYY, будут входить в названия нужных нам файлов БД. Например, если мы хотим почистить карту Черногории на z15, находим Черногорию и устанавливаем масштаб 15-8=7. Карта попадает в тайл с x=35 и y=23. Значит, файл БД, содержащий эту карту, должен называться 35.23.sdb (ну, или 35.23.sdbv, если кэш версионный). Поиском находим этот файл и обрабатываем его. |
{{:sdb.jpg|}} | {{:sdb.jpg|}} | ||
+ | ===== Чистка кэша сторонними средствами ===== | ||
+ | |||
+ | Следует отметить, что существует ещё один //теоретический// способ оптимизации кэша Беркли (на практике пока что для этого способа нет готовых утилит). В API BerkeleyDB предусмотрен специальный метод [[http://docs.oracle.com/cd/E17076_02/html/api_reference/C/dbcompact.html|DB->compact()]] - это метод "щадящей" оптимизации (без пересоздания файла БД), поддерживает множество опций, но консольной утилиты для этой операции они почему-то не сделали. Возможно из-за того, что при обычных операциях записи в БД, там такая оптимизация проводится по-умолчанию, но не для всей БД, а только для тех страниц, которые используются для поиска/записи текущего ключа (key). Т. е. структура БД самооптимизирующаяся. | ||
+ | |||
+ | |||
+ | ====== Восстановление повреждённого кэша BerkeleyDB ====== | ||
+ | |||
+ | Для восстановления повреждённого кэша BerkeleyDB: | ||
+ | - Скачать файл http://sasgis.org/forum/download/file.php?id=3150 | ||
+ | - Распаковать в директорию САС.Планеты | ||
+ | - Исправить пути к утилитам из архива | ||
+ | - Если кэш какой-то карты заглючил, надо скопировать оба bat-файла в директорию с этим кэшем. Запустить ''verify.bat''. Если какие-то файлы sdb и tne покорраптились, они будут переименованы в *.BAD (соответствующий кусок кэша будет потерян!). Если проблема не в файлах sdb и tne, а в логах (они находятся в директории env), надо удалить директорию env и запустить ''load.bat''. | ||
+ | Когда он отработает, можно запускать SAS.Planet, она откроет кэш и создаст новый env. В этом случае ничего не потеряется. | ||