Решение проблемы перемещения кэша

[zed]

Но я так и не понял. если я упакую TAR затем закачаю по сети на удалённый сервер. По сети возможно распаковать?

Что значит "по сети"? А winrar вы "по сети" можете распаковать?

[Fetser]

Я нахожусь за локальным компьютером. Упакованный файл находится далеко от меня на сервере. ( я его упаковал у себя и переслал на сервер, но там должен лежать распакованный кеш) К файлу у меня полный доступ. Я его вижу и могу с ним сделать что угодно. Но если я начну распаковывать обычным способом. то пойдёт скачивание этого файла , распаковка у меня в компьютере. И обратная закачка на сервер. При большом размере архива и при огромном количестве файлов такая распаковка будет идти дольше чем простое копирование файлов от меня на сервер. Вот и пытаюсь найти оптимальный способ управлять по сети кешем.
Я уже пробовал туда закачивать программой RichCopy неупакованный кеш. Процедура длительная, но не безнадёжная. Вот и интересно может есть более быстрый способ.

[zed]

К файлу у меня полный доступ.

По какому протоколу? Для распаковки архива на удалённой машине, вам нужно этой самой машине отдать команду - распаковать. Если у вас есть возможность отдавать серверу команды, то архив распакуется без проблем. Если же у вас доступ только по ftp/http, то ничего не получится. В этом случае, остаётся настроить сервер (написанием скрипта), чтоб он следил за появлением в папке N, tar/tgz - архивов и автоматически, распаковывал их куда положено. Но это, опять же, если у вас есть доступ к серверу, на уровне админа.

[Parasite]

Я нахожусь за локальным компьютером. Упакованный файл находится далеко от меня на сервере. ( я его упаковал у себя и переслал на сервер, но там должен лежать распакованный кеш) К файлу у меня полный доступ. Я его вижу и могу с ним сделать что угодно.

Насколько полный и насколько что угодно?

Если на той стороне - никсы, то через банальный телнет\SSH все делается легко и непринужденно: цепляетесь по телнету к той машине, вводите свой юзернейм\пароль, и получаете полновесную* никсовую консоль той машины у себя на экране. Распаковывается тар из вашего залитого файла точно так же - путем подачи команды tar с ключами на распаковку контейнера (см.первую страницу этой темы). Разумеется, это будет весьма и весьма быстрее чем копировать потайлово от себя на удаленный ресурс.

Для SSH\Телнет-клиента под винду могу порекомендовать мелкую программку PUTTY (встроенный в винду стандартный телнет-клиент весьма и весьма ущербен (например не держит ANSI-команды\последовательности), и настоятельно не рекомендуется к применению во избежание нервных срывов у пользователя).


* - в зависимости от прав, доступных Вам в той системе, разумеется (включая права на запуск определенных программ\скриптов, чтения\записи в определенные каталоги и прочая и прочая - но администрирование сервера и описание разграничения доступов уже выходит за рамки данной темы). Если у вас есть рутовые права (Ваши слова "могу с ним сделать что угодно" кагбэ намекают нам...) - то вопроса доступов и разрешений вообще не стоит.

[Fetser]

Спасибо за предложенную помощь. Если возникнет необходимость буду знать к кому обратится за консультацией. На данный момент у меня полный доступ только в определённую папку, но не к самой системе. А по служебной записке могут предоставить любые необходимые права.

[Thorax]

Хочу поделиться еще одним способом хранения кэша. Где-то тут предлагалось использовать для этого контейнеры TrueCrypt. Попробовал - стали очевидны минусы: обязательное использование ненужного шифрования и невозможность подмонтировать контейнер как директорию, только как диск. Но хотелось хранить не весь кэш в одной куче, а Google отдельно, космоснимки отдельно и т.д. При таком подходе 26 букв английского алфавита явно недостаточно В результате поисков обнаружена программа
ImDisk Virtual Disk Driver
Последняя на сегодня версия - 1.1.4.21
Сайт разработчика - http://www.ltr-data.se/opencode.html
Форум - http://www.boot-land.net/forums/index.php?showforum=59
Программа устанавливает системный драйвер, который позволяет монтировать контейнеры как диски или директории. Контейнеры нешифрованные, понимает форматы разных виртуальных дисков (от VMWare и т.п.). Имеется довольно убогий GUI (находится в "Панели управления"), основное управление - через командную строку. Листинг ключей - во вложении:

ImDiskKeys.7z

Листинг ключей командной строки ImDisk

(3.3 KiB) Скачиваний: 313

Алгоритм работы:
- Идем в "Диспетчер устройств", включаем показ скрытых устройств, в разделе "Драйверы устройств не Plug and Play" находим "ImDisk Virtual Disk Driver", в его свойствах устанавливаем: "Автозагрузка: Тип: Автомат". Это делается однократно.
- Создаем виртуальный диск (через GUI или комстроку). Device type = "Harddisk volume". Расширение файла любое (можно .SAS ).
- Монтируем его на какую-нибудь свободную букву. Форматируем в NTFS.
- Переносим кэш (например, \SAS\cache\SAT\*.*) на новый вирутальный диск. Каталог кэша должен остаться пустым. Если в процессе переноса тайлов свободное место на вирутальном диске закончилось, его размер можно увеличить через GUI, не размонтируя сам диск (кнопка "Extend size...").
- Размонтируем диск.
- Монтриуем получившийся файл-контейнер как поддиректорию в \SAS\cache\, например:

Код: Выделить всё

imdisk -a -f E:\Data\GoogleSat.sas -m C:\GIS\SAS\cache\SAT -u 3

- Подобные команды можно собрать в один cmd-файл (не забывая менять номер устройства в ключе "-u") и поставить, если есть желание, в автозагрузку или привесить к ярлыку SAS.Planet.
- Размонтирование виртуальных дисков делается командой типа

Код: Выделить всё

imdisk -d -u 3

или

Код: Выделить всё

imdisk -D -u 3

[Parasite]

Создаем виртуальный диск (через GUI или комстроку). Device type = "Harddisk volume". Расширение файла любое (можно .SAS ).

В каком формате создается контейнер - и как там, собственно, с открытием оного сторонними приложениями для починки и прочего сервиса, если вдруг сбойнет (а рано или поздно оно таки сбойнет)?
Не хотелось бы после банального скачка электричества потерять весь накопленный кэш без какой-либо возможности восстановления.

Форматируем в NTFS.

Обязательно в НТФС?

[Thorax]

В каком формате создается контейнер

То, что создает сам ImDisk - это, кажется, "побайтовая копия" диска. Вообще авторы заявляют поддержку любого нешифрованного/несжатого/непроприетарного формата:

ANY (non encrypted/proprietary/compressed) image can be mounted in IMDISK with the right offset.
Most formats are simply plain images with some sectors prepended to them.
The topic you may be referring to is here:
http://www.boot-land.net/forums/index.p ... topic=4856
AFAIK IMDISK currently only tries to connect to "plain" images:
http://www.boot-land.net/forums/index.p ... 0&start=20

Как восстанавливать такой образ - надо подумать. Криптования нет, поэтому погибнут только поврежденные данные. Это если не погибнет таблица размещения файлов, но в FAT, помнится, ее 2 копии было. Про NTFS не помню, но тоже какой-то механизм резервирования есть. Из софта что-нибудь типа R-Studio должно подойти, наверное.

Обязательно в НТФС?

Хм. Вообще-то я думал, что подмонтировать как директорию в NTFS можно только диск с NTFS. Ну, это как-то логично После Вашего вопроса попробовал смонтировать FAT-контейнер как NTFS-директорию - получилось!

[T_Im]

Использовать ImDisk Virtual Disk Driver, конечно, заманчивая идея...

Но кто нибудь пробовал монтировать несколько десятков контейнеров с сотнями тысяч тайлов в одну папку? Как скорость и стабильность работы?

Насчет надежности. В отличие от трукрипта, где весь большой контейнер изменяется при незначительных дополнениях, тут можно защитить "архивные" RO-кэши-контейнеры спомощью ECC.

[Thorax]

Архивные - да. Что-то в этом виде и нужно.
ICE ECC пока попробовать некогда, но что-то меня смутила надпись "1024 блоков - 256 блоков избыточной информации". Четверть объема - на recovery data?

PS. Вот еще подумал - а в какой системе оптимальнее делать контейнер: FAT, NTFS, ExFAT? Если NTFS, то размер кластера - в минимум или как?