SASGIS

Веб-картография и навигация

Windows XP и 50 миллионов файлов в кеше SASGIS

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение sergbrother » 11 мар 2013, 23:21

Добрый вечер.
Вот и достиг я упора (судя по всему) в файловой системе Windows XP.

Информация об упоре:
Где:
Защищеный ноутбук Panasonic ToughBook CF-30
Windows XP Professional 2002 Service Pack 3
Intel Core Duo 1.66 Hz, 3.24 Gb RAM
Диск SSD OCZ-Agility 3 размер 450 Гбайт (поделен на два логических NTFS - SYSTEM 40 Гбайт (25 Гбайт свободно) и MAPS 410 Гбайт (143 Гбайт свободно)).
Как выглядит: при попытках еще что-нибудь покачать SAS Планетой через некоторое время (часа 2) глухо виснет (черный экран).
Дополнительная информация: попытки что-нибудь узнать у Windows про директорию Cache SASPlanet (типа сколько файлов и их размер) приводят к аналогичному результату без участия SASPlanet. Попытки файловго копирования в сеть приводят приблизительно к такому же результату (кроме того, прогноз времени копирования невозможен).

Вопрос: что можно сделать в создавшейся ситуации? Можно ли обьединить файлы в базу данных?
Попытка использовать "Управление кешем" без крыжиков "Изменять существующие файлы" и "перемащать тайлы" тупо создала новую пустую директорию на сетевом диске...

Заранее благодарен за сотрудничество.
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение vasketsov » 11 мар 2013, 23:47

sergbrother писал(а):Попытки файловго копирования в сеть приводят приблизительно к такому же результату (кроме того, прогноз времени копирования невозможен)

Копировать надо с помощью утилит, которые не строят дерево файлов и папок перед копированием, а просто рекурсивно всё копируют.
Точнее надо не копировать, а сразу переносить.
Например старый FAR таким свойством обладал, как сейчас - не знаю, наверняка также.
То есть надо слить файлы в сеть или на другой диск, не все, но чтобы системе полегчало.
То что возможно ненужное - сразу под нож (но удалялка также должна быть правильная, без построения всего дерева удаляемых папок и файлов, иначе на подсчёте бесконечности оно опять же и умрёт, это вам не Чак Норрис).
Потом потихоньку всё в базу перетаскивать.
В любом случае если на файловом кэше достигнут потолок возможностей ФС - при любом поддерживаемом виде файлового кэша принципиально ничего не изменится.
зы. Удаление tne, дефрагментация и прочие бубны с танцами показаны, но как самый завершающий штрих.
vasketsov
Специалист
 
Сообщения: 901
Зарегистрирован: 25 июл 2009, 21:15
Благодарил (а): 0 раз.
Поблагодарили: 198 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение zed » 12 мар 2013, 00:01

sergbrother писал(а):что можно сделать в создавшейся ситуации? Можно ли обьединить файлы в базу данных?

В SAS есть менеджер кэша, так что можете попробовать с его помощью сразу конвертировать в БД (Беркли или СУБД) на другом винте. Правда, насколько я помню, там итератор вначале всё же строит список каталогов (не файлов!), в которых будет происходить поиск, так что нужно будет подождать часок-другой.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Tolik » 12 мар 2013, 08:30

Пациент скорее мёртв, чем жив.
Я считаю, диск надо форматировать.
Ну, сначала можно попробовать что-то спасти, но потом обязательно отформатировать.
После чего в настройках САС выбрать кэш Беркли и качать в него.
Tolik
Гуру
 
Сообщения: 2604
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 279 раз.
Поблагодарили: 587 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Papazol » 12 мар 2013, 13:55

Tolik писал(а):Ну, сначала можно попробовать что-то спасти, но потом обязательно отформатировать.
После чего в настройках САС выбрать кэш Беркли и качать в него.

Нажитый непосильным трудом кэш - под нож? Надо пытаться спасти хотя бы большинство. Возможно, придётся чем-то пожертвовать ради самой возможности работать с диском, и лучше бы это был тот кэш, который проще (быстрее) скачать заново. Когда работа станет возможной, упаковать оставшееся в БД на другом диске, а уж потом отформатировать. Это всё займёт несколько минут :D
Аватара пользователя
Papazol
Гуру
 
Сообщения: 2069
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 74 раз.
Поблагодарили: 647 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Parasite » 12 мар 2013, 18:31

Papazol писал(а):Нажитый непосильным трудом кэш - под нож? Надо пытаться спасти хотя бы большинство. Возможно, придётся чем-то пожертвовать ради самой возможности работать с диском, и лучше бы это был тот кэш, который проще (быстрее) скачать заново. Когда работа станет возможной, упаковать оставшееся в БД на другом диске, а уж потом отформатировать. Это всё займёт несколько минут :D

Скорей всего недостаточно места для растущей MFT при монтировании тома (и попытки записи системного лога+журнала ФС).
Выход: подключите диск в Линухе как R\O и стяните все свои данные на другой носитель. Без потерь. И да, не используйте NTFS для подобных задач - она на такое не рассчитана.

В любом случае, это проблема не САСа.
//CLOSED
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение

За это сообщение автора Parasite поблагодарили: 2
Merh (18 ноя 2015, 19:33) • VMatveev (15 мар 2013, 03:59)
Рейтинг: 10.53%
 
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Конвертация кеша Google в Berkeley

Сообщение sergbrother » 13 мар 2013, 21:55

Проблема с 50 миллионами файлов в кеше (отдельная закрытая тема тут) понемногу разрешается.
Удалось сконвертировать (собрать в Berlkeley базу - около 150 файлов и папок) Генштаб, Роскосмос, многие другие мелочи (около 10 Гигов и около 5 миллионов файлов).
Но вот при конвертации поддиректории SAT (я так понимаю, судя по настройкам, это Google) достаточно быстро (менее минуты) процесс заканчивается 'Конвертация успешно завершена' с нулевым результатом (видно, что ни один файл не был обработан). Пробовал масштабы Z1-Z19. Файлов там до хрена.
В чем может быть проблема?
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение zed » 13 мар 2013, 22:02

Parasite писал(а):В любом случае, это проблема не САСа.
//CLOSED

Это проблема использования SAS.
//OPENED
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Конвертация кеша Google в Berkeley

Сообщение zed » 13 мар 2013, 22:03

sergbrother писал(а):Но вот при конвертации поддиректории SAT (я так понимаю, судя по настройкам, это Google) достаточно быстро (менее минуты) процесс заканчивается 'Конвертация успешно завершена' с нулевым результатом (видно, что ни один файл не был обработан). Пробовал масштабы Z1-Z19. Файлов там до хрена.
В чем может быть проблема?

Попробуйте на дебажной версии SAS. Может там происходит какая скрытая ошибка.

P.S. А расширение у файлов указано верно? А то может забыли изменить с прошлого конвертирования?
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение sergbrother » 13 мар 2013, 22:30

Версия которая сейчас конвертирует vesat (70 тыс обработано, 90 тыс пропущено) - 130218.7140. Она считается дебажная?
Расширение -*.jpg (я это поле не менял, оно всегда было такое).
ПРоцесс конвертации SAT один раз привел к Win BlueScreen. Потом пробывал помасштабно - результата не получилось, прошел по алфавиту дальше - сейчас конвертируется VESAT.
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и гости: 8