SASGIS

Веб-картография и навигация

Windows XP и 50 миллионов файлов в кеше SASGIS

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Shoorick » 19 июл 2013, 23:49

cycler писал(а):тогда я лишь ограничусь изменением размера кластера, это тоже должно привести к созданию новой mft

Хорошая мысль.

Есть мысль ради эксперимента перегнать в fat32, посмотреть что с местом станет (по идее должно немного освободиться).

Если там крупные файлы, то выиграете копейки. А может даже и не выиграете.
Когда-то считалось, что при поточной обработке больших файлов (например, видео) fat32 будет быстрее более сложной ntfs. Но для карт это не почувствуете. Помню, как-то тестировал скорость работы кэша на шифрованной и обычной файловой системе, на скорости просмотра карты это не отразилось.
Кстати, может получиться, что как раз для fat32 таблицу fat windows держит (или отображает) в памяти, в отличие от mft в ntfs.
Не забывайте также про ограничение на размер файла в 4Gb.
Для бешеной собаки семь миль не круг
Аватара пользователя
Shoorick
Соображающий
 
Сообщения: 64
ICQ: 243486263
Зарегистрирован: 15 окт 2010, 21:29
Откуда: Минск
Благодарил (а): 4 раз.
Поблагодарили: 4 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение cycler » 20 июл 2013, 00:09

zed писал(а):
cycler писал(а):ведь ось по идее всю mft в оперативу грузит, да?

Ага, все 57Гб :lol:

Ну 57гб ясное дело она не сможет загрузить, сколько то загрузит, всю оперативу займёт, а остальное наверное свопить будет, что собственно у меня и наблюдалось спустя какое-то время после запуска САС. А вот если mft занимает 50метров, то ясное дело, место ей в оперативе, и полностью.

Parasite писал(а):Работает? Ради Христа - ничего не трогайте!

Мне нужно добиться, чтобы работало как часики, карта в ноут, а ноут в поход, а поход на пару-тройку месяцев, если ноут будет тупить, то будет плохо...

Shoorick писал(а):Не забывайте также про ограничение на размер файла в 4Gb.

Спасибо за подсказку! А у меня лежит 15гиговый дамп английской вики... значит точно не судьба быть fat на моём харде:) Вот уж точно бог надоумил не конвертнуть сгоряча в фат, а сначала отзывы о ней почитать))
cycler
Новичок
 
Сообщения: 32
Зарегистрирован: 15 июн 2013, 10:01
Благодарил (а): 10 раз.
Поблагодарили: 2 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Shoorick » 20 июл 2013, 00:33

Есть еще exfat без данного ограничения, но в самом деле: к чему эксперименты, когда есть проверенное решение?
Оффтоп: это куда это собираетесь, если регулярное электричество для ноутбука будет, а интернета нет?
Для бешеной собаки семь миль не круг
Аватара пользователя
Shoorick
Соображающий
 
Сообщения: 64
ICQ: 243486263
Зарегистрирован: 15 окт 2010, 21:29
Откуда: Минск
Благодарил (а): 4 раз.
Поблагодарили: 4 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение DJ VK » 20 июл 2013, 11:32

Тоже не совсем по теме...

Shoorick писал(а):Оффтоп: это куда это собираетесь, если регулярное электричество для ноутбука будет, а интернета нет?

Ну вот Вам пример, 30км от Чебоксар. Ростелеком повсюду, до райцентра с стойкой км 15, не глушь а всюду жизнь, да вот работает через день два за уплаченный безлимит. ADSL пару, протянутую в деревню, бесплатно провайдер чинить (по всему периметру) не хочет... В результате проще и дешевле лимитный мегафон 3g модем.... Ну а качать карту по лимитному тарифу скажем не с руки....

З.ы. : у меня увы в 100гб не более 5-7 млн. тайлов влезает и не влезало ни разу в 500гб более 50 млн тайлов, хочу такие карты резиновые :(

з.з.ы : пользуя вместе с глючными ночнушками, работающими с Беркли 1 раз за сеанс, офицальный РЕЛИЗ умудрился таки похерить 6 из 172 файлов sdb гугля. Обыдно, да. Итак, пока самая стабильная версия Беркли (Нет проблем с экспортом в онный) у версии 6697 :!:
Аватара пользователя
DJ VK
Гуру
 
Сообщения: 1468
Зарегистрирован: 16 апр 2009, 13:57
Откуда: 8 км. от МКАД
Благодарил (а): 82 раз.
Поблагодарили: 300 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Parasite » 20 июл 2013, 13:00

zed писал(а):
cycler писал(а):ведь ось по идее всю mft в оперативу грузит, да?

Ага, все 57Гб :lol:

...причем ДВА раза (там же 2 копии $MFT) :roll:

Shoorick писал(а):
cycler писал(а):тогда я лишь ограничусь изменением размера кластера, это тоже должно привести к созданию новой mft

Хорошая мысль.

Идиотская мысль.
При конвертации раздела (не создании с нуля) фрагментация возрастает. Почему? Потому что сперва тело $MFT переносится как есть (без изменения внутренней структуры - то есть, со всеми старыми дырками после удалений), а затем в нее же, и так дырявую, начинают всовываться записи при переносе последующих файлов (которые тоже ложатся на новые секторы как Аллах на душу положит - и фрагментация там тоже будет).

Вероятность дичайшей фрагментации после использования даже штатной виндовой команды convert озвучена даже на сайте производителя, собссно. То есть. после переконверта всё равно потребуется дефраг\оптимизация практически в безусловном порядке.

И именно поэтому я выше предлагал сделать раздел с FAT32 (только и исключительно под кэш и ничего боле), а не конвертировать имеющийся (со всеми пользовательскими файлами). Для имеющегося я предлагал условно-безопасный дефраг с оптимизацией.

Shoorick писал(а):может получиться, что как раз для fat32 таблицу fat windows держит (или отображает) в памяти, в отличие от mft в ntfs.

Только в пределах размеров системного WRITE_BUFFER, поровну делённого на все операции записи. Отключите буферизацию накопителя в свойствах оного - ничего в памяти держаться не будет. Правда, скорость работы с ним весьма упадет - зато ничего не потеряется даже при внезапном выключении питания.

Shoorick писал(а):Не забывайте также про ограничение на размер файла в 4Gb.

Подскажите картосервис с размером одного непрерывного тайла в 4Gb? :)
А коллекцию любимого прона в HDTV-MUX сторонние пользовательские файлы мы тут в пределах темы "SAS+кэш" и не обсуждаем, юзер с ними пускай сам разбирается как хочет.

cycler писал(а):А вот если mft занимает 50метров, то ясное дело, место ей в оперативе, и полностью.

Ага, а при малейшем сбое в этой области - получаем девственно чистый винт без единого файла - ибо MFT улетела в атсрал, и так и записалась. И журналирование не поможет - запись от системы будет валидна, откатывать будет некуда.

cycler писал(а):Мне нужно добиться, чтобы работало как часики, карта в ноут, а ноут в поход, а поход на пару-тройку месяцев, если ноут будет тупить, то будет плохо...

Truecrypt с FAT32. После переноса кэша в него - ставить его в READ-ONLY, и дефраг оставшегося Вашего раздела с полной оптимизацией. На всё про все - где-то сутки шуршания винтом.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 459 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Shoorick » 21 июл 2013, 17:06

Parasite писал(а):Идиотская мысль.

Хорошая мысль в данных конкретных условиях, когда дефрагментация не поменяла размер MFT, а слив данных и переформатирование по каким-либо причинам не возможны.

То есть. после переконверта всё равно потребуется дефраг\оптимизация практически в безусловном порядке.

Тоже вариант.
Возможно, в такой последовательности данная конкретная задача сработает лучше.

Сам давно забил на дефрагментацию еще после 90-х - ранних 2000-х. Тогда майкрософтовские файловые системы были менее надежны, падали чаще, приходилось восстанавливать в том числе и вручную. Дефрагментированную файловую систему восстанавливать гораздо проще. Помнится, даже писал утилитку, которая пыталась реконструировать фрагментированный rar-файл, подставляя разные возможные кластера в место разрыва (фрагментации).
Сейчас работает и работает, задумываться о процентах быстродействия лень. Трэш с миллионами мелких файлов у меня редко, да и после него мне проще все слить и залить заново. Один громадный раздел под всё никогда не делаю. Эксперементировать на собственных данных всякими дефрагментаторами как-то стремновато (были инцеденты), нужна резервная копия. А раз она есть, пол-задачи "слил - переформатировал - залил" уже решена. Как-то так.

Подскажите картосервис с размером одного непрерывного тайла в 4Gb?

Человек уже на Беркли перешел. Да и мало ли он что там хранит, включая архивы.
К тому же, при переконвертации NTFS->FAT32 может сдвинуться время файлов. Для некоторых задач это критично. Я так не люблю, когда файлы уезжают в другой часовой пояс или меняют последнюю секунду.

Truecrypt с FAT32.

Я еще пробовал ImDisk. Теоретически не нагружает процессор на шифрование (практически в саспланете разница незаметна), его можно расширять в любой момент, всё пространство сразу не оккупирует (при размещении раздела в виде файла на ntfs), при какой-либо порче раздела шансы вытянуть данные гораздо выше.
Для бешеной собаки семь миль не круг
Аватара пользователя
Shoorick
Соображающий
 
Сообщения: 64
ICQ: 243486263
Зарегистрирован: 15 окт 2010, 21:29
Откуда: Минск
Благодарил (а): 4 раз.
Поблагодарили: 4 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Parasite » 21 июл 2013, 22:54

Shoorick писал(а):
Parasite писал(а):Идиотская мысль.

Хорошая мысль в данных конкретных условиях, когда дефрагментация не поменяла размер MFT, а слив данных и переформатирование по каким-либо причинам не возможны.

1. Потому что дефрагментация - это не только бездумное тыкание на Next-Next-Next-OK. Если делать ее правильно - то все прекрасно получается, и мучительно больно никогда не бывает. А чтобы делать ее правильно - нужно долго и вдумчиво курить матчасть. Это я, собссно, не Вам - а топикстартеру.
2. При конверте тома с ФС на другую ФС - фрагментация возрастает. Автоматических шибко интеллектуальных средств для одновременной сквозной оптимизации беспорядочной структуры одной ФС в идеальную структуру совершенно другой ФС - лично мне неизвестно. У M$ их явно нет (а то что есть - глючное и монструозное, ну то есть как всегда) - а чужим в этакую проприетарщину юридически лазить запрещено, поэтому всё вот так вот и тянется. :(
Вывод - либо плакать и продолжать надкусывать этот кактус, либо юзать другие ФС.

Shoorick писал(а):
Parasite писал(а):Подскажите картосервис с размером одного непрерывного тайла в 4Gb?

Человек уже на Беркли перешел.

Человек написал в тему "Windows XP и 50 миллионов файлов в кэше SASGIS". Подскажите мне практические условия создания 50 миллионов файлов Беркли при юзании SASGIS? Я хочу это увидеть лично.

Shoorick писал(а):К тому же, при переконвертации NTFS->FAT32 может сдвинуться время файлов. Для некоторых задач это критично. Я так не люблю, когда файлы уезжают в другой часовой пояс или меняют последнюю секунду.

А я нигде и не предлагал конвертировать уже занятый раздел с файлами, повторяю. Ибо есть ненулевая вероятность вообще всё потерять - если, например, мигнет свет на середине процесса.
Я предлагал сделать раздел с FAT32 с нуля - его даже форматировать с /q будет быстро и полезно, чем париться с долгой ручной очисткой папок.
Неохота переразбивать физ.винт? Тогда капитан Truecrypt уже спешит к Вам. :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 459 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Merh » 18 ноя 2015, 19:48

Berlkeley вещь хорошая, но... не Parasite ли писал, что большие файлы в данном формате часто бьются?
Или это было давно и не правда?
Собственно, вопрос в чём: сейчас тайловый кеш лежит в контейнере "трукрипта" под FAT32, но...
А можно ли отвести один диск под, допустим, EXT, и кинуть кеш на него, при этом, чтоб сам SASPlanet как стоял и работал на винде, так и стоял и работал, или это бред и так не получится, и при таком раскладе можно только SAS запустить на лине в wine, и качать уже на ext, но никак не из работающего на винде SAS перекидывать кеш на диск с ext ФС?
Отдельный Ордена Червоного Прапора Цілком і Повністю Упоротий Полк Першого Диверсійного Загону Аэлирэ́нн Aen Saevherne, Третій Санітарний Дивізіон Бронетанкових Панцерваффе ЦК АВО імені Майора Нємчицький.
S.A.N.I.T.A.R. АВО
Аватара пользователя
Merh
Соображающий
 
Сообщения: 53
Зарегистрирован: 13 ноя 2015, 20:19
Благодарил (а): 118 раз.
Поблагодарили: 1 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение zed » 18 ноя 2015, 20:06

Merh писал(а):Berlkeley вещь хорошая, но... не Parasite ли писал, что большие файлы в данном формате часто бьются?
Или это было давно и не правда?

Было давно, но частично правда. Сейчас, если программа не падает, то Беркли работает нормально. Если упадёт, то есть небольшой шанс, что что-то испортится. На этот случай есть sdb_utils.exe, которой обычно можно в пару кликов всё восстановить.
Merh писал(а):А можно ли отвести один диск под, допустим, EXT

Если поставите в винду драйвер этой ФС с поддержкой чтение/записи, то можно. Для SAS без разницы что там за ФС используется - на диск пишет ведь винда в любом случае.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Merh » 18 ноя 2015, 20:10

Если поставите в винду драйвер этой ФС с поддержкой чтение/записи, то можно.

Скрытый гемой или траблы имеют вероятность возникнуть при таком костыле?
Отдельный Ордена Червоного Прапора Цілком і Повністю Упоротий Полк Першого Диверсійного Загону Аэлирэ́нн Aen Saevherne, Третій Санітарний Дивізіон Бронетанкових Панцерваффе ЦК АВО імені Майора Нємчицький.
S.A.N.I.T.A.R. АВО
Аватара пользователя
Merh
Соображающий
 
Сообщения: 53
Зарегистрирован: 13 ноя 2015, 20:19
Благодарил (а): 118 раз.
Поблагодарили: 1 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1