SASGIS

Веб-картография и навигация

Windows XP и 50 миллионов файлов в кеше SASGIS

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение sergbrother » 17 мар 2013, 07:13

Прогнал sdb_util. Нашел ошибки в 4 файлах. Отлечил. Не помогло. Эффект тот же.
Где можно взять логи?
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение zed » 17 мар 2013, 08:48

Нужны 2 файла: sdb.log в папке с Беркли кэшем и SASPlanet.elf в папке с программой. Плюс, не помешал бы лог sdb_util.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение sergbrother » 17 мар 2013, 09:13

Доброе утро.
Запустил процесс заново (177 тыс из YASAT уже сделано) в новую папку E:\Sascache1.
В папке с Berkeley (E:\Sascache) не найдено файлов *.log (FAR)

Дополнительная информация о вызовах из файла ELF

Call Stack Information:
-------------------------------------------------------------------------------------------------------------------------------------------------------------
|Address |Module |Unit |Class |Procedure/Method |Line |
-------------------------------------------------------------------------------------------------------------------------------------------------------------
|+Memory Leak: Type=TInternalPerformanceCounter; Total size=84; Count=1 |
|-----------------------------------------------------------------------------------------------------------------------------------------------------------|
|0054A712|SASPlanet.Debug.exe|u_InternalPerformanceCounter.pas |TInternalPerformanceCounterFactory |Build |196[1] |
|0054B980|SASPlanet.Debug.exe|u_InternalPerformanceCounterListForDebugOneClass.pas|TInternalPerformanceCounterListForDebugOneClass|Create |51[3] |
|0054C0FF|SASPlanet.Debug.exe|u_InternalPerformanceCounterListForDebug.pas |TInternalPerformanceCounterListForDebug |GetCounterByClass|80[4] |
|-----------------------------------------------------------------------------------------------------------------------------------------------------------|
| |
|+Memory Leak: Type=TBerkeleyDB; Total size=80; Count=1 |
|-----------------------------------------------------------------------------------------------------------------------------------------------------------|
|005769A1|SASPlanet.Debug.exe|u_BerkeleyDBFactory.pas |TBerkeleyDBFactory |CreateDatabase |79[1] |
|00551A19|SASPlanet.Debug.exe|u_BerkeleyDBPool.pas |TBerkeleyDBPool |Acquire |216[48]|
-------------------------------------------------------------------------------------------------------------------------------------------------------------

Modules Information:
--------------------

Processes Information:
----------------------

Assembler Information:
----------------------

Registers:
----------
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение zed » 17 мар 2013, 09:20

sergbrother писал(а):Дополнительная информация о вызовах из файла ELF

Мне не нужны огрызки этого файла. Мне он нужен весь и целиком как есть - не в виде текста, а в виде прикреплённого сюда файла.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение sergbrother » 17 мар 2013, 11:16

Спасибо,Zed, только это не огрызок. Это он почти весь (верхнюю часть я уже размещал).
Я думаю, хрен, с ним с логом и убитой недоделанной копией кэша на 40 Гигов.

Достал главный SSD с данными (50 млн.файлов) из ноута Panasonic (ну он там блин и упакован, даже с подогревом), подключил к компьютеру с 32 Гигами RAM с SSD OCZ Revodrive3 X (у меня на нем свободно около 90 Гигов) и начал конвертить заново YASAT.
Скорость текущая - 35 тыс.тайлов в секунду, 1840 тыс.тайлов (13.9 Гбайт) за 50 минут - 250 Мбайт в секунду. Очень даже неплохо. Я бы даже сказал бешенная скорость, практически скорость SSD на чтение с одного +запись на другой. Круто SASPlanet выступает как клиент, не тупит.

Интересно, можно собирать файловым копированием куски базы BDB (из разных папок на диске) или это я размечтался?
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение zed » 17 мар 2013, 13:44

sergbrother писал(а):Интересно, можно собирать файловым копированием куски базы BDB (из разных папок на диске) или это я размечтался?

Можно, но предварительно те левые куски нужно "отвязать" от старого окружения. Делается это утилитой sdb_util в пункте Reset LSN. После этого можно перемещать файлы в новый кэш и они должны подхватиться без проблем. Но поскольку у вас какие-то непонятные мне проблемы (внятного сообщения об ошибке я так и не увидел, не считая утечки памяти) и не ясно что же приключилось с теми БД, то я бы не советовал их перемещать в новый кэш, раз уж вы взялись за его повторную перегонку.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 525 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение sergbrother » 17 мар 2013, 14:32

Текущий статус 13 млн. тайлов и 58 Гбайт Yasat сконвертировано (за 4 часа).

Zed, убитый кэш я уже удалил. Я не про него.
Скоро у меня кончится место на приемном SSD (осталось 40 гигов) - ядумаю, что кэш Yandex туды весь влезет.
Затем я хотел списать результат на жесткий диск (2 Тбайта), удалить директорию на SSD и начать по новой конвертацию кэша Goggle.
Как потом ее подлить (объединить с кэшом Yandex) на 2 Тбайтный диск? Или не получится?
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение sergbrother » 17 мар 2013, 17:54

Текущий результат YASAT:
24.3 млн тайлов, 97.5 Гбайт, время процесса 7 часов 30 минут, 20 уровень Yandex (по-моему, он в основном дутый Яндексом из 19 и 18).
Я бы остановил процесс, но чего-то очкую. Хочется уже получить хоть какой-нибудь завершенный результат...

P.S. Завершился процесс на 24.339 млн. Ура!
sergbrother
Новичок
 
Сообщения: 24
Зарегистрирован: 13 май 2012, 08:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение cycler » 16 июл 2013, 04:39

Под семёркой глюки с большим кешем тоже имеют место быть.
Было 400+ гигов тайлового кеша. Винда после загрузки сас.планета занимала всю доступную оперативу и жутко тупила.
Перевёл весь кеш в беркли, старый удалил (на удаление понадобилось примерно столько же времени сколько на скачивание - винда не хотела все 100млн+ файлов удалять за один раз, её хватало не больше чем на 20млн файликов за раз.)
После того как размер кеша приблизился к 100гб, винда стала почти такой же адекватной как и от рождения.
САС и Беркли летают на ура, глюков вообще нет. Размер кеша на финише 200гб (+ почекал ненужное).
cycler
Новичок
 
Сообщения: 32
Зарегистрирован: 15 июн 2013, 10:01
Благодарил (а): 10 раз.
Поблагодарили: 2 раз.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

Сообщение Tolik » 16 июл 2013, 08:56

cycler писал(а):Под семёркой глюки с большим кешем тоже имеют место быть.

Естественно, ФС ведь не изменилась. Имеет смысл отформатировать тот диск.
Tolik
Гуру
 
Сообщения: 2603
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 277 раз.
Поблагодарили: 515 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 13