SASGIS - SAS.Планета
View Issue Details
IDProjectCategoryView StatusDate SubmittedLast Update
0003661SAS.Планета[All Projects] Хотелка / Feature requestpublic19-04-2020 22:1827-03-2023 07:45
Reporterk-dmitriy 
Assigned To 
PrioritynormalSeverityminorReproducibilityhave not tried
StatusnewResolutionopen 
PlatformWindowsOS8.1OS Versionx64
Product Version 
Target VersionFixed in Version 
Summary0003661: Добавить в "Управление кэшем" VACUUMизацию БД SQLite3
Descriptionчерез программу оно както культурнее было бы
а так приходится использовать или sqlite3.exe и элементарный батничек к нему:
FOR /R %1 %%i IN (*.sqlitedb) DO %~dp0\sqlite3 "%%i" "VACUUM;"

или через "Управление кэшем" перегнать из одного и того же формата в разные папки, но подобное копирование с места на место, както совсем уж нехорошо.
Steps To Reproduce
Additional Information
TagsNo tags attached.
Relationships
related to 0003851new  При удалении тайлов в области выделения на кэше SQLite3 и Berkley DB место на диске не освобождается. 
Attached Files
Issue History
Date ModifiedUsernameFieldChange
19-04-2020 22:18k-dmitriyNew Issue
20-04-2020 07:08zedNote Added: 0019779
20-04-2020 07:38zedProjectДоработка карты (ZMP) => SAS.Планета
20-04-2020 07:43zedNote Edited: 0019779bug_revision_view_page.php?bugnote_id=19779#r7657
20-04-2020 07:43zedNote Edited: 0019779bug_revision_view_page.php?bugnote_id=19779#r7658
20-04-2020 15:45k-dmitriyNote Added: 0019785
22-04-2020 06:08zedNote Added: 0019788
22-04-2020 14:34k-dmitriyNote Added: 0019789
22-04-2020 21:40k-dmitriyNote Added: 0019790
23-04-2020 07:25zedNote Added: 0019791
23-04-2020 09:03vdemidovNote Added: 0019792
27-03-2023 07:45zedRelationship addedrelated to 0003851
08-08-2025 13:24zedCategoryХотелка => Хотелка / Feature request

Notes
(0019779)
zed   
20-04-2020 07:08   
(edited on: 20-04-2020 07:43)
> както совсем уж нехорошо

Что именно "нехорошо"? С точки зрения дисковых операций, команда vacuum делает ровно то же самое:

"The VACUUM command works by copying the contents of the database into a temporary database file and then overwriting the original with the contents of the temporary file. When overwriting the original, a rollback journal or write-ahead log WAL file is used just as it would be for any other database transaction. This means that when VACUUMing a database, as much as twice the size of the original database file is required in free disk space."

Кроме того, если в кэш будет параллельно идти активная запись, vacuum запущенный из программы может и упасть. Т.е. это надо предусматривать какой-то механизм отключения выбранной карты, потом запуск vacuum на ней, а потом включение её обратно. Как-то уж слишком сложно. Тем более, что всё то же самое делается батником в одну строчку.
(0019785)
k-dmitriy   
20-04-2020 15:45   
> Что именно "нехорошо"?

полный объем карты копируется, метод с вакуумом действует пофайлово и надо иметь мин. свободного места.
но перегонку бд через "упр. кэшем" это я как альтернативу привел, смысла им пользоваться имея батник конечно нет. хотя такой способ он внутри программы, без всяких скачиваний доп. консольных программ батников, понять куда все это класть и как запускать. метод чайник френдли.


> надо предусматривать какой-то механизм отключения выбранной карты

тогда хотелка снимается, подразумевал, что там всего то поле с галочкой добавить, и вместо процедуры конвертирования вызывать vacuum на тот же список файлов.
обойдусь батником, тем более ему в ручном режиме можно конкретный зум скормить или по дате недавно измененные бдшки. да и поиск выдал пару сообщений и багрепортов касающихся не изменении размера бд после удаления данных, багрепорты так вообще касались меток - значит оно если кому и надо, то единицам.


> механизм отключения выбранной карты

давеча не хватало такой возможности - принудительного закрытия бдшек, приходится пользоваться костылями в виде смены глобального или локального типа бд или папки кэша, чтоб сас закрыла все открытые бд, и файлы можно было бы перемещать/удалять.
ну да это тоже мелочь редко нужная, пока об этом костыле не додумался, так вообще каждый раз закрывал сас, чтоб файлами манипулировать.
(0019788)
zed   
22-04-2020 06:08   
Кстати, я как-то упустил: а почему вообще вам нужен этот vacuum? Вы часто и много удаляете из кэша или что?
(0019789)
k-dmitriy   
22-04-2020 14:34   
редко, но до 1/3 удалять-переносить случается. на планшете место не резиновое, кэш разросся, к примеру, под раздачу давеча попала имеющаяся область средней азии и была вынесена на внешней носитель.
с ней правда вышел конфуз - запустил копирование области всех масштабов в кэше, за ночь задача так и не сформировалась, позавтракал, посерфил - все еще формировалась. терпение кончилось, отменил, скопировал папки кэшей и в ручном режиме пришлось удалять файлы ненужных квадратов для крупных масштабов, а те что шли по границе уже через грубую обводку и логику "слияния полигонов" сас и комп уже сдюжили быстро. благо, остающаяся область обновлялась с нуля, так что не пришлось делать это дважды.
(0019790)
k-dmitriy   
22-04-2020 21:40   
кстати, а это тоже какаято сложность в цепочке процедур и есть нюанс, что если при удалении в выделенную область попадает файлбд квадрата тайлов целиком (ну или как я понимаю тайл -8 масштаба), то вместо поштучного удаления всех позиций в бд этого файла (по крайней мере так кажется прорисовкой последовательности исчезания сущ. тайлов), можно было бы просто одним махом удалить этот файл?
(0019791)
zed   
23-04-2020 07:25   
Удалялка универсальная и понятия не имеет про то, как хранятся тайлы на диске. Поэтому, действительно, есть определённая сложность, чтобы сделать так, как вы описываете.
(0019792)
vdemidov   
23-04-2020 09:03   
По поводу удаления целыми файлами.
У меня уже очень давно была идея добавить в тайлохранилища поддержку групповых операций по прямоугольнику, а оперции с полигоном сводить к набору оперций с прямоугольниками.
Собственно один из простейших алгоритмов получения такого набора прямоугольников, причем в потоке, я описывал, когда мы подсчет количества тайлов в полигоне обсуждали.
А уже тайлохранилище, сможет зная структуру своих файлов заменять потайловые операции на групповые.

Но это очень много работы. Очень много нетривиальных алгоритмов с возможностью допустить ошибку, но и ускорение операций должно быть очень значимым.