SASGIS - SAS.Планета
View Issue Details
0003120SAS.Планета[All Projects] Хотелкаpublic02-08-2016 10:0917-01-2024 12:02
pfg21 
zed 
lowtweakN/A
resolvedfixed 
WindowsXPSP3
160707 
24xxxx24xxxx 
0003120: Ускорить экспорт выделенной области в форматы на основе SQLite3 (RMaps, OruxMaps, MBTiles, OsmAnd)
на данный момент при экспорте большого объема тайлов в sqlite базу, они сначала полностью записываются в журнал, после этого вносятся изменения в базу и журнал уничтожается.
Учитывая что саспланета корежит базу в одно лицо, такие заморочки излишни и сильно тормозят процесс экспорта.

Есть предложение перенести журнал в память, т.е. исключить действия с диском, и коммитить данные в базу каждые 10-100 тайлов (в зависимости от доступной памяти и т.д.) или вообще его отключить.

один из тестов с временем записи
www.webdelphi.ru/2015/10/eshhyo-odin-sposob-uskorit-zapis-dannyx-v-bd-sqlite/

еще статейка habrahabr.ru/post/149635/
No tags attached.
related to 0003626resolved zed При экспорте в Orux maps большого куска карты падает с Can't allocate the DIB handle 
has duplicate 0003696closed zed Ускорить экспорт выделенной области в форматы OsmAnd (SQLite3) 
Issue History
02-08-2016 10:09pfg21New Issue
02-08-2016 10:18zedNote Added: 0017583
02-08-2016 10:26zedStatusnew => closed
02-08-2016 10:26zedAssigned To => zed
02-08-2016 10:26zedResolutionopen => won't fix
04-08-2016 17:40zedAssigned Tozed =>
04-08-2016 17:40zedStatusclosed => new
04-08-2016 17:43zedResolutionwon't fix => reopened
04-08-2016 17:43zedSummaryУскорить выгрузку тайлов в Sqlite = журнал в памяти + частый коммит => Ускорить экспорт выделенной области в форматы на основе SQLite3 (RMaps, OruxMaps, MBTiles)
04-08-2016 17:45zedNote Edited: 0017583bug_revision_view_page.php?bugnote_id=17583#r7056
12-08-2016 06:17vdemidovStatusnew => confirmed
12-08-2016 06:17vdemidovTarget Version => 30xxxx.Vip
29-07-2020 17:58zedRelationship addedrelated to 0003696
29-07-2020 17:59zedSummaryУскорить экспорт выделенной области в форматы на основе SQLite3 (RMaps, OruxMaps, MBTiles) => Ускорить экспорт выделенной области в форматы на основе SQLite3 (RMaps, OruxMaps, MBTiles, OsmAnd)
29-07-2020 18:00zedRelationship replacedhas duplicate 0003696
29-07-2020 18:02zedRelationship addedrelated to 0003626
29-07-2020 18:02zedNote Added: 0019940
30-07-2020 07:46pfg21Note Added: 0019941
30-07-2020 08:59zedNote Added: 0019942
17-01-2024 12:01zedStatusconfirmed => resolved
17-01-2024 12:01zedFixed in Version => 24xxxx
17-01-2024 12:01zedResolutionreopened => fixed
17-01-2024 12:01zedAssigned To => zed
17-01-2024 12:01zedTarget Version30xxxx.Vip => 24xxxx
17-01-2024 12:02zedNote Added: 0020450

Notes
(0017583)
zed   
02-08-2016 10:18   
(edited on: 04-08-2016 17:45)
Открыл тикет заново, т.к. изначально неверно понял суть хотелки.

(0019940)
zed   
29-07-2020 18:02   
Для OruxMaps сделано: 0003626
(0019941)
pfg21   
30-07-2020 07:46   
на 30 июля 2020 года опять выгрузка в RMaps и Osmand sqlite фоматы сначала все изменения заливает в wal и только потом модифицирует основной файл бд.
(0019942)
zed   
30-07-2020 08:59   
Что значит "опять"? Разве когда-то было не так?
(0020450)
zed   
17-01-2024 12:02   
Сделал journal_mode=OFF и коммит через каждые 10 тыс. тайлов.