Duże wdrożenie

[borys]

Przy kilku tysiącach obiektów nie powinno być problemu (chyba że każdy ma tysiące wierzchołków), ale przy milionach podobnoż przegrywamy z konkurencją. Tak czy owak, właśnie ruszyły prace nad przyśpieszeniem i upłynnieniem renderowania (wielowątkowość i keszowanie). A rastry powinny chodzić bez problemu, o ile są dobrze popiramidowane.

[Rayo]

Niedługo dołożymy jeszcze trochę rastrów (w sumie będzie prawie 900 ortofotomap), a ilość obiektów wektorowych do końca roku wzrośnie do parunastu tysięcy. W przyszłym roku planujemy dodać TBD na całym terenie i kilkadziesiąt tysięcy naszych obiektów. Zobaczymy jak to wtedy będzie wyglądało.

[danprzy]

Dane rastrowe umieszczono na centralnym serwerze, dane wektorowe w PostGIS.

Jestem nowym uzytkownikiem qgis...
Czy to oznacza ze to jest najlepszy sposb na duże pliki mapowe?
Ortofotomapa w moim projekcie ma 100MB co sprawia ze cały projekt działa dość wolno. Czy zatem najlepiej jest wyeksportować taką ortofotomape (czy inny duzy raster) na Mapserver?

[Rayo]

Moje ortofotomapy mają od 50 do 100MB i jest ich dużo (docelowo prawie 900). Zrobiłem z nich w GDALu VirtualRaster i piramidy dla całości. Szybkość działania jest wystarczająca, dodatkowo wszystkie ortofotomapy są widoczne jako jedna warstwa.
Jeśli Twoja ortofotomapa to jeden plik to wystarczy zrobić piramidki i powinno działać dużo szybciej. Piramidy możesz zrobić w QGIS lub w GDALu. W u mnie najlepszą metodą okazał sią GDAL. QGIS przy dużych plikach czasami się wieszał.

Tej mój serwer to tylko komputer, na którym umieszczono pliki. Nie jest to żaden Mapserwer, ani nic w tym stylu. Po prostu dostęp do danych ma wielu użytkowników i mapy trzeba było umieścić na komputerze ogólnie dostępnym.

[sebaq]

Czyli rozumiem, że przyjąłeś takie rozwiązanie. Wektory w bazie postgis a rastry na serwerze plików. Ciekawi mnie jak po LANie to śmiga. U mnie mam około 600 rastrów (mapy zasadnicze 1:500) z zewnętrznymi piramidami. Nie próbowałem umieszczać tego na serwerze tylko każdemu użytkownikowi zgrałem na dysk lokalny (rzadko się one zmieniają - jedynie nowe dochodzą). Więc jeżeli twierdzisz, że prędkość wczytywania rastrów jest zadowalająca to będę musiał spróbować. Ze względu na ilość rastrów myślałem o stworzeniu VRT aczkolwiek nie umiem sobie poradzić z jednym. Mianowicie moje mapy zasadnicze są w układach 42 i 65 (część miasta pokrywa jeden układ a część drugi - niestety nie ma tutaj żadnej ciągłości, jedna dzielnica w 42 tuż obok w 65 itp.). Pracuje w układzie 65 dla strefy 4 a rastry 42 są przetransformowane do 65. Powoduje to, iż przy tworzeniu VRT dla samych map 42 miejsca "puste" wypełnia się czarnym tłem. Chciałbym aby te brakujące sekcje były ... a w zasadzie ich nie było. Fajnie mieć w jednej warstwie 400 rastrów 42 ale to wypełnienie przesłania miejsca gdzie są mapy 65. A przeźroczystość wiele tu nie pomaga. Wydaje mi się więc, że VRT czy "mozaika" fajnie działa na rastrach pomiędzy którymi zachowana jest ciągłość. Chciałbym mieć VRT dla "porozrzucanych" rastrów 42 tak żeby nie przysłaniały zachodzących na nie rastrów 65. Można by te wszystkie rastry wrzucić do jednego worka i dla wszystkich zrobić VRT ale ze względu że 42 i 65 nachodzą na siebie utraciłbym część danych. Jeżeli ktoś rozumie problem bądź zna rozwiązanie (na pewno jest bajczenie proste) to proszę o info. Poza tym potwierdzam, że wektory z bazy chodzą bardzo szybko. W naszym przypadku jest to kilkadziesiąt tysięcy obiektów na różnych warstwach i na pewno lepiej to działa niż z pliku shp.
Pozdrawiam.

[tomalos]

Jeśli dobrze rozumiem to przy wartości oznaczającej brak danych wpisz 0 (zero) (jeśli robisz to z palca przez terminal to do komendy trzeba dodać bodajże "-srcnodata 0"), ja w ten sposób pozbyłem się niechcianych czarnych przestrzeni.

[Rayo]

Tomalos ma rację. Działa też przy wpisaniu '-vrtnodata 0'. Szczerze mówiąc to nie wiem jakie są różnice między tymi parametrami. Dla obu wynik jest identyczny.
VRT ma tą wielką zaletę, że kilkaset rastrów może być widziane w QGIS jako jedna warstwa, łatwo można ustawić przezroczystość dla tej warstwy, czy inne parametry.

Tak jak pisałem, wszystkie rastry mam umieszczone na serwerze (jako zwykłe pliki), zrobiony z nich VRT i piramidki. W tej chwili nie mam jeszcze wszystkich piramidek i przy niektórych skalach trochę zwalnia, ale ogólnie jestem zadowolony z działania. W tym miesiącu zakupujemy ostatnią partię ortofotomap, potem wyliczenie piramid i początkiem września będę miał pełny obraz jak to wszystko działa. Po dotychczasowych doświadczeniach jestem optymistą.

[sebaq]

Fajnie. Zaraz spróbuje. Problem tkwił w tym że używam GDALa spod Qgisa a tak przy tworzeniu VRT można jedynie ustalić rozdzielczość. Spróbuje zaraz spod konsoli.
Do Rayo: "W tej chwili nie mam jeszcze wszystkich piramidek i przy niektórych skalach trochę zwalnia" - Dlaczego? Przecież gdaladdo robi piramidy dla wszystkich plików w zadanym folderze...

[Rayo]

Do Rayo: "W tej chwili nie mam jeszcze wszystkich piramidek i przy niektórych skalach trochę zwalnia" - Dlaczego? Przecież gdaladdo robi piramidy dla wszystkich plików w zadanym folderze...

Robię piramidki nie do każdego rastra oddzielnie, tylko do całego VRT. Trwa to kilkanaście godzin. Dodatkowo nie robię tego w godzinach pracy innych użytkowników. Siłą rzeczy trwa to trochę więc generuję je etapami Poza tym, co miesiąc dostaję nową porcję rastrów i piramidy trzeba liczyć od nowa (wada VRT).

[sebaq]

Rozumiem, że jak mam piramidki zewnętrzne (.ovr) zrobionego dla każdego rastra to VRT robiony z tych rastrów nie wymaga ponownego "piramidowania". Jeżeli tak jest to może lepiej byłoby zrobić piramidki dla wszystkich plików a później jeżeli dochodzą nowe piramidujesz tylko je i tworzysz nowy VRT...

Kurcze mam problem. VRT tworzony z parametrem -vrtnodata 0 powoduje, że wczytany plik jest cały czysty(biały). Bez parametru vrtnodata, VRT jest tworzony ale zczarnym wypełnieniem:/ help!
Zrzut z cmd:
C:OSGeo4Wappsgdal-17in>gdalbuildvrt -vrtnodata 0 C:/qGIS/rastry/65/65.vrt C:/qGIS/rastry/65/464.224.2443.tif C:/qGIS/rastry/65/464.334.193.tif
0...10...20...30...40...50...60...70...80...90...100 - done.

OK! Dla rastrów chyba musi być -vrtnodata 255. Teraz wyszło jak powwinno.