Týdeník OSM 439 (diskuse)

[Max]

Právě OSM rozjíždím ve firmě pro naše interní použití. Musím říci, že je to masakr. Původně jsem myslel, že je to vesměs easy, ale čím víc to celé poznávám, tím víc jsem trochu zmaten a říkám si, zda to pro interní použití v našem IS stojí za to, nebo zda se raději vyplatí dát třeba Google 250kkč/ročně.
Každopádně tak jako tak to rozjedu a vzhledem k tomu, že to celé rovnou dokumentuju, tak pak záznam z naší interní wiki uvolním jako článek, nebo resp. minimálně dva.
Zdar Max

[ed]

No, pokial je sucastou hlavne mapovy server a lokalny rendering mapovych podkladov, tak s tym som "bojoval" pred rokom. Kedysi pred strasne vela rokmi som pouzival Java based riesenie na rendering tileov, ale to bolo uzasne pomale a to nove riesenie je odost inac postavene.

Treba hlavne pochopit, ze veci, ktore su nejako pomenovane v skutocnosti sluzia na uplne iny ucel. Napriklad ustrednu funkciu ma "stylesheet", ktory okrem vizualnych stylov vlastne urcuje aj to, co na mape vobec skonci (nie len ako to bude vyzerat). Teda sa na jeho zaklade sklada query do DB. To mne osobne narobilo najviac problemov, lebo som chvilu nevedel dat dokopy funkcny stylesheet. Sheety sa navyse po nete povaluju vo viacerych formatoch DB schemy a nie vsetko funguje so vsetkym.

Ked to zbehne prvy krat, potom sa da pouzit bud pre-made riesenie na generovanie dlazdic (on-demand tile generator pre apache?) ale ja som potreboval pregenerovat mapy staticky pre offline pouzitie, tak som si napisal vlastny kus kodu, ktory generoval tile jednu po druhej.

To riesenie s existujucim dynamickym generovanim dlazdic je o poznanie jednoduchsie rozchodit.

Vratane pisania kodu, importu databazy a vsetkeho okolo to nezabralo ani dva tyzdne. Dolezite je dobre odladit PgSQL, inac si pri importe scucne strasne vela RAM a cele PgSQL padne. S 32GB by to mapu Europy malo vediet importnut v pohode.

[Max]

Já to najetý mám, můj údiv je rozsáhlost, kterou člověk musí nasadit a hw a optimalizace, který je třeba, aby to nějak slušně běželo.
Já třeba použil defaultní ofiko stylesheet-carto, ale ten mi nefungoval. I když jsem pomocí něj sestavil db, tak v query byla chyba. Nakonec mi jí pomohli odhalit chlapci od mod-tile, který právě používám na rendering. A tím jsem i procitl, jak to všechno funguje.
Každopádně, zkusil jsem si nalít do db jen CR. PBF pro CR má 682MiB. Import do DB včetně indexů mi trval 96min. Výsledná velikost db 17GiB.
Dále je třeba předgenerovat dlaždiče, aby to mělo i nějakou slušnou odezvu a nedělalo to rendering v online módě.
mod-tile obsahuje nástroj na předgenerování dlaždic. Zoom 0-12 se mi ještě generuje, už asi třetím dnem. Velikost předgenerovaných dlaždic pro CR v návaznosti na zoom viz :

0 - 30KiB
1 - 49KiB
2 - 94KiB
3 - 208KiB
4 - 439KiB
5 - 1,3MiB (to už ČR přestává vypadat jako puntík)
6 - 3,3MiB
7 - 8,7MiB
8 - 19MiB
9 - 57MiB
10 - 188MiB
11 - 641MiB
12 - 2,3GiB

A upřímně, Zoom 12 není nic epesního. Pokud zoom nepředgeneruji, tak je to fakt hodně pomalý. Ani se nedivím, že v návodech je většinou uvedeno předgenerování Zoomu 0-10 s tím, že je doporučeno používat SSD disk, hodně ram a samozřejmě šílený výkon na renderování.
Takže abych měl tak nějak rozumně rychlou ČR, tak mně to stojí 3 dny na renderování a 17GiB DB + počítám tak 7GiB dlaždice.
Problém je, že jezdíme hodně států, takže jen s ČR si nevystačím. Kolega chtěl, abych naladil celou EU, ale když to tak pozoruji, je to v mém prostředí nereálný požadavek. Budu tedy po něm chtít jen konkrétní státy, ale počítám, že to bude celá střední Evropa.
A to jsme teprve u Tile serveru, chybí server pro mapování objektů name vs lat/long (Nominatim server), dále server, který bude umožňovat plánování/trasy(OSRM). Poté server, který bude poskytovat API (OverPass API, nebo Rails Port), aby šlo s OSM nějak pracovat v rámci našeho IS.

A tím jsem asi tak nastínil, jaký problém to v reálu asi tak je. Fakt je potřeba hafec zdrojů a procesorového času, aby to nějak rozumně fungovalo.
A to jsem si ještě nevyzkoušel updaty map. Nicméně podle toho, co vím, by to nijak strašné být nemělo.
Pokud pro běh IS bude stačit Zoom 12, tak je to v pohodě. Pokud bude potřeba větší Zoom, tak to při tom počtu uživatelů neurenderuji a pak přijde na řadu otázka, jak dál. Zda nějaký nabušený HW, co to dá, nebo zda se na to vykašlat, ušetřit hw zdroje i práci IT a řešit mapové podklady formou služby od třetí strany.
Zdar Max
PS: Jinak si s tím hraju na virtuální mašině, která má 4x core + 8GiB ram a vše přes NFS4.1 na né moc rychlém storage. Takže opravdu nicotka. Pro real použití to pak samozřejmě bude chtít něco výkonnějšího

[KS]

Tohle je už dost oldschool přístup. Dnes se mapy renderují u klienta (třeba v prohlížeči) obvykle z vektorových dlaždic, které můžeš tahat z různých zdrojů. Vyhneš se tak těžkotonážním renderovacím serverům. Mrkni třeba na https://openmaptiles.org/ nebo https://www.mapbox.com/vector-tiles/.

[Max]

Tak jsem na to koukal, existuje i přednáška v CZ (OpenAlt 2017/11 - Jiří Komárek):
OpenMapTiles - vektorové dlaždice v češtině

A tady oznámení české komunitě

Vzhledem tomu, že to publikovali před rokem, tak bych současnému renderování dlaždic neříkal oldschool. Dále i to generování vektorových dlaždic, které se pak u klienta skládají, má docela režie. Ale takto to vypadá, že ty režie jsou o dost menší. Další věcí je, že ten projekt právě odděluje styly od dat, takže jistou výhodu sebou nese (při barevné změně mapy není třeba přegenerovávat dlaždice, lze dynamicky měnit obsah atd.).

Rozhodně je to zajímavý pohled na tile server a možná škoda, že jsem se o něm nedozvěděl dříve. Nicméně asi také vyzkouším.
Zdar Max

[xkomczax]

Existují i hotová řešení, která se dají rozjet na pár kliků a stojí míň než těch 250k

[Max]

Jak to myslíš? Jako pro lokální použití, nebo také formou služby? Vím, že jsou komerční poskytovatelé OSM, kde si zaplatí člověk za rychlé API relativně bez omezení.
Zdar Max

[xkomczax]

Lokální použití.

[Max]

Nějaký tip, když už jsi to nakousl?
Díky
Zdar Max

[xkomczax]

Moji prezentaci sis už sám nalinkoval nahoře

Takže OpenMapTiles.org pokud si chceš sám rozjíždět open-source, OpenMapTiles.com (data, server) pokud chceš mít hotový komerční produkt (video tutoriál pro Linux, Windows, Mac).

Je schopno ti to vyrenderovat jak rastery, tak vektory.

Rastery jsou old-school (nedají se stylovat na klientovi - pokud změníš styl, musíš renderovat celou planetu; jsou velké; ale zase je podporuje většina známých prohlížeček - Leaflet a OpenLayers + jsou renderované na serveru, takže nezatěžují klienta), vektory jsou budoucnost (stylují se u klienta, takže můžeš za běhu měnit vzhled, jazyk popisků, přidávat či ubírat věci z mapy, ...; jsou i menší; ale renderují se u klienta, takže mají trochu větší nároky na jeho výkon (dnes bez problémů); podpora v prohlížečkách Mapbox-GL-JS default, Leaflet a OpenLayers pomocí pluginů (takže mírně komplikovanější)).

[Dirka]

Jako urcite to sepis.

V kazdym pripade proc potrebujes vlastni server? To mate tak tajny data, ze to nemuzes pridat do OSM jako takove a pouzivat jakejkoliv server s aktualnima datama? Nebo je za tim neco jinyho?

[Max]

Je za tím výkon. Kolegové mají problémy s výkonem a odezvama veřejných OSM. Teď nevím, zda si sahají na limity určené pro free použití, nebo je problém někde jinde. Nemám k dispozici statistický data. Každopádně na venek vystupujeme jako jedna IP a do začátku uživatelů je kolem 300 (později může být i 1000). Reálný použití bude mnohem menší (tři směny, nekoukají na to všichni pořád atd.)
Zdar Max

[Dirka]

Dobre, v kazdym pripade pokud bys potreboval nekam popostrcit napis na na talk-cz@openstreetmap.org - https://openstreetmap.cz/talkcz/201901

Vzdy se tam najde nekdo, kdo zna odpoved :)

[Jendа]

Pokud koukáte víceméně pořád na ta stejná místa, tak se dá udělat proxy která ti dlaždice bude držet třeba měsíc v cache.

[Max]

Díky za info, určitě je to zajímavá možnost a zahrnují do diskuse ve firmě, kterou na toto téma v týdnu plánuji.
Zdar Max

[kvr]

Co znamená problém s výkonem? Že v rámci jedné firmy / přípojky k internetu se jim dlouho nahrávají dlaždice? Pominu-li miliony / miliardy uživatelů, které používají OSM bez problému, tak může být úzké hrdlo linka, ale i tak, ty dlaždice tak velké nejsou a hlavně by se měly rychle dostat do cache browseru. Takže, jestli uživatelé spíš nemají nějaké nesmyslné restriktivní nastavení...

Udělat lokální řešení samozřejmě jde, ale ta cena je dost vysoká a hlavně nebude pak nejspíš dostupné zvenku (což nemusí být nutně problém). Co se týče dalších služeb (lng lat lookup, hledání cesty, ...), tak bych určitě využil třetí strany - ten build dat trvá dlouho, stojí spoustu běžně nevyužitého hardware, navíc se musí data pravidelně udržovat. Úspora bude naprosto minimální, dost možná záporná.

[Jendа]

Udělat lokální řešení samozřejmě jde, ale ta cena je dost vysoká a hlavně nebude pak nejspíš dostupné zvenku

Jsem si to včera po odeslání mého komentáře hned zkusil nastavit (ladím poor-man's Tamaru a přišlo mi hloupé tahat dlaždice Prahy pokaždé když něco rozbiju a smažu cache browseru) a bylo to hotové za chvilku… Proč by nemělo být dostupné zvenku?

(ano, cache -- předpokládám, že Maxovi lidé koukají na dálnice a blízké okolí překladišť nebo co to vlastně provozují, ne že si vymyslí náhodné souřadnice v Evropě a „dej mi okolí s maximálním zoomem“)

[Max]

Řídím se politikou OSM. Pokud chceš ve větší míře využívat, udělej si lokální kopii, nebo jdi ke komerčnímu poskytovateli a zbytečně nezatěžuj free službu.
Zdar Max

[Roman]

Treba proto, ze provoz serveru neco stoji a pokud mate pozadavku hodne, mate si udelat lokalni server ci koupit Google Maps a nevytezovat dobrovolnickou sluzbu, ktera neco poskytuje zdarma. Kolik ste prispel do OSM?

[Dirka]

Ty vole to je zas dotaz, normalne se ho ptam a hned kolik sem prispel, myslis commitu do OSM? Nebo nahlasenych bugu do OSM projektu? Nebo kolik lidi sem pritahl k prispivani do OSM? Nebo kolik sem poslal prispekvu sluzbam typu Osmand? Prekvapive ve vsech kategoriich silne nenulovy, tak si priste strc ten konfrontacni ton nekam.

[Odin1918]

Tva pracovni smlouva ti umoznuje zverejnovat poznatky a praci provedenou v zamestnavatelove case? Nemyslim to zle, zajima mne to.

[NN]

Tak pokud to nejsou uzavrene zdrojaky, tak to prece neni nic tajneho. Pocitam, ze to bude postavene na OSS, takze pujde v podstate o verejne zname informace, ale usporadane do funkcni kombinace ;).

[Odin1918]

Zdrojaky jsou verejne, ale zde jde o postup, jak s nimi nakladat a co vse a jak se musi udelat, aby to fungovalo...

[Jendа]

Představuji si, jak najímáš nového zaměstnance na základě jeho předchozích zkušeností, a on ti pak řekne „smůla, to jsou zkušenosti od jiného zaměstnavatele, ty u tebe nemůžu použít“

[Odin1918]

Predstavuji si, jak si ty v base a tva rodina pod mostem za to, ze jsi novemu zamestnavateli daroval zdrojaky a postupy minuleho zamestnavatele, cimz si porusil smlouvu a spachal trestny cin.

Odin<Hitleruv zelezny kriz> si nechava udelat lobotomii po kazdem skonceni smlouvy. Mnoho by se tim vysvetlovalo.

[Marián Kyral]

Bych se docela divil, pokud by měl zaměstnavatel něco proti tomu, že maká i mimo pracovní dobu. U programátorů a adminů běžná věc. Nejde jen tak někam zaseknout klávesnici a přestat na to myslet.

To jen na ilustraci, jaký jsi extrémista.

[Max]

Mno, tak zrovna ty OpenStreetMapy jsem jel čistě mimo pracovní dobu, dokonce v době dovolené, kterou jsem si kvůli nemoci prodloužil. Ke konci jsem se začal nudit, jak mi začalo být lépe, tak jsem se podíval na jednu topku z todo listu. No problemo.
Co přesně mám ve smlouvě ti teď neřeknu, protože jí nemám u sebe. Jinak můj zaměstnavatel se k mým publikacím nestaví záporně (a ano, ví o nich). Navíc si myslím, že jemu to nijak neuškodí (většinou zveřejňuji věci o OSS, ty co jsou mimo, zveřejňuji v obecných rovinách bez podrobností), spíše jen pomůže (někdy vyplyne z následující diskuse dobrý tip, který firmě pomůže tím, že se něco líp udělá, co před tím nikoho nenapadlo).

Jinak být takto otevřený je jeden z důvodů, proč nepracovat jinde. Ve státním aparátu by to byl asi problém (napč. jeden čas jsem koukal na zajímavý post u BIS) a některé společnosti mají přímo NDA na úplně všechno.
Zdar Max