abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 21:11 | Nová verze

Byla vydána nová major verze 3.0.0 open source dokumentově orientované NoSQL databáze Apache CouchDB (Wikipedie). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
dnes 17:33 | Komunita

Sketchfab, tj. platforma pro publikování, sdílení, objevování, nákup i prodej 3D modelů, ve spolupráci s 27 kulturními organizacemi z 13 různých zemí, oznámil spuštění programu na uchování 3D modelů předmětů kulturního dědictví jako volných děl (Public Domain). Organizace nahrávající své 3D modely na Sketchfab mohou nově použít licenci CC0 1.0 Univerzální (CC0 1.0) a tím potvrdit status volného díla. Podrobnosti v diskusním fóru. Aktuálně je na Sketchfabu pod CC0 cca 1700 modelů.

Ladislav Hagara | Komentářů: 1
dnes 16:00 | Nová verze

Byla vydána nová verze 1.4.95 webového prohlížeče Brave (Wikipedie, GitHub). Vychází z Chromia 80.0.3987.122 a nově při nenalezení webové stránky nabídne její kopii z Wayback Machine. Podrobnosti v příspěvku na blogu Internet Archive.

Ladislav Hagara | Komentářů: 0
dnes 13:33 | Zajímavý článek

Mozilla.cz informuje o veselých i smutných zprávách o WebThings Gateway. Před necelými dvěma týdny spatřila světlo světa WebThings Gateway 0.11 s oficiální českou lokalizací. Pravděpodobně v návaznosti na horší finanční výsledky za minulý rok, které vyústily i v docela velké propouštění, se Mozilla rozhodla v roce 2020 necílit na vydání žádného komerčního produktu, který by z WebThings vycházel. S okamžitou platností byla ukončena

… více »
Ladislav Hagara | Komentářů: 2
dnes 06:00 | Nová verze

Po půl roce vývoje od vydání verze 1.13 byla vydána nová verze 1.14 programovacího jazyka Go (Wikipedie). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
včera 22:33 | IT novinky

Mozilla na svém blogu oznámila, že dnešním dnem postupně zapíná uživatelům Firefoxu v USA DNS přes HTTPS (DoH). Jedná se o výchozí nastavení. Odpovědi na otázky v infografice.

Ladislav Hagara | Komentářů: 12
včera 21:33 | Komunita

Dalším open source projektem, který byl finančně podpořen z programu Epic MegaGrants společnosti Epic Games je 3D PBR software pro malování textur ArmorPaint (GitHub). Získal 25 000 dolarů.

Ladislav Hagara | Komentářů: 1
včera 18:11 | Zajímavý projekt

Firma vyvíjející distribuci CoreOS/Container Linux byla před dvěma lety převzata Red Hatem, v jehož portfoliu vznikla redundance: Fedora CoreOS cílí na podobná nasazení. Krátce poté vznikl fork nazvaný Flatcar Container Linux. Aktuálně je ukončení podpory CoreOS/Container Linuxu plánováno na 26. května a odstranění instalačních obrazů z distribučních kanálů na 1. září. Firma Kinvolk udržující Flatcar Linux oznamuje, že se věnuje usnadnění přechodu stávajících uživatelů CoreOS.

Fluttershy, yay! | Komentářů: 0
včera 17:00 | Nová verze

Byla vydána verze 19.0 z Arch Linuxu vycházející linuxové distribuce Manjaro (Wikipedie). Její kódové jméno ne Kyria. Přehled novinek v oznámení v diskusním fóru. Manjaro je ke stažení v edicích XFCE, KDE Plasma a GNOME. K dispozici je také síťová instalace Architect. Vývoj Manjara lze podpořit také zakoupením počítače z předinstalovaným Manjarem.

Ladislav Hagara | Komentářů: 0
včera 12:22 | Zajímavý projekt

Dne 19. února 2020 pan Kyle Finlay zahájil na Kickstarteru kampaň s názvem GamePad, jejímž cílem je získat prostředky na zprovoznění nové open source platformy pro digitální distribuci her, čistě pro OS Linux. Nová herní platforma je inspirována GOG.com a autoři slibují plnou podporu her bez ohledu na konkrétní distribuci, ale hlavně bez DRM. GamePad by měl být plně otevřený, včetně API, takže bude možné upravovat klienta, nebo si vytvořit

… více »
D.A.Tiger | Komentářů: 8
Vydržela vám novoroční předsevzetí?
 (10%)
 (5%)
 (3%)
 (82%)
Celkem 201 hlasů
 Komentářů: 0
Rozcestník

www.AutoDoc.Cz

Open source business intelligence – Pentaho

29. 9. 2010 | Vratislav Beneš | Recenze | 8772×

V tomto seriálu chci přiblížit open source řešení pro business intelligence (BI) Pentaho. Na úvod si dovolím krátkou exkurzi do  BI a popis jednotlivých oblastí. V dalších dílech se již zaměříme na vlastní softwarové řešení Pentaho a s ním spojené nástroje.
pentaho logo

Obsah

Schéma seriálu:

link
  1. Úvod – Trocha teorie k BI. Co to je a k čemu nám BI slouží v praxi?
  2. Instalace a základní nastavení Pentaho, konfigurace databází a základní přizpůsobení
  3. ETL – Extract, Transfer, Load aneb jak získávat a automatizovat nahrávání dat z rozličných zdrojů a formátů
  4. Datové sklady a OLAP – databáze, datové kostky, analýzy, MDX, agregované tabulky, pohledy
  5. Reporty – statické, dynamické, automatická distribuce
  6. Dashboardy – kokpit nad daty, flexibilní analytický nástroj
  7. Datamining – hledáme skryté informace v datech
  8. Case study – praktické nasazení BI v konkrétní firmě

Trocha teorie

link

V současné době jsou firmy zahlcovány obrovským množstvím dat. Jejich zdrojem bývají firemní systémy (ERP, CRM, účetní a jiné vnitrofiremní systémy), externí dodavatelé (státní instituce, banky, výzkumné agentury), logy výrobních linek nebo také logy IT systémů.

Data obsahují nezměrné množství informací, které lidé potřebují transformovat ve znalosti a ty následně použít jako podklad pro svá rozhodnutí. A právě BI poskytuje nástroje, postupy a techniky vhodné pro extrakci informací z dat a nalezení relací mezi nimi.

Abychom toho byli schopni, potřebujeme systém, který by měl umět pokrýt následující oblasti:

  1. Extrakci dat a jejich nahrávání – ETL
  2. Systém pro uložení dat – datový sklad (DWH) a datové tržiště (DMT)
  3. Analýza dat – Online Analytical Processing (OLAP)
  4. Reportování – reporty, dashboardy, distribuci uživatelům
  5. Hledání souvislostí v datech – datamining (DM) a následné modelování

Schématicky to lze vyjádřit takto:

pentaho bi schema

Firemní systémy mají většinou svá data uskladněna v databázích rozdílných architektur a struktur. Na obrázku jsou to vnitropodnikové systémy ERP, CRM, software na sledování docházky (HR) a jako externí systémy jsou zastoupeny výpisy z banky nebo měnové kurzy.

Naším cílem je data ze všech zdrojů centralizovat, zobecnit, ale zároveň zachovat potřebnou detailnost. Takto připravená data slouží pro analýzy, reporty nebo modelování faktů, která nám jsou známá. Ta, která zůstala doposud skryta, se snaží odhalit metody dataminingu.

Co to v praxi znamená?

Na databáze ERP, CRM a HR systémů jsou napojeny datové pumpy (ETL), které automaticky nebo na vyžádání „vytáhnou“ nová data a uloží je do datového skladu. V případě banky nelze předpokládat přímý přístup do bankovní databáze, takže jako zdroj dat budou složit offline datové soubory (XLS, TXT, …). Kurzovní lístek bude nejspíše dostupný na webu dané bankovní instituce, takže zdrojem je webová stránka. V tomto případě ETL musí zajistit převod nestrukturovaných dat do podoby vyhovující datovému skladu, takže musí provést určitou transformaci (například vyhledání hodnot kurzů v HTML).

Datový sklad musí mít takové rozhraní, aby z něj bylo možné stavět reporty nebo jej použít jako zdroj pro analýzy či modelování. Datový sklad obsahuje možné kombinace všech vstupních dat. Jelikož je rozsah informací příliš komplexní, je množina „nabízených“ dat omezena podle oborového zájmu na její podmnožiny. Těmi jsou datová tržiště, která bývají realizována datovými kostkami (ne výhradně).

Jednotlivá oddělení firmy pak přistupují pouze ke svým informacím, nad kterými si spouštějí reporty, procházejí dashboardy, analyzují data a vytvářejí si modely.

Cílem je přinést každému uživateli co možno nejkomplexnější informace, ale zároveň v co nejjednodušší formě a co nejrychleji.

BI software

link

Poptávka po BI v poslední době značně roste. Svoji roli hraje nejen neustále narůstající množství dat, ale také vzdělanost manažerů v oblasti využití moderních nástrojů pro řízení firmy. Podle hesla „Co nemůžete změřit, nemůžete řídit“ se ve firmách generuje množství reportů, stanovují se KPI, která by se také měla měřit a vyhodnocovat, provádějí se analýzy, sestavují modely. BI sice není všelék, ale při vhodném nasazení a zejména interpretaci dokáže nalézt a také pomoci řešit problémy firmy.

Firmy jako IBM, Microsoft, Oracle, SAP si toto uvědomují a většinou na vrchol svých databázových produktů stavějí BI řešení. Jelikož se jedná o komplikované systémy zahrnující i umělou inteligenci, jejich cena nebývá právě nejnižší. Z tohoto důvodu firmy často sahají po nestandardních řešeních, jakými je třeba nevhodné použití tabulkových procesorů. Nakonec ale s rostoucím množstvím dat a požadavků tato řešení čím dál více uživatelům ztěžují práci a více než analýzám problémů se věnují hledání chyb ve vzorcích a překopírovaných tabulkách.

Svět open source nabízí pro BI několik nástrojů (BI Jasper, Palo, Pentaho). V našem seriálu se budeme zabývat řešením od spolešnosti Pentaho – Pentaho BI. To patří mezi nejrozšířenější a nejkomplexnější open source nástroje pro BI. Zahrnuje několik samostatných aplikací (Mondrian, Kettle, Weka, jfreecharts, …), které jsou samy o sobě velmi kvalitní, a proto i často nasazované. Neodmyslitelnou součástí uceleného BI řešení je databázový systém jako zdroj dat.

Pentaho

link

Pentaho je komerční opensource nástroj, který je k dispozici v Community edition a Enterprise edition. Community edition je vydávána pod GNU GPLv2 licencí a je plně zdarma. Enterprise edition je placená a obsahuje některé komponenty, které nejsou vydávány pod GNU GPL2 nebo jinou svobodnou licencí. Srovnání obou verzí naleznete na http://www.pentaho.com/products/. Jako u většiny komerčních verzí open source je hlavní rozdíl mezi Comunity a Enterprise edition hlavně v podpoře ze strany Pentaho nebo jejich partnerů. Vedle toho Enterprice edition obsahuje i vylepšení, jako jsou Single-sing on, analyzátor výkonu systému nebo pokročilý grafický analyzátor OLAP kostek. Obě edice mají stejný základ, a to javovskou web aplikaci, běžící v aplikačním serveru (Tomcat, JBoss nebo třeba Glassfish). Některé moduly (designer kostek, reportů, ETL) jsou tvořeny samostatnými aplikacemi. Výsledek je publikován na server s Pentaho BI.

Jak Pentaho řeší základní oblasti BI

link
  1. ETL (Extract Transformation Load) je řešen pomocí nástroje Kettle. Jedná se o javovskou aplikaci umožňující navrhovat, provozovat a plánovat datové pumpy, propojující externí data a datový sklad. Pro zvýšení dostupnosti a výkonnosti lze Kettle provozovat v clusteru. Díky Javě je platformně nezávislý.
  2. Datový sklad je tvořen relační databází. V základním balíku jsou předkonfigurovány MySQL, Hypersonic, Oracle 10g a PostgreSQL. Ale lze použít libovolnou databázi komunikující přes JDBC.
  3. OLAP je v Pentaho řešen ROLAPem projektu Mondrian, který čerpá data nejen z výše uvedených DB, ale z kterýchkoli jiných s rozhraním JDBC. Analytickou část přes webové rozhraní zajišťuje komponenta jpivot.
  4. Reporty lze sestavovat statické, dynamické s možností výstupu do html, xls, doc, pdf nebo obrázků. Vedle nich lze definovat i tzv. dashboard, které lze přirovnat ke kokpitu, kde je celý pozorovaný systém zobecněný do několika základních údajů s určitou mírou agregace, zobecnění. Reporty i dashboardy mohou být interaktivní, čímž umožní uživateli poměrně snadno měnit výchozí omezení. Tím mu dávají mocný nástroj k získání bleskového přehledu o dané oblasti. Reporty lze distribuovat mezi příjemce pomocí e-mailu nebo je vkládat do intranetových portálů.
  5. Datamining je řešen aplikací Weka, která vznikla v univerzitním prostředí. V důsledku toho je velmi často rozšiřována o nové algoritmy a postupy, což není pravidlem u komerčních aplikací. V Pentaho není implicitně řešeno modelování, ale lze jej rozšířit o statistický nástroj R-project. Modelování je výsostně specifická oblast, proto většina uživatelů sáhne po svém oblíbeném nástroji nebo postupu. Naše firma např. používá neuronové sítě.

Pentaho ve spojení s dobře navrženým datovým skladem je velmi výkonný a spolehlivý nástroj na BI. S přehledem obstojí i v konkurenci proprietárních řešení. Díky možnosti integrace do jiných prostředí (intranet, vlastní aplikace) umožňuje pohodlně reportovat a analyzovat data, bez nutnosti složitých a krkolomých řešení. Pevně věřím, že vám bude tento seriál nápomocen.

První díl tohoto seriálu má úvodní, informativní charakter. Příště si rozběhneme komunitní verzi, ukážeme si její nastavení proti databázi PostgreSQL a provedeme si základní přizpůsobení.

Na shledanou s Pentaho :-)

       

Hodnocení: 100 %

        špatnédobré        

Nástroje: Tisk bez diskuse

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

corwin78 avatar 29.9.2010 07:02 corwin78 | skóre: 10 | Ostrava
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Těším se na pokračování. Díky.
Česká pirátská strana - "Internet je naše moře...".
29.9.2010 07:14 honza soukup
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Pro mě zajímavé téma, těším se na další díly, díky!
29.9.2010 12:36 pedro
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Tak na toto se hodně těším, Pentaho neznám, autorovi přeji pevné nervy a doufám, že seriál neuvadne po kapitole o instalaci.
29.9.2010 13:48 Petr
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Taky se těším, díky.
29.9.2010 14:31 Ladicek | skóre: 28 | blog: variace | Havlíčkův brod
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Taky jsem zvědav. Před časem jsem si trochu s Pentahem hrál a moc uchvácený jsem nebyl, to drsné programování v JSPčkách (sprosté slovo: skriptlety), co tam kucí provozují, je fakt odpudivé.

Na druhou stranu, trochu vidím akorát do Mondrianu, a ten je dost dobře vymyšlený, samostatné použití je vcelku bezproblémové. Jenom k vizualizaci je třeba ten JPivot (nic jiného jsem neviděl), což je odporná XSLT mrcha, která nezvládne od jednoho uživatele víc dotazů zároveň. Jo a ukládání naklikaného pohledu má (teda mělo, když jsem to zkoušel, což bylo naposled asi 2 roky zpátky) problémy s diakritikou (asi proto, že to není součást JPivotu, ale dobastlili to tam v Pentahu, a když jsem letmo listoval zdrojáky, získal jsem dojem, že s kódováním se tam vůbec moc nepářou).
Ještě na tom nejsem tak špatně, abych četl Viewegha.
29.9.2010 16:02 vratidlo007 | skóre: 21
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Slibuju, ze JSP se dotkneme jen jednou a to rovnou v pristi dile, ale jen abychom si zmenili uvodni logovaci stranku:-) Dashboardy se pohodlne vytvareji javascriptem, na reporty, ETL, tvorbu kostek jsou klikatka, tak snad to nebude az tak moc krkolomne. S diakritikou si poradime. FYI: Staci spoustit javu s parametrem -Dfile.encoding=utf-8 a jpivot umi zobrazovat i hacky, carky.
29.9.2010 18:31 Ladicek | skóre: 28 | blog: variace | Havlíčkův brod
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
K tomu kódování, možná jsem to vyjádřil špatně, fungovalo mi prakticky všechno, jenom jedna věc ne: Pentaho přidává do JPivotu tlačítko pro uložení aktuálního pohledu (které osy jsou rozbalené apod.), a tam byl problém. Teď už si nejsem jistý, jestli šlo jenom o pojmenování pohledu nebo o to, že některé hodnoty v MDX dotazu byly s diakritikou, ale na téhle funkci to prostě padalo. Ale dost možná, že dneska už je to úplně jinak.
Ještě na tom nejsem tak špatně, abych četl Viewegha.
29.9.2010 14:53 osvc1
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
rad bych se zeptal, je to mozne nasadit (ma smysl) uz i ve firme, ktera ma mene nez 10 tisic zamestnancu?
29.9.2010 15:55 vratidlo007 | skóre: 21
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Pentaho ma smysl = je prinosem treba i jen pro jednoho uzivatele, ktery potrebuje analyzovat velka data (gigabyty) nebo generovat reporty pro ostatni uzivatele. Nasimi zakazniky jsou firmy/oddeleni o 5 lidech, ale take fabriky o stovkach zamestnancu. Nejbeznejsi nasazeni v praxi, mame pro skupiny o 20-30 uzivatelich napric nekolika oddelenimi (marketing, prodej, vyroba ...). Takze moje odpoved je, ze Pentaho (Jasper) ma smysl nasadit i ve firme < 10000 zamestnancu :-) Tam ale nejspis budou mit trosku jine produkty ;-)
30.9.2010 00:14 jos
Rozbalit Rozbalit vše není ETL jako ETL
první pokus Extract, Transfer, Load

druhej pokus Extract Transformation Load

wikipedia Extract, Transform, Load

sorry za to rejpání
30.9.2010 14:27 vratidlo007 | skóre: 21
Rozbalit Rozbalit vše Re: není ETL jako ETL
Jaj sorac!:-) Spravne je samozrejme Extract, Transfer, Load. Kolega me na to taky upozornoval, ale nejak mi to uniklo. Musim to vic po sobe cist :-)
30.9.2010 14:49 vratidlo007 | skóre: 21
Rozbalit Rozbalit vše Re: není ETL jako ETL
No tak znovu a lepe :-D ETL = Extract, Transform, Load
30.9.2010 11:50 LuděkS | skóre: 30 | blog: publish | Liberec
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Bezva práce! Díky! :-)
1.10.2010 16:54 wike | skóre: 19 | blog: experimental
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Ďakujem za dobrý článok na zaujímavú tému. Teším sa na pokračovanie.
1.10.2010 17:34 radecare
Rozbalit Rozbalit vše Re: Open source business intelligence – Pentaho
Pentaho je pěkná věc. Sám se těším na pokračování tohoto článku.

Pro ty kdo by měly zájem o ROLAP platformu, kterou nemusí instalovat, tak je pěkná alternativa tvořena firmou GoodData (www.gooddata.com).

Jedná se o ROLAP jako platforma. Přístupné jak přes JS klienta z browseru, tak přes REST API.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.