Open source řešení pro datové schránky – stav

5. 2. 2010 | Redakce | Různé | 7279×

Ačkoliv se to mohlo zdát, projekt pro vytvoření open source řešení přístupu k datovým schránkám neusnul ani neumřel. Přinášíme vám aktuální informace o stavu implementací, které v rámci projektu vznikají.

Úvod

Na podzim minulého roku vyhlásil portál AbcLinuxu.cz společně s Liberix, o.p.s., projekt, který by měl vyústit v dostupné open source řešení implementace přístupu k datovým schránkám. Protože v té době existovalo pouze nevhodné oficiální řešení (které nešlo označit za multiplatformní až už vůbec ne otevřené), rozhodli jsme se přislíbit finanční odměnu vývojářům, kteří by vytvořili přenositelné svobodné řešení, které by mohlo být používáno v Linuxu i dalších operačních systémech. Záhy se připojili další jednotlivci i organizace a finanční odměna pro řešitele projektu rostla.

Během podzimu došlo ke specifikaci úkolu, hledání vývojářů a zadání konkrétních činností. Práce se nakonec chopili tři řešitelé, kteří každý k úkolu přistupovali odjinud. Souběžně tak vznikaly:

• univerzální knihovna pro práci s ISDS v jazyce C,
• multiplatformní knihovna v jazyce Java a javové GUI,
• API v jazyce Perl a grafická nadstavba v Qt.

Všechny tři projekty se blíží dokončení (bohužel komunikace s řešitelem třetího projektu vázne) a rádi bychom jim poskytli prostor pro veřejné testování, odchytávání chyb a posléze představení. Podívejte se na jejich zdrojové kódy, zkuste je sestavit, pročtěte si seznamy podporovaných funkcí a nahlaste chyby do Bugzilly, připojte své komentáře a připomínky atd.

libisds

(Petr Písař), stránka projektu na AbcLinuxu.cz: libisds

libisds je klientská knihovna pro přístup k SOAP rozhraní ISDS napsaná v jazyce C (verze ISO99) a šířena podle podmínek licence LGPL-3. Zdrojové kódy lze získat na http://repo.or.cz/w/libisds.git.

Cíl

Podporovat všechny operace, které ISDS nabízí, formou knihovny napsané v jazyce C a s co nejpřívětivějším rozhraním pro programátory.

Hotovo je:

• Přihlášení heslem
• Odhlášení
• Pingnutí serveru (DummyOperation)
• Zjištění informací o přihlášeném uživateli a jeho schránce
• Vyhledání cizích schránek podle zadaných kritérií
• Ověření doručitelnosti do cizí schránky
• Odeslání zprávy (jen binární dokumenty)
• Získání seznamu odeslaných zpráv
• Získání seznamu příchozích zpráv
• Stažení obálky příchozí zprávy
• Stažení podepsané doručenky (a nahrání z místní kopie)
• Stažení nepodepsané doručenky (a nahrání)
• Stažení nepodepsané příchozí zprávy (a nahrání) (jen binární dokumenty, pravděpodobně nedodržuje fyzickou strukturu XML)
• Stažení podepsané příchozí a odchozí zprávy (a nahrání) (jen binární dokumenty)
• Získání otisku zprávy prošlé ISDS ze systému
• Porovnání dvou otisků
• Označení zprávy v systému jako přečtené
• Nalezení dokumentu ve zprávě podle jeho identifikátoru
• Testovací funkce s neexistujícím požadavkem na systém, která vždy selže (vhodné pro programátory aplikací)
• Systém chybových hlášení a protokolování
• Automatické testy vybraných off-line funkcí
• Výpočet otisku místní kopie zprávy (čeká na implementaci zvláštního XML parseru zachovávajícího fyzickou strukturu XML)
• Ověření místní kopie zprávy, že prošla systémem na základě porovnání otisků (tato funkce je hotová, jen závisí na rozpracovaném výpočtu otisku)
• Podpora verze ISDS 2.1
• Nahrávání a ukládání podepsaných zpráv bez CMS obálky
• Správa schránky (změna údajů o uživateli a jeho práv, přidání a odstranění uživatele, žádost o vytvoření schránky, žádost o znepřístupnění schránky, žádost o znovuzpřístupnění schránky)
• Internacionalizace chybových hlášení (zatím jsou vyznačeny makrem, stačí přidat gettext)
• Indikátor průběhu stahování a nahrávání s možností přerušit operaci
• Zbývající funkce ISDS (funkce pro soudy, vězeňskou zprávu, evidenci obyvatel)

Udělat v dohledné době:

• Přihlašování certifikátem
• Ověřování podpisů a časových razítek zpráv
• Získání a odeslání XML dokumentů

Udělat později:

• Odeslání dokumentu do systému Czech POINT na autorizovanou konverzi
• Automatické testy on-line funkcí
• Asynchronní a vícevláknové zpracování
• Dokumentace (zatím se autoři aplikací musí spokojit s komentáři v hlavičkovém souboru)

Udělat někdy:

• Ostatní věci zmíněné v souboru TODO

Podrobný popis vývoje je v blogu: Zpráva z vývoje libisds.

JAVA_ISDS

(Václav Rosecký), stránka projektu na AbcLinuxu.cz: JAVA_ISDS

JAVA_ISDS – multiplatformní knihovna v Javě pro přístup k ISDS (informačnímu systému datových schránek). Aktuální zdrojáky jsou na http://github.com/xrosecky/JAVA_ISDS (na stejném místě najdete i javadoc a jednoduchý tutoriál).

Knihovna se skládá ze čtyř modulů:

1. ISDSCommon – knihovna definující společné rozhraní pro obě implementace.
2. ISDSWebServices – vygenerované webové služby.
3. TinyISDS – minimalistická knihovna pro přístup k ISDS, podporuje:
   • stažení seznamu přijatých zpráv,
   • stažení zprávy a
   • získání haše zprávy.
   • Ostatní operace nejsou podporovány.
4. ISDS – knihovna pro přístup k ISDS s plnou funkcionalitou, tzn.:
   • odesílání zpráv,
   • ověření integrity stažených zpráv,
   • práce s podpisy a časovými razítky,
   • vyhledávání datových schránek, OVM
   • zjištění stavu DS
   • a podobně.

Je potřeba:

• zefektivnit ověření integrity zprávy,
• doplnit pomocné funkce (getOwnerInfoFromLogin atd.),
• přidat podporu práce s certifikáty
• doplnit testy.

Build se provádí mavenem, takže jen stačí spustit příkaz "mvn package" a ten se o vše potřebné postará.

Existuje jednoduché GUI, které umí otevřít podepsanou datovou zprávu a s pomocí tohoto pluginu (http://userscripts.org/scripts/show/63178) otevřít zprávu ve webovém prohlížeči a tím se zbavit závislosti na FormFilleru.

Další fáze

Oba projekty (snad i třetí, pokud se jeho autor ozve) projdou testovacím obdobím, ale mezitím pro ně vytvoříme samostatné stránky, na kterých budou veškeré potřebné informace, návody a podobně. Jakmile bude software ve stavu, kdy jej bude možné prezentovat širší veřejnosti, pokusíme se tuto informaci rozšířit, pomoci s propagací a všeobecně zajistit, aby z této práce mohlo mít co nejvíce lidí užitek. Kromě toho také rozdělíme mezi řešitele finanční odměnu.

Testujte, hlaste chyby

Pro oba prezentované projekty (libisds, JAVA_ISDS) jsme v Bugzille na adrese bugzilla.abclinuxu.cz založili sekci, ve které je možné hlásit chyby. Využijte toho.

       

Komentáře

[pools]

až už vůbec ne otevřené

[pasmen]

Ta Cčková knihovna má moje sympatie už jen proto, že používá goto

[pasmen]

Hmm, koukám že to používá i jiný špeky, třeba while vnořený do switch. Fíha..

[petr_p]

Zrovna tohle není moje práce. Ale je fakt, že korutiny v C se jen tak nevidí. Dík za upozornění, třebaže se jedná o public domain, tak jsem autora dotčených dvou souborů připsal do AUTHORS.

[vrosecky]

Duff's device

[pasmen]

Znám znám (tedy jméno jsem zapomněl...), měl jsem to kdysi u zkoušky z C

[xoor]

Mohl byste mi rict nebo uvest link (na literaturu), proc je spatne vkladat while do switch? Neberte to jako utok, jen se ptam. Dekuji.

[Mintaka]

Asi záleží na konkrétním případu. Jsou situace, kdy goto je nejlepší řešení. Stejně tak se může stát že i while ve switchi může mít své opodstatnění.

Co se Pythonu týče: http://www.willmcgugan.com/blog/tech/2009/3/7/live-your-life-by-the-tao-of-python/ tak např:

Beautiful is better than ugly.
Simple is better than complex.
Flat is better than nested.

[balki]

Prinajmensom som tam identifikoval "pach", zbytocnej zlozitosti. Podobne veci zhorsuju citatelnost a udrziavatelnost kodu.

Ale je to cisto zalezitost vkusu, nie dogma. Ak to nevadi tym, co s kodom pracuju, ziadny problem :)

Odporucana literatura: http://www.amazon.com/exec/obidos/ASIN/0201485672

[Ash]

A vy proč myslíte že to je špatné? A je to podle vás obecně špatné, nebo jen v některých případech?

[xoor]

Ja nevim jestli je to spatne (Programove se mi to zda ok. Ted nemyslim ten kus kodu v te knihovne k datovym schrankam), proto jsem se ptal. Mne slo o implementaci v jazyce C (avr-gcc).

[.]

goto je pro opravdové programátory. Je opravdu dobře, že na té knihovně dělá ten nejlepší

[balki]

Tak tak, žádný pojídač koláčů, strukturované programování je pro blbečky.

[gogo]

Nic vam/ti nebrani se zapojit, tak aby to bylo uzasne a skvele.

[pasmen]

Odkdy je slovo "sympatie" špatné?

[Rezza]

Je pekne, ze se toho komunita chytla, sam DS planuji - bydlim jinde nez v miste trvaleho bydliste a jezdit si vyzvedavat obalky... Ale jedna vec me proste neprestane trapit - oficialni reseni jsme si zaplatili vsichni a neni pro nas. Bude kolem open implementace nejaka snaha ji zavest jako oficialni a podporovane reseni? A trebas uzmout cast tech milionu za zfusovanou praci?

[jsmach]

když to zbuntovali a domršili, měli by přispět do motivačního pytlíku s penězi Zajíček a Íčko, socky to nejsou, zvláště Ivan je v těžké vatě, kdyby každý pustil žilou 50 tisíc, nic by se jim nestalo.

Koneckonců by redakce mohla oslovit ministerstvo vnitra a českou poštu ať něčím přispějí.

[jan.xxx]

Bych si raději zašel na úřad a nechal si zapsat doručovací adresu.

[linear]

A jak Java komunikuje s C knihovnou? Pres konzolovy i/o?

[Filip Jirsák]

Nijak, to jsou dvě samostatné knihovny.

[vrosecky]

Nijak, obě knihovny jsou na sobě nezávislé.

[multi]

napsat JNI pro pristup Javy k C knihovne by nebyl uz takovy problem....

osobne by se me libilo takove univerzalni reseni, kdyby byla C knihovna s veskerou fukcionalitou a kazdej vy si tomu lepil svuj program,GUI,atd...

[Filip Jirsák]

Už se to řešilo v diskusi pod zadáním. Napsat JNI pro přístup k Céčkové knihovně by nebyl problém, ale byl by to nesmysl – bylo by to složitější, než napsat tu knihovnu rovnou v Javě. Zvlášť, když programovat webové služby v Javě je asi pohodlnější (díky spoustě hotových knihoven), než to psát v C.

[multi]

no ja to uz neresim, hlavne kdyz to bude fungovat

[natiku]

1. Ono cistou Javu das snadno treba do Firefox pluginu a neresis na cem ten samotny Firefox bezi.

2. Pro sestaveni Java knihovny se pouziva MAVEN, avsak musi byt verze 2.0.9+, verzi z Fedory 12 2.0.8 to sestavit nejde (Nahral jsem 2.0.10 primo z Mavenu a sestavilo se to OK)

Na to, ze se tu pracuje a programuje v dosti vecech proprietarni rozhrani treti strany, by to chtelo vic testovani jak na urovni Unit testu (co programator naprogramoval), tak i na urovni uzivatelskech scenaru (co uzivatel ocekava a ma videt).

Ty uvatelske testy bych klidne nadefinoval, Oracle procistil Sun a ja jsem propadl sitem, pry ma dost testeru a tak se ted doma trosku nudim

[Leoš Literák]

 

Ty uvatelske testy bych klidne nadefinoval, Oracle procistil Sun a ja jsem propadl sitem, pry ma dost testeru a tak se ted doma trosku nudim

 

1. To je mi lito. Do HP stale jeste hledame sikovne programatory na fulltime, tak se ozvi.
2. Bezva, tak je (testy) prosim pridej do stranku skupiny. Robert ted pracuje na strankach jednotlivych projektu, pomocnici jsou urcite vitani.
3. Kdyz se nudis, muzes treba fixnout par bugu z bugzilly abicka Je jich tam pres 300. Zdrojaky jsou GPL.

[natiku]

Datove schranky jsou na osobu "Obcan, Zivnostnik, Jednatel S.R.O, Statutarni zastupce A.S)

Ano, jeden zivy clovek muze mit povicero schranek, bohuzel www.czechbox.cz je demo (Zkusebni) a ne plne testovaci prostredi a tak nelze napriklad jiz jednou zalozenou schranku smazat.

Pro testovani pred-definovanych scenaru je dobre mit vice schranek (Pozor, zpravy se po 90dnech smazou), nelze mit ale dve stejne firmy (stejne IC, drive ICO), viz:

 Systém nahlásil následující chybu:
  StatusCode = 1041
  StatusMessage = Již existuje datová schránka ajiak3j, jejíž majitel má stejné IČ 47114983.

Zde je jednoduchy Firefox JavaScript generator validniho IC a jeho textove podoby jenz je mozne pouzit jako Prijemni pro rychlou identifikaci ruznych schranek:

http://www.practicaltester.com/ds/ic/gen10ic.html

Aby bylo mozne posilat zpravy od jedne schranky do druhe je treba to aktivovat, viz "Nastaveni -> Povolit prijem"

PS: Doporucuji take pouzivat kanonickou validovanou postovni adresu, predejde se tim pripadnym budoucim problemum s certifikaty.

Kanonickou validovanou adrecu je mozne ziskat treba z on-line formularu Ministersterstev, treba tady:

http://formulare.mpsv.cz/okprace/cs/form/ZaEZZ.jsp

[natiku]

Fakt by mne zajimalo kdo ty DS testuje:

 - Razeni statu podle Unikode znaku, Ceska Republika je na konci seznamu ?
 - Odhlasis se a ono to porad tvrdi, ze nelze poslat formular na novou schranku protoze jsi stale prihlaseny ? 
 - V emajlu jsou jen prihlasovaci udaje, ale ne jiz treba jemno/firma a tak ?

Uff, Uff

[natiku]

Aby jste mohly posilat soubory ( V test verzi vsechny podporovene formaty, v ostre zatim jen faktury) od 1.7 jakekoliv zpravy (Vypada to ale z jen v povolenych formatech ???), je nutne:

 - Zridit is jednu firemni schranku (muze mit i nexesitujici, ale platne IC)
 - Povolte prijimat zpravy
 - Zavolat na linki podpory shranek, rici ze vuvujite SW co generuje faktury a chete je posilat pres DS
  Nahlasite svuj mail a dostanate v nem link a heslo do oblasti resitelu aplikaci
 - Zde nadete zadost ve form filleru o aktivaci posilati komercnich zprav , vyplnte 
   a prodrobne si prectete podmiky, viz muj komentar o publik bugzille nize
 - Asi za pul dne dostanete email ze pristup je povolen 
 - Po prihlaseni uvidite novou ikonku "Poslani Postovni zpravy" 
 - Zadejte ID vasi druhe schranky jenz ma povolene prijimani zprav a poslete ji jeden z podporvanych souboru

[Mintaka]

Díky za návod. Tuším, že když se někde někdo špatně vyspí, tak zprovoznění může trvat třeba týden.

[Petr]

Mohl by to někdo porovnat s tím projektem dsgui od CZ.NIC?

[Senior Database Programmer]

A ten plugin do Thunderbirdu robi niekto? Lebo mat len kniznice je na prd ked nad tym nebude nejake GUI.

[Daniel Hrbáč]

bump.

[fri]

Sleduju věc jen zpovzdálí, ale jedné věci jsem si už všiml. Protože nebyly datové schránky vyřešeny kromě Windows i pro Linux atd., přecházejí teď tam, kde s tímto systémem zacházet musí, přinejmenším částečně na Windows. Je to pěkná konkurenční výhoda v podmínkách českých zemí. Napadlo mě, že v Microsoftu mohli z toho důvodu uspořádat aspoň malý mejdyn. Firmy, které se živí prodejem programů spravujících takové ty věci kolem oběhu dokumentů, spolu s vyřešením datových schránek nabízejí i to na ně navazující řešení oběhu dokumentů - předpokládám "brzký" nákup licencí Windows když ne na většinu, tak alespoň na určitou část kancelářských počítačů nejen veřejných institucí, kde už vyzkoušeli správu dokumentů v prostředí Linuxu. Když si vzpomenu na předchozí jásot nad postupující digitalizací úřadování (veřejného/osobního) vyjádřenou nařízením o datových schránkách, tak se usměju, protože vidím, co to v praxi pro nasazení Linuxu znamená. Jsem zvědavý, kdy se objeví takové programy i pro Linux. To už bude patrně nakoupeno.

[Mintaka]

Nemyslím, že by to bylo až tak dramatické. S berličkami jdou datavé schránky používat i na Linuxu, ale k dobře udělanému multiplatformnímu řešení to má daleko.

[fri]

No právě. Rozhodnutí jsou činěna už teď asi i s ohledem na to, že komfort pro ty, kteří tu službu v nějaké síti počítačů jakoby (ne)používají, aniž by totiž rozhodovali o tom, že je nějaká datová zpráva tohoto typu odeslána - poplatek za ni zaplacen/odečten - jak tomu říká jeden odborník, co ta řešení nabízí: "zobnout si" třeba "padesátikorunu" podle ceníku služeb pošty, tedy ti lidé, aniž by něco někam posílali - jenom z počítače, který mají na svém pracovišti připraví zprávu pro odeslání, budou mít z toho důvodu stejný program, jaký bude mít obsluha na podatelně: odesílání zpráv mimo podnik/úřad z jednoho místa - jednotné rozhraní.

[Mintaka]

Fíha. Přečetl jsem si ten příspěvek 3x a pořád mám pocit že rozumím cca 1/3 zamýšleného sdělení. Jisté je, že na pořádném multiplatformním open source řešení se pracuje a když těch hozených klacků pod nohy nebude příliš, tak se nám to povede dotáhnout do zdárného začátku.

[fri]

To je dobře a příspěvek jde mimo tento potěšitelný fakt vývoje těchto řešení, která: budou brzy k mání.

Smyslem bylo popsat situaci, kdy v "závodě X" s největší pravděpodobností v nejbližší budoucnosti v souvislosti s příchodem datových schránek - v tomto případě s požadovanou existencí alespoň jedné, dojde k nakoupení licencí Windows a přeinstalaci z Linuxu, který se na těch strojích ohříval poslední dva roky, z toho důvodu, že "groupware" pro správu administrativních záležitostí, který je schopen pracovat v tomto systému datových schránek - a kromě toho vyřídit korespondenci (vlastně, to co tu už bylo i před tím - prostá správa příchozích a odchozích dokumentů), pracuje nyní jen ve Windows. Třeba jej časem výrobci přenesou i na Linux, ale to už na strojích bude jiný operační systém, který tak dostane ty správné podmínky pro setrvání v organizaci, i když si nemyslím, že by se rozšířil stoprocentně všude.

Půjde o místa, kde se s ním setkají určití zaměstnanci - ti, kteří vlastně tvoří náplň činnosti této organizace - počítač používají, když to zjednoduším, pro psaní dopisů. Jeden ohlas už jsem zaznamenal: "Konečně půjde otevřít úplně všechno." I když si nejsem jistý tím, co všechno měla mluvčí této věty na mysli. Právě z tohoto pohledu mě ta situace zaujala.

[Petr Hejl]

Ja bych i rad neco zadal, ale ta bugzilla me nechce pustit. Na login mi tvrdi "An internal server error occurred. Please try again later."

Jde mi hlavne o spatny navrh API v javovsky knihovne...

[Robert Krátký]

Už je to snad v pořádku. Zkoušel jsem zadat bug a šlo to.

[natiku]

Pozor, je otazkou, zda muzeme vubec zadavat bugy na ISDS rozhrani do otevrene public bugzily ?

Ve podminkach pro testovani ISDS je klauzule, ze vsechny chyby se musi zadat jen k nim ???

[Robert Krátký]

Bugzilla není pro chyby v API, nýbrž chyby v knihovnách, které to API používají.

[natiku]

Ne, kazda chyba ve vyuziti API muze vest potencialne k odhaleni chyby v API samotnem.

Ta Ceska formulace na tom folmulari je jasny pokus o "non disclosure agreement", v tomto pripade se normalne dela "legal audit", aby se zjistilo, zda muzou byt bugy "fully public" To znamena, zda muzou videt zadane bugy vsichni, nebo jen vyvojari, slepe zadavani, ale vede k mnoha duplikatum.

To ale neni probelm je vyvojaru = Bugzily.

Pro priklad, ted pracuju na setu minimalnich testovacich souboru, nebot DS posilaji vsechno jako soubory, bez nich neni mozne nic v DS poradne otestovat!

Hlavni potiz je v tom, ze system je znacne "nejednoznacny" , napriklad tu mame seznam podporovanych typu souboru definovanim pripon souboru v zakone, pak seznam pripon v implementaci, ale pripony jsou de facto nejake formaty jenz maji i nekolik verzi (Jedina verze je u ISDOC = 5.2+). Pokud chci zacit s dobrym testovanim , musim si vygenerovat set takovych souboru treba s pomoci OpenOffice and ffmeg. Algoritmus validace uvnitr systemu neni znam, takze musim z pocatku strilet na slepo, neco neprojede a zakonite tedy i takovy testovaci set bude obsahovat i negativni test cases, tedy infomraci o tom, co je uvnitr systemu ...

SP: Ano, dnes lze posilat v ostem provozu jen faktury, vse je planovano az na 1.7.2010

[Mintaka]

Automatické testy jsou dnes u většiny projektů nezbytností. Tohle ale spíš vypadá jako reverzní inženýrství. Detailní podklady pro tvorbu testových baterii by podle mě měly být součástí dodávky a správy ISDS a ne aby si je každý, kdo chce dělat napojení, horko těžko vyráběl.

Definovat formát souboru jen podle koncovky je dost velký amaterismus.

[natiku]

Pokud bude primarni platforma Windows, budou ti ty testy mozna stejne k malemu uzitku.

Testovat muzes ruzne, cestne DS dnes vlasne jen "zarucene dorucuji dokumenty". Co uzivatele multi platformniho reseni pristupu k DS zajima je tento dokument budto prijmout a precist/vytiskout nebo vytvorit a odeslat.

Ve vysledku je tedy nutne mitnejenom Unit testy, ale i porovnavat User Scenare, ktere pracuji prave s temito soubory.

[Mintaka]

Souhlas. Unit testy i User Scénáře jsou potřeba. // Hážu to do jednoho pytle "automatické testy" i když testovat automaticky User scénáře je většinou obtížnější.

[petr_p]

Kde je ta formulace? Já jsem žádnou během vývoje nepotkal. Možná proto, že jsem žádný účet ani nezakládal.

[mrzout]

Na linuxu lze používat http://www.multischranka.cz

Dnes jsem to nainstaloval a zdá se, že to jede (Ubuntu 64bit). Ale mě nikdo nepíše, tak to najisto nevím ;)

[Mintaka]

Tak Multiplatformní to částečně je, ale závislost na Adobe AIR mi moc fajn nepříjde.

[Daniel Hrbáč]

No, už se těším. Doufám, že se povede i rozšíření pro TB.