abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 15:17 | Pozvánky

Od pátku 25. 5. proběhne na Fakultě informačních technologií ČVUT v Praze openSUSE Conference. Můžete se těšit na spoustu zajímavých přednášek, workshopů a také na Release Party nového openSUSE Leap 15.0. Na stejném místě proběhne v sobotu 26. 5. i seminář o bezpečnosti CryptoFest.

Jendа | Komentářů: 0
dnes 13:33 | Zajímavý software

Drawpile je svobodný multiplatformní program pro kreslení podporující společné kreslení několika uživatelů. Zdrojové kódy jsou k dispozici na GitHubu pod licencí GPLv3+. Drawpile i Drawpile Server jsou ke stažení také ve formátu AppImage. Stačí tedy nastavit právo na spouštění a spustit.

Ladislav Hagara | Komentářů: 0
dnes 09:44 | Zajímavý software

Kalifornskému Muzeu počítačové historie (Computer History Museum) se po pěti letech vyjednávání se společností Qualcomm podařilo získat veškerá práva na poštovního klienta Eudora (Wikipedie), tj. kromě zdrojových kódů muzeum získalo také ochranní známku Eudora nebo domény eudora.com a eudora.org. Po pročištění byly zdrojové kódy Eudory uvolněny pod licencí BSD.

Ladislav Hagara | Komentářů: 3
včera 15:00 | Nová verze

Byla vydána nová stabilní verze 5.11 toolkitu Qt. Přehled novinek v příspěvku na blogu a na wiki stránce. Další dnešní příspěvek na blogu Qt je věnován Qt pro WebAssembly umožňujícímu běh Qt aplikací ve webovém prohlížeči. K vyzkoušení jsou příklady.

Ladislav Hagara | Komentářů: 0
včera 12:22 | Nová verze

Po 7 měsících vývoje od verze 0.12.0 byla vydána verze 0.13.0 hardwarově nenáročného desktopového prostředí LXQt (Lightweight Qt Desktop Environment, Wikipedie) vzniklého sloučením projektů Razor-qt a LXDE. Přehled novinek v oznámení o vydání a v příspěvku ve fóru.

Ladislav Hagara | Komentářů: 12
včera 12:11 | Pozvánky

V úterý 29. května v 18:00 se v Brně koná pátý přednáškový večer o webovém vývoji. Čeká vás povídání o frameworku v Elixiru, vydávání nové kryptoměny přes ICO, component trees v Reactu. Na místě bude lehké občerstvení; vstup zdarma pro registrované. Více informací na Facebooku nebo se rovnou registrujte na Meetup.

dejvik | Komentářů: 0
včera 12:00 | Pozvánky

V pátek 25. května 2018 v Praze proběhne společné setkání komunity kolem Drupalu a překladatelů softwaru – tématem bude právě lokalizace svobodného softwaru (nejen Drupalu). Program začíná v 9.30 v budově Českého rozhlasu (Vinohradská 12), ale můžete přijít i později během dne.

Fluttershy, yay! | Komentářů: 0
včera 06:55 | Zajímavý software

Operační systém 9front, zřejmě nejaktivněji vyvíjený neoficiální fork systému Plan 9 (více informací), se dočkal nové verze nazvané „Ghost in the Minesweeper Shell“. K novým vydáním obvykle dochází každé jeden až tři měsíce.

Fluttershy, yay! | Komentářů: 0
včera 02:00 | Bezpečnostní upozornění

Byly zveřejněny (Project Zero, Intel, AMD, Arm) informace o dalších 2 bezpečnostních chybách v procesorech: variantě 3a aneb CVE-2018-3640 - Rogue System Register Read (RSRE) a variantě 4 aneb CVE-2018-3639 - Speculative Store Bypass (SSB). Podrobnosti o chybě CVE-2018-3639 například v příspěvku na blogu Red Hatu. Princip vysvětlen pomocí videa na YouTube.

Ladislav Hagara | Komentářů: 3
21.5. 19:44 | Zajímavý software

Spolek vpsFree.cz na svém blogu informuje, že přechází z OpenVZ na vpsAdminOS. Distribuce vpsAdminOS je založena na NixOS a not-os. Pokud provozujete OpenVZ Legacy a nevíte co dál, můžete zvážit vpsAdminOS, který je na migraci kontejnerů z OpenVZ připraven.

Ladislav Hagara | Komentářů: 4
Používáte pro některé služby inetd?
 (34%)
 (23%)
 (42%)
Celkem 146 hlasů
 Komentářů: 5, poslední včera 16:46
    Rozcestník

    Dotaz: python - hlavička emailu

    22.10.2015 08:10 Milan Uhrák | skóre: 28 | blog: milan_at_ABC
    python - hlavička emailu
    Přečteno: 468×
    Zdravím,

    snažím se během zálohování emailů vytvořit jakousi databázi té zálohy. K tomu potřebuji každý soubor s el. poštou analyzovat a vybrat hlavičky, které mne zajímají.

    zkusil jsem to nejprve v bash přes reformime .. což o to, hlavičky mi to vracelo, ale cat | reformime .... 4x se stejným souborem kvůli čtyřem hlavičkám mi přijde neefektivní ( emailů je kolem 180 GB ). Navíc jsem musel hlavičky stejně ošetřit pythonem (dekódovat).

    Zkusil jsem tedy načtení hlaviček napsat kompletně v Pythonu. Python má nějaké rozšíření mail, ale nepřišel jsem mu na kloub, a způsoben, jakým jsem s ho snažil použít mi stále vyhazoval exceptions u dekódování "To :" ( tak jeden z 50-ti emailů mu neseděl .. ono to zlobilo i s tím reformime a následným dekódováním) ..

    Tady chci představit mou práci (jsem pořád začátečník) požádat o korekce příp navrhnout jinou cestu.

    předem díky.

    Toto je jen funkce, která vytáhne hlavičky. na vzorku emailů se to chovalo korektně, ale možná narazím na nějaké exotické emaily, kde bude výsledek horší.

    Funkce je lehce přizpůsobená z mail.headers (kde problém dělal použitý regulární výraz, jak jsem zjistil ) - regulární výraz je hahrazen otrockou smyčkou ..

    def getheaders ( file_handler ):
    	headers={}
    	needed_headers = ["From: ", "To: ", "Subject: ", "Date: "]
    	we_read = False
    	for mail_line in file_handler:
    		if ( we_read == True ):
    			if( mail_line.startswith(' ') ):
    				cur_header += " "+mail_line.strip();
    			else:
    				headers[h] = cur_header[len(h):]
    				needed_headers.remove(h)
    				we_read = False
    		if ( we_read == False ):		
    			for h in needed_headers:
    				if( mail_line.startswith( h ) ):
    					cur_header=mail_line.strip()
    					we_read = True
    					break
    		if( len(needed_headers) == 0 ):
    			break
    	#print "headers - TO: "
    	#print headers["To: "]
    	return headers
    

    Odpovědi

    mika-talvinen avatar 22.10.2015 11:35 mika-talvinen | skóre: 23 | Plzeň
    Rozbalit Rozbalit vše Re: python - hlavička emailu
    Používat tuhle, jak říkáte otrockou smyčku, tomu bych se vyhnul. Tipoval bych, že zrovna v tomhle bude problém a jeden z X emailů neprojde.

    Našel jsem ovšem tohle a k tomu dokumentaci. Jak je zde psáno: The email package provides a standard parser that understands most email document structures. To by mohlo být řešení pro vás. Nicméně jsem emaily parsovat nezkoušel, pouze vytvářet pomocí tohoto modulu. Tímto byste dostal objekt Message, kde se díky implementované __getitem__ metodě dá dostat k headers jako ke slovníku.
    22.10.2015 13:24 Milan Uhrák | skóre: 28 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: python - hlavička emailu
    aha .. no vídíte,

    já prvně používal email.header na už (reformime) vykousané hlavičky, a tam mne to zlobilo. Moje předvedené řešení zatím funguje. problém byl v tom, že email.header nebokázal tím regexpem co má v sobě správně roztrhat některé "To: " položky.

    Liskám to v Py 2.7 (prozatím) na serveru jsem novější verzi doposud nepotřeboval.

    našel jsem si konkrétní zprávy, které způsobovaly problém a testuju to hlavně na nich. tak to ještě zkusím s tím vašim návrhem.

    Jinak děkuji za námět.
    26.10.2015 13:40 Milan Uhrák | skóre: 28 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: python - hlavička emailu
    Takže prozatím ( plno práce okolo ) jsem dospěl k tomuto návrhu, ale bohužel, ani toto neparsuje pole adresátů u mnoha emailů správně. Nebudu se v tom pořád hrabat, původní řešení bylo funkční - i když "otrocké", tak to nebudu měnit.

    Řešení je pro PY 2.7, pokud by někdo chtěl s tímto zápasit ..
    def get_headers2( file_handler ):
    	headers={}
    	needed_headers = ["From", "To", "Subject", "Date"]
    	msg = email.message_from_file( file_handler )
    	for h in needed_headers:
    		curr_header = email.header.decode_header( msg.get( h ) )
    		header_sections = [unicode(text, charset or 'ASCII', "ignore") for text, charset in curr_header ]
    		headers[ h ] = u"".join(header_sections)
    	mail_date = msg.get( "Date" )
    	if ( mail_date ):
    		tup_date = email.utils.parsedate_tz( mail_date )
    		if ( tup_date ):
    			ts_date = email.utils.mktime_tz( tup_date )
    			if ( ts_date ):
    				mail_date = datetime.datetime.fromtimestamp( ts_date ).strftime( '%Y-%m-%d %H:%M:%S' )
    	headers[ 'Date' ] = mail_date
    	return headers
    
    

    Zpracování datumu je tam odbyté, ale nepotřebuji na sekundu přesně čas, tak jsem to víc neřešil..
    24.10.2015 09:43 Snow
    Rozbalit Rozbalit vše Re: python - hlavička emailu
    fuj to tvoje formátování kodu je víc než ohavné.
    26.10.2015 13:40 Milan Uhrák | skóre: 28 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: python - hlavička emailu
    ulevilo se ti ?
    27.10.2015 13:01 fi
    Rozbalit Rozbalit vše notmuch
    Nehodilo by se vam pouzit toto na spravu metadat o emailech: https://notmuchmail.org/ a pak si to napsat treba v shellu?
    4.11.2015 07:18 Milan Uhrák | skóre: 28 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: notmuch
    děkuji, je to zajímavý kanón ... ale ten pythonský kód už vlastně funguje (ale člověk jen zírá, co vše "dokáži" zprasit tzv. email programy - od neskutečných popisů datumu, přes neuvedení charsetu v jiných polích ... Čas odeslání ale v kreativitě vede. ) a drobná škobrtnutí jsou ošetřena dostatečně. Netvořím systém pro další databázové zpracování, ale zase se párkrát stane, že někdo hledá starý smazaný email, a tento výcuc metadat by měl pomoct (dříve, než archiv rozbalím ) určit, jestli má cenu to rozbalovat.

    Tohle je krátký, svižný - byť jednoúčelový - kód, který již dělá, co má.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.