Dotaz: python - hlavička emailu

[Milan Uhrák]

Zdravím,

snažím se během zálohování emailů vytvořit jakousi databázi té zálohy. K tomu potřebuji každý soubor s el. poštou analyzovat a vybrat hlavičky, které mne zajímají.

zkusil jsem to nejprve v bash přes reformime .. což o to, hlavičky mi to vracelo, ale cat | reformime .... 4x se stejným souborem kvůli čtyřem hlavičkám mi přijde neefektivní ( emailů je kolem 180 GB ). Navíc jsem musel hlavičky stejně ošetřit pythonem (dekódovat).

Zkusil jsem tedy načtení hlaviček napsat kompletně v Pythonu. Python má nějaké rozšíření mail, ale nepřišel jsem mu na kloub, a způsoben, jakým jsem s ho snažil použít mi stále vyhazoval exceptions u dekódování "To :" ( tak jeden z 50-ti emailů mu neseděl .. ono to zlobilo i s tím reformime a následným dekódováním) ..

Tady chci představit mou práci (jsem pořád začátečník) požádat o korekce příp navrhnout jinou cestu.

předem díky.

Toto je jen funkce, která vytáhne hlavičky. na vzorku emailů se to chovalo korektně, ale možná narazím na nějaké exotické emaily, kde bude výsledek horší.

Funkce je lehce přizpůsobená z mail.headers (kde problém dělal použitý regulární výraz, jak jsem zjistil ) - regulární výraz je hahrazen otrockou smyčkou ..

def getheaders ( file_handler ):
	headers={}
	needed_headers = ["From: ", "To: ", "Subject: ", "Date: "]
	we_read = False
	for mail_line in file_handler:
		if ( we_read == True ):
			if( mail_line.startswith(' ') ):
				cur_header += " "+mail_line.strip();
			else:
				headers[h] = cur_header[len(h):]
				needed_headers.remove(h)
				we_read = False
		if ( we_read == False ):		
			for h in needed_headers:
				if( mail_line.startswith( h ) ):
					cur_header=mail_line.strip()
					we_read = True
					break
		if( len(needed_headers) == 0 ):
			break
	#print "headers - TO: "
	#print headers["To: "]
	return headers

Odpovědi

[xxxxxx]

Používat tuhle, jak říkáte otrockou smyčku, tomu bych se vyhnul. Tipoval bych, že zrovna v tomhle bude problém a jeden z X emailů neprojde.

Našel jsem ovšem tohle a k tomu dokumentaci. Jak je zde psáno: The email package provides a standard parser that understands most email document structures. To by mohlo být řešení pro vás. Nicméně jsem emaily parsovat nezkoušel, pouze vytvářet pomocí tohoto modulu. Tímto byste dostal objekt Message, kde se díky implementované __getitem__ metodě dá dostat k headers jako ke slovníku.

[Milan Uhrák]

aha .. no vídíte,

já prvně používal email.header na už (reformime) vykousané hlavičky, a tam mne to zlobilo. Moje předvedené řešení zatím funguje. problém byl v tom, že email.header nebokázal tím regexpem co má v sobě správně roztrhat některé "To: " položky.

Liskám to v Py 2.7 (prozatím) na serveru jsem novější verzi doposud nepotřeboval.

našel jsem si konkrétní zprávy, které způsobovaly problém a testuju to hlavně na nich. tak to ještě zkusím s tím vašim návrhem.

Jinak děkuji za námět.

[Milan Uhrák]

Takže prozatím ( plno práce okolo ) jsem dospěl k tomuto návrhu, ale bohužel, ani toto neparsuje pole adresátů u mnoha emailů správně. Nebudu se v tom pořád hrabat, původní řešení bylo funkční - i když "otrocké", tak to nebudu měnit.

Řešení je pro PY 2.7, pokud by někdo chtěl s tímto zápasit ..

def get_headers2( file_handler ):
	headers={}
	needed_headers = ["From", "To", "Subject", "Date"]
	msg = email.message_from_file( file_handler )
	for h in needed_headers:
		curr_header = email.header.decode_header( msg.get( h ) )
		header_sections = [unicode(text, charset or 'ASCII', "ignore") for text, charset in curr_header ]
		headers[ h ] = u"".join(header_sections)
	mail_date = msg.get( "Date" )
	if ( mail_date ):
		tup_date = email.utils.parsedate_tz( mail_date )
		if ( tup_date ):
			ts_date = email.utils.mktime_tz( tup_date )
			if ( ts_date ):
				mail_date = datetime.datetime.fromtimestamp( ts_date ).strftime( '%Y-%m-%d %H:%M:%S' )
	headers[ 'Date' ] = mail_date
	return headers

Zpracování datumu je tam odbyté, ale nepotřebuji na sekundu přesně čas, tak jsem to víc neřešil..

[Snow]

fuj to tvoje formátování kodu je víc než ohavné.

[Milan Uhrák]

ulevilo se ti ?

[fi]

Nehodilo by se vam pouzit toto na spravu metadat o emailech: https://notmuchmail.org/ a pak si to napsat treba v shellu?

[Milan Uhrák]

děkuji, je to zajímavý kanón ... ale ten pythonský kód už vlastně funguje (ale člověk jen zírá, co vše "dokáži" zprasit tzv. email programy - od neskutečných popisů datumu, přes neuvedení charsetu v jiných polích ... Čas odeslání ale v kreativitě vede. ) a drobná škobrtnutí jsou ošetřena dostatečně. Netvořím systém pro další databázové zpracování, ale zase se párkrát stane, že někdo hledá starý smazaný email, a tento výcuc metadat by měl pomoct (dříve, než archiv rozbalím ) určit, jestli má cenu to rozbalovat.

Tohle je krátký, svižný - byť jednoúčelový - kód, který již dělá, co má.