abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 1
dnes 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 0
včera 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 5
včera 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 33
včera 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 9
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 17
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 25
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 18
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 6
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 774 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Převod dat z MAILBOX souborů do MySQL databáze

18.3.2008 14:07 Martin H. | skóre: 27 | blog: linservis | Brno
Převod dat z MAILBOX souborů do MySQL databáze
Přečteno: 489×
Nainstaloval jsem server a rozchodil Postfix. Postupem času přibyly virtuální hostingy různých známých a jejich schránky utěšeně rostou (dlužno dodat že většinou blbostmi, ale oni na nich lpí).

Proto jse se rozhodl převést poštu do MySQL. Jak však mám převést existující zprávy do MySQL databáze, aby o ně nepřišli?

Hledal jsem, ale to asi ještě nikdo neřešil.

Nemá někdo tip, jak na to?

Předem díky za každou konstruktivní odpověď.
--- Kapitalismus je lepší, než socialismus ... ale horší, než jsem čekal. (Jiří Suchý) ---

Odpovědi

18.3.2008 14:20 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Ahoj,

co si od toho slibuješ? Osobně si myslím, že to není moc dobrý nápad.

Budeš muset vyřešit následující věci:
  • doručování do schránky - MDA
  • třídění pošty (maildrop, procmail, dovecot-lda necpou data přímo do mysql)
  • přístup k poště - IMAP/POP3 daemon
  • zálohování - snadněji se zálohují maildiry než databáze
  • další služba - možná úzké hrdlo
  • budeš mít data v dost nestandardním formátu - migrace do jiného prostředí bude složitá
  • ...
Pokud skutečně toužíš po tom mít vše v databázi, tak vyzkoušej dbmail.

Z.
-- Nezdar není hanbou, hanbou je strach z pokusu.
18.3.2008 14:21 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Co tě omezuje na stávajícím řešení? Co si slibuješ od dat v MySQL?
-- Nezdar není hanbou, hanbou je strach z pokusu.
18.3.2008 16:03 Martin H. | skóre: 27 | blog: linservis | Brno
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Pro oba: omezuje mě to, že pokud je ve schránce cca 40-50 MB dat, pak se do schránky nelze přihlásit.

IMAP používám už dnes, ti známí jsou BFU a přistupují většinou přes IMAP/Webmail rozhraní.

Našel jsem popis, jak doručovat do MySQL a zdálo se mi to jako vhodné řešení.

Ano, MALDIR jsem zvažoval, ale mám obavu, že i tak několik stovek souborů se do Webmailu bude načítat hodně pomalu a dlouho, kdežto SQL dotaz je rychlý.

Webmail používám mírně poupravený IlohaMail.
--- Kapitalismus je lepší, než socialismus ... ale horší, než jsem čekal. (Jiří Suchý) ---
H0ax avatar 18.3.2008 16:08 H0ax | skóre: 36 | blog: Odnikud_nikam
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Přešel bych na maildir. Velikosti schránek v řádu gigabajtů a tisíce a více mailů nejsou problém.
LinuxWay | blog |  LiCo
18.3.2008 18:00 azurIt | skóre: 34 | blog: zatial_bez_mena
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
pouzivam maildir, klienta Horde/IMP, v schranke mam vyse 2300 mailov a nebadam _akekolvek_ spomalenie. pomalsie je jedine napr. ked si dam spravy utriedit podla niecoho ineho, ako su momentalne utriedene. vyhladavanie je taktiez dostatocne rychle.
18.3.2008 19:36 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
40-50 MiB dat nic není, to také můžou být dva emaily :-) Kombinace dobrého IMAP serveru s rozumným webmailem ti umožní používat i několikagigabajtové schránky s mnoha tisíci emailů. Otestované mám IMAP servery Dovecot a Courier, webmail Squirrel a Roundcube (ten je trochu línější). Oba webmaily přistupují přes IMAP. Když se člověk přihlásí do webmailu tak samozřejmě chvíli trvá než se zobrazí obsah nějaké veliké schránky, ale není to nic tragického.

Můj INBOX má aktuálně něco kolem 800MiB a cca 2000 zpráv - přihlášení do SqurrelMailu trvá něco kolem 5-10s podle vytížení serveru. Roundcube je na tom podobně. Celkem mám ve schránce 4,5GiB (130k souborů) pošty v různých složkách.
-- Nezdar není hanbou, hanbou je strach z pokusu.
18.3.2008 21:33 CandySan | skóre: 9 | blog: bonzacek
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Ahoj, moje soukr posta ma vic jak 11 giga. Jen v INBOXu mam pres 9000 schranek. Mnoho a mnoho podschranek. Jako nejrychlejsi se mi ukazala kombinace maildir formatu a courier imap. Takto mi to ani nezatezuje server a je to velmi svizne (pruser nastava kdyz se TB rozhodne, ze si sosne celej inbox od zacatku, ale to je uz uplne jine tema o tom proc mam takovej neporadek v poste a zda je to nutne...). Na dorucovani pouzivam postfix a procmail. Vsechny definice schranek (ale i ftp ucty, dns zaznamy atd...) mam v databazi. Databaze mi prinasi mnoho vyhod s administraci (pouzivam postgres a hodne vyuzivam pohledy, triggery a funkce), ale obecne lze rici, ze ukladat fajly do db neni snad nikdy vhodne reseni. Blbe se to zalohuje a databaze se ti muze celkem snadno poskodit - pak tam loadovat takove mnozstvi dat zpatky je jednak horor a druhak to trva hodne moc dlouho. Pokud tedy nastane katastrofa, pak se ti hodi kazda usetrena minuta a neni dobre takto casem plytvat. Taktez je pravda, ze to je nestandardni format ulozenych dat a ze tedy logicky budes postupne behem pouzivani narazet na spoustu dalsich potizi, ktere dnes treba ani nikoho z nas nemusi napadnout.

Jetse mne napadlo, ze se mi v jedne schrance obcas okoti tolik zasilek, ze jsou jich uz stovky tisic (malickate textove mailiky - hlasky z ruznych serveru) a tech pak muze byt az tak moc, ze nad nimi nelze uz udelat dirlist. Tohle by databaze vyresit umela a pokud by to nebyl jen muj neporadek, ale pokud by to skutecne bylo potreba, pak by to byla vyjimka a skutecny duvod pro ukladani fajlu do db. Mas tedy pocit, ze potrebujes mit adresar (rekneme ten inbox) s pul milionem zasilek, se kterymi skutecne chces pracovat?
19.3.2008 09:06 Dramon | skóre: 14
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Limit 50 MB na schránku je limitem defaultní konfigurace Postfixu a dá se nastavit parametrem "mailbox_size_limit". Po čase používání jsem ale narazil na druhý limit a to 2 GB. Ten se mi nepodařilo "prolomit", ale dlužno říct, že jsem se moc nesnažil. Už mi totiž formát mailbox lezl krkem a nahradil jsem jej maildirem.
Takže nyní používám Postfix a IMAP pomocí Dovecotu a je to svižné, bez velikostních limitů a hlavně smazání mailů z prostředka schránky je bleskurychlé a není nutné setřásat jednou za čas mailbox, aby tam nebyly MB smazaných mailů. Plus se to mnohem lépe zálohuje. Prostě spousta výhod :)
Co se týká výkonu, tak mám ve své schránce cca 9.000 mailů a jako klienta používám Thunderbirda bez offline souborů a jede to jako blesk. Včetně hledání podle subj, odesilatelů atp. Podle těla moc nehledám, ale i tak to je celkem rychlé - zmíněných 9000 mailů (490 MB) mi to prohledá za necelých 30 vteřin. Pro lepší výsledky bych použil nějaký index SW na klientovi. Například Beagle.
S offline soubory v TB mám zkušenosti, že se občas chovají divně - nejsou vidět nové maily atp. V Evolutionu mi vždy docela dlouho trvala první synchronizace po jeho zapnutí.
Ve firemní spamové schránce se mi nashromáždilo za rok 47.000 mailů a i to jede jako čert, když se tam dívám po nějaké false-positive zprávě.
19.3.2008 10:20 azurIt | skóre: 34 | blog: zatial_bez_mena
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Po čase používání jsem ale narazil na druhý limit a to 2 GB.

zrejme limit na maximalnu velkost suboru (man ulimit)
19.3.2008 10:34 Martin H. | skóre: 27 | blog: linservis | Brno
Rozbalit Rozbalit vše Re: Převod dat z MAILBOX souborů do MySQL databáze
Všem moc děkuji za názory a nápady. Omezení schránky na 2GB zkusím, mohlo by to pomoci při mém současném oddalování úpravy, pravděpodobně zkusím některé z nabízených řešení.

Přesně toto jsem potřeboval, ještě jednou děkuji za Vaše příspěvky.
--- Kapitalismus je lepší, než socialismus ... ale horší, než jsem čekal. (Jiří Suchý) ---

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.