abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 23:44 | Komunita

Několik posledních verzí GNOME Shellu obsahuje chybu způsobující memory leak (únik paměti). Viz například videozáznamy verzí 3.26 nebo 3.28. Nalezení chyby #64 a její opravě se věnuje Georges Basile Stavracas Neto v příspěvku na svém blogu [reddit].

Ladislav Hagara | Komentářů: 0
včera 10:33 | Komunita

V pondělí měl na YouTube online premiéru otevřený krátký 2D film Hero vytvořený v 3D softwaru Blender. Cílem stejnojmenného projektu Hero je vylepšit nástroj Grease Pencil (tužka) v Blenderu 2.8.

Ladislav Hagara | Komentářů: 3
20.4. 23:22 | Nová verze

Byla vydána verze 4.0 kolekce svobodného softwaru umožňujícího nahrávání, konverzi a streamovaní digitálního zvuku a obrazu FFmpeg (Wikipedie). Přehled novinek v Changelogu (GitHub).

Ladislav Hagara | Komentářů: 0
20.4. 17:22 | Komunita

Včera vydanou hru Rise of the Tomb Raider pro Linux lze do pondělí 23. dubna koupit na Steamu s 67% slevou. Místo 49,99 € za 16,49 €.

Ladislav Hagara | Komentářů: 0
20.4. 16:11 | Komunita

Na Humble Bundle lze získat počítačovou hru Satellite Reign (Wikipedie, YouTube) běžící také v Linuxu zdarma. Speciální akce končí v sobotu v 19:00.

Ladislav Hagara | Komentářů: 5
20.4. 15:44 | Zajímavý software

Společnost Apple koupila před třemi lety společnost FoundationDB vyvíjející stejnojmenný NoSQL databázový systém FoundationDB (Wikipedie). Včera byl tento systém uvolněn jako open source pod licencí Apache 2.0. Zdrojové kódy jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 0
20.4. 15:00 | Nová verze

Po dva a půl roce od vydání verze 5.7 oznámila společnost Oracle vydání nové major verze 8.0 (8.0.11) databázového systému MySQL (Wikipedie). Přehled novinek v poznámkách k vydání. Zdrojové kódy komunitní verze MySQL jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 2
19.4. 14:44 | Pozvánky

Spolek OpenAlt zve příznivce otevřených technologií a otevřeného přístupu na 151. brněnský sraz, který proběhne v pátek 20. 4. od 18:00 hodin v restauraci Benjamin na Drobného 46.

Ladislav Hagara | Komentářů: 0
19.4. 13:33 | Nová verze

Byla vydána verze 18.04.0 KDE Aplikací (KDE Applications). Přehled novinek v kompletním seznamu změn a na stránce s dalšími informacemi.

Ladislav Hagara | Komentářů: 0
19.4. 13:11 | Nová verze

Bylo oznámeno vydání nové stabilní verze 1.26 a beta verze 1.27 open source textového editoru Atom (Wikipedie). Přehled novinek i s náhledy v příspěvku na blogu. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
Používáte na serverech port knocking?
 (3%)
 (7%)
 (46%)
 (27%)
 (17%)
Celkem 341 hlasů
 Komentářů: 29, poslední 5.4. 12:25
    Rozcestník

    Dotaz: Jaký filesystém pro mnoho souborů?

    Heron avatar 11.2.2006 23:57 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Jaký filesystém pro mnoho souborů?
    Přečteno: 154×
    Trápím se s následujícím problémem: mám adresář s bezmála 300 000 soubory (jedná se o maildir, soubory o velikosti do 5kB). Existuje nějaký FS, který by tohle zvládl? Otevření toho adresáře na ext3 je tak na půl hodiny. Reiserfs to nezvládá vůbec.

    Všechny pokusy o práci s těmi soubory ztroskotají na rychlosti -- rychleji než 400kB/s se číst prostě nedají.

    Kdosi mi poradil, vytvořit si na to samostatnou parition. Vytvořil jsem si dvě o velikosti 2GB (cca dvojnásobek velikosti toho maildiru) a celý den si s tím bez většího úspěchu hraju.

    Jak tohle řeší freemaily? Vždyť ty se musejí starat o stovky milionů mailů.

    Odpovědi

    wake avatar 12.2.2006 00:00 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    freemaily to maji v databazi. a totez doporucuju i tobe.
    Tento příspěvek má hlavičku i patičku!
    wake avatar 12.2.2006 00:01 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    (a samozrejme mount -o=...noatime...
    Tento příspěvek má hlavičku i patičku!
    12.2.2006 00:28 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Seš si skutečně jistý? Pokud máš nějaké reference, můžeš sem hodit odkaz?
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    wake avatar 12.2.2006 09:32 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    ehm.. no, reference nemam, ale kdyz si uvedomis, ze to, co ty mas v mailech oni maji v uzivatelich... a ze max uid je nekde kolem 65535, ...
    Tento příspěvek má hlavičku i patičku!
    Heron avatar 12.2.2006 09:45 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Taky bych tipoval, že to mají v DB. Připadá mi to docela logické.

    Co nechápu je, proč neexistuje žádný klient, který to má v "binárním" souboru. Pro Outlook (který to má ve vlastní DB), takový počet nepředstavuje problém. MBOX je nepoužitelný, maildir nad cca 100 000 souborů taky (z důvodu neefektivity FS).
    12.2.2006 10:44 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Teď jen teoretizuju, ale zkusím sehnat nějaké relevantní údaje a příklady nasazení (třeba i tady v .cz).

    Všechny emaily samozřejmě můžou být (a asi i budou) pod jedním UID, uživatelé v systému nemají shellové konto. Informace o uživatelích budou zřejmě uloženy v adresářovém serveru (LDAP).

    Zkusil jsem zatím najít nějaké informace o tom co se používá pro emaily od SUNu (hodně veliká instalace je i v české republice):

    The Java System Messaging Server can support thousands of concurrently active POP3 and IMAP4 users. In well-documented laboratory tests geared to reproducible results, the product successfully supported 125,000 concurrent, active POP3 users on a single Sun Enterprise™ 6500 server, which means that an ISP provisioned for a maximum of 10-percent active users can host a total of more than one million mailboxes on a single server, assuming a 10-percent concurrency rate.

    ...

    Each mailbox or folder is represented by another directory in its parent folder. Each message is stored as a plain text file in the MIME format. When there are many messages in a folder, hash directories are created for that folder so that the number of message files does not place a burden on the underlying file system.

    ...

    A pure database approach is also not suitable for large Message Stores. Mail messages vary wildly in size, making them a bad fit for storage in a database. Once received in the Message Store, a particular message is not modified. Only the status of the message changes over time — for example, read, answered, or deleted.

    ...

    The Message Store uses a hybrid design that combines an indexed database for storage of message header information, and flat text files for storage of message content. The use of hashed directories and a file-naming algorithm avoids problems caused by too many files in one directory.
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    12.2.2006 10:26 asd
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    wake avatar 12.2.2006 00:07 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    tak jeste jednou, poradne:

    - ta partisna je OK, dej tam reiserfs, do mount options (krom tech ostatnich) dej noatime (tedy napr:
    /dev/hdb15 /var/spool/mail reiserfs nodev,nosuid,noexec,noatime 1 2
    
    )

    - jinak pokud to s rozrustanim myslis vazne, sezen si demona, co umi maily v databazi (s postfixem AFAIK neni problem, imap/pop3 jsem pred casem pouzival, bohuzel si zaboha nevzpomenu, co to bylo za soft).

    - tak to delaji freemaily.
    Tento příspěvek má hlavičku i patičku!
    Heron avatar 12.2.2006 00:14 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    S noatime mountuju všechno.

    Ten reiserfs opravdu není OK. S tím se skutečně pracovat nedá.

    Jsou to moje osobní maily, místo daemona by se mi hodit spíš klient, který umí pracovat s DB. Každopádně díky za rady, zkusím rozběhnout ten postfix.
    Heron avatar 12.2.2006 00:25 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Tak teď jsem tam ze zoufalství dal XFS a čte se to rychlostí cca 10MB/s. Ještě zkusím co na to řekne KMail...
    Heron avatar 12.2.2006 19:59 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Takže, otázka ohledně mnoha souborů a vhodného FS vyřešena nebyla.

    Maily jsem přesunul na 2GB partišnu s ext3 (noatime, dir_index, journal_data_writeback, commit=60) a změnil mailový klient na sylpheed. Je to docela rychlé, ale divný pocit zůstává.
    12.2.2006 20:17 h7
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Ahoj, s podobnym problemem jsem se trapit taky. Staram se o mail server se 4000000 maily v maildirech. Nejvetsi maildir obsahuje 700000 mailu. Po mnoha praktickych testech jsem zjistil ,ze ext3 a reiserfs 3.x rozhodne nestaci. Proto pouzivam xfs a jsem spokojen. (s volbou atime a bez jsem nepozoroval vykonnostni narust). ps: v kombinaci s courier imap dosahnes nejvetsiho vykonu. ps2: koukam po nejakem zivem db reseni ,treba http://www.oryx.com/mailstore/man/ ps3: poradi mi nejkdo jak se zbavit poznamek v xml pomoci sedu? :-]

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.