abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 18:11 | Nová verze

Společnost Oracle oficiálně oznámila vydání Java SE 9 (JDK 9), Java Platform Enterprise Edition 8 (Java EE 8) a Java EE 8 Software Development Kit (SDK). Java SE 9 přináší více než 150 nových vlastností.

Ladislav Hagara | Komentářů: 0
včera 12:11 | Komunita

Na Humble Bundle lze získat hororovou počítačovou hru Outlast (Wikipedie) běžící také v Linuxu zdarma. Speciální akce končí v sobotu v 19:00.

Ladislav Hagara | Komentářů: 1
včera 10:33 | Humor

Mozilla.cz upozorňuje na Knihu Mozilly (Wikipedie), tj. velikonoční vajíčko ve Firefoxu. Zobrazit jej lze zadáním about:mozilla do adresního řádku. Aktuální verze Firefoxu obsahuje proroctví 15:1 "Dvojčata Mamonu se rozhádala a jejich souboje uvrhly svět do nové tmy. Zvířeti se ale tma hnusila. A tak se stalo mrštnější a silnější, šlo vpřed a jeho počty rostly. A zvíře přineslo oheň a světlo do tmy". Firefox 57 bude obsahovat proroctví 11:14. To je zatím jenom v angličtině. Pomoci lze s překladem do češtiny.

Ladislav Hagara | Komentářů: 9
včera 01:22 | Zajímavý projekt
Před měsícem byla spuštěna kampaň na podporu chytrého telefonu Librem 5, jenž by měl respektovat bezpečnost, svobodu a soukromí uživatelů. Cílem kampaně je vybrat alespoň milion a půl dolarů. Aktuálně je vybráno přes 600 000 dolarů, tj. 40 %. Kampaň poběží ještě další měsíc. Podporu projektu oznámilo KDE i GNOME.
Ladislav Hagara | Komentářů: 30
včera 00:55 | Komunita

Agentura DISA (Defense Information Systems Agency) publikovala (pdf) Ubuntu 16.04 Security Technical Implementation Guide (STIG) (zip), tj. doporučené bezpečnostní nastavení Ubuntu 16.04. Ubuntu se tak dostalo mezi unixové operační systémy a linuxové distribuce AIX, HP-UX, Oracle Linux, Red Hat a Solaris [reddit].

Ladislav Hagara | Komentářů: 2
21.9. 22:55 | Bezpečnostní upozornění

CSIRT.CZ informuje, že byly vydány nové bezpečnostní aktualizace, které opravují několik zranitelných míst v Sambě. Útočník může využít zranitelnosti s cílem získání přístupu k potenciálně citlivých informací. Uživatelům a správcům je doporučeno, aby zkontrolovali bezpečnostní opatření pro CVE-2017-12150, CVE-2017-12151 a CVE-2017-12163 a provedli potřebné aktualizace.

Ladislav Hagara | Komentářů: 0
21.9. 21:44 | Komunita

Společnost Red Hat aktualizovala svůj slib ohledně softwarových patentů. Slib nově zahrnuje i open source software pod permisivními licencemi.

Ladislav Hagara | Komentářů: 0
21.9. 08:55 | Komunita

Do 22. září probíhá v Mountain View konference XDC2017 (X.Org Developer's Conference). Na programu je řada zajímavých přednášek. Sledovat je lze online. K dispozici je záznam přednášek ze včerejšího dne.

Ladislav Hagara | Komentářů: 0
20.9. 17:33 | Nová verze

Byla vydána nová stabilní verze 1.12 (1.12.955.36) webového prohlížeče Vivaldi (Wikipedie). Z novinek vývojáři zdůrazňují možnost zobrazení metadat u digitálních fotografií, vylepšený panel stahování a omezení sytosti barvy zdůraznění (YouTube). Nejnovější Vivaldi je postaveno na Chromiu 61.0.3163.91.

Ladislav Hagara | Komentářů: 40
20.9. 10:55 | Nová verze

Byla vydána verze 4.0 programovacího jazyka Swift (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu. Ke stažení jsou oficiální binární balíčky pro Ubuntu 16.10, Ubuntu 16.04 a Ubuntu 14.04.

Ladislav Hagara | Komentářů: 5
Těžíte nějakou kryptoměnu?
 (5%)
 (3%)
 (17%)
 (75%)
Celkem 559 hlasů
 Komentářů: 22, poslední 29.8. 11:23
    Rozcestník

    Dotaz: Jaký filesystém pro mnoho souborů?

    Heron avatar 11.2.2006 23:57 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Jaký filesystém pro mnoho souborů?
    Přečteno: 154×
    Trápím se s následujícím problémem: mám adresář s bezmála 300 000 soubory (jedná se o maildir, soubory o velikosti do 5kB). Existuje nějaký FS, který by tohle zvládl? Otevření toho adresáře na ext3 je tak na půl hodiny. Reiserfs to nezvládá vůbec.

    Všechny pokusy o práci s těmi soubory ztroskotají na rychlosti -- rychleji než 400kB/s se číst prostě nedají.

    Kdosi mi poradil, vytvořit si na to samostatnou parition. Vytvořil jsem si dvě o velikosti 2GB (cca dvojnásobek velikosti toho maildiru) a celý den si s tím bez většího úspěchu hraju.

    Jak tohle řeší freemaily? Vždyť ty se musejí starat o stovky milionů mailů.

    Odpovědi

    wake avatar 12.2.2006 00:00 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    freemaily to maji v databazi. a totez doporucuju i tobe.
    Tento příspěvek má hlavičku i patičku!
    wake avatar 12.2.2006 00:01 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    (a samozrejme mount -o=...noatime...
    Tento příspěvek má hlavičku i patičku!
    12.2.2006 00:28 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Seš si skutečně jistý? Pokud máš nějaké reference, můžeš sem hodit odkaz?
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    wake avatar 12.2.2006 09:32 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    ehm.. no, reference nemam, ale kdyz si uvedomis, ze to, co ty mas v mailech oni maji v uzivatelich... a ze max uid je nekde kolem 65535, ...
    Tento příspěvek má hlavičku i patičku!
    Heron avatar 12.2.2006 09:45 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Taky bych tipoval, že to mají v DB. Připadá mi to docela logické.

    Co nechápu je, proč neexistuje žádný klient, který to má v "binárním" souboru. Pro Outlook (který to má ve vlastní DB), takový počet nepředstavuje problém. MBOX je nepoužitelný, maildir nad cca 100 000 souborů taky (z důvodu neefektivity FS).
    12.2.2006 10:44 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Teď jen teoretizuju, ale zkusím sehnat nějaké relevantní údaje a příklady nasazení (třeba i tady v .cz).

    Všechny emaily samozřejmě můžou být (a asi i budou) pod jedním UID, uživatelé v systému nemají shellové konto. Informace o uživatelích budou zřejmě uloženy v adresářovém serveru (LDAP).

    Zkusil jsem zatím najít nějaké informace o tom co se používá pro emaily od SUNu (hodně veliká instalace je i v české republice):

    The Java System Messaging Server can support thousands of concurrently active POP3 and IMAP4 users. In well-documented laboratory tests geared to reproducible results, the product successfully supported 125,000 concurrent, active POP3 users on a single Sun Enterprise™ 6500 server, which means that an ISP provisioned for a maximum of 10-percent active users can host a total of more than one million mailboxes on a single server, assuming a 10-percent concurrency rate.

    ...

    Each mailbox or folder is represented by another directory in its parent folder. Each message is stored as a plain text file in the MIME format. When there are many messages in a folder, hash directories are created for that folder so that the number of message files does not place a burden on the underlying file system.

    ...

    A pure database approach is also not suitable for large Message Stores. Mail messages vary wildly in size, making them a bad fit for storage in a database. Once received in the Message Store, a particular message is not modified. Only the status of the message changes over time — for example, read, answered, or deleted.

    ...

    The Message Store uses a hybrid design that combines an indexed database for storage of message header information, and flat text files for storage of message content. The use of hashed directories and a file-naming algorithm avoids problems caused by too many files in one directory.
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    12.2.2006 10:26 asd
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    wake avatar 12.2.2006 00:07 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    tak jeste jednou, poradne:

    - ta partisna je OK, dej tam reiserfs, do mount options (krom tech ostatnich) dej noatime (tedy napr:
    /dev/hdb15 /var/spool/mail reiserfs nodev,nosuid,noexec,noatime 1 2
    
    )

    - jinak pokud to s rozrustanim myslis vazne, sezen si demona, co umi maily v databazi (s postfixem AFAIK neni problem, imap/pop3 jsem pred casem pouzival, bohuzel si zaboha nevzpomenu, co to bylo za soft).

    - tak to delaji freemaily.
    Tento příspěvek má hlavičku i patičku!
    Heron avatar 12.2.2006 00:14 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    S noatime mountuju všechno.

    Ten reiserfs opravdu není OK. S tím se skutečně pracovat nedá.

    Jsou to moje osobní maily, místo daemona by se mi hodit spíš klient, který umí pracovat s DB. Každopádně díky za rady, zkusím rozběhnout ten postfix.
    Heron avatar 12.2.2006 00:25 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Tak teď jsem tam ze zoufalství dal XFS a čte se to rychlostí cca 10MB/s. Ještě zkusím co na to řekne KMail...
    Heron avatar 12.2.2006 19:59 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Takže, otázka ohledně mnoha souborů a vhodného FS vyřešena nebyla.

    Maily jsem přesunul na 2GB partišnu s ext3 (noatime, dir_index, journal_data_writeback, commit=60) a změnil mailový klient na sylpheed. Je to docela rychlé, ale divný pocit zůstává.
    12.2.2006 20:17 h7
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Ahoj, s podobnym problemem jsem se trapit taky. Staram se o mail server se 4000000 maily v maildirech. Nejvetsi maildir obsahuje 700000 mailu. Po mnoha praktickych testech jsem zjistil ,ze ext3 a reiserfs 3.x rozhodne nestaci. Proto pouzivam xfs a jsem spokojen. (s volbou atime a bez jsem nepozoroval vykonnostni narust). ps: v kombinaci s courier imap dosahnes nejvetsiho vykonu. ps2: koukam po nejakem zivem db reseni ,treba http://www.oryx.com/mailstore/man/ ps3: poradi mi nejkdo jak se zbavit poznamek v xml pomoci sedu? :-]

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.