abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 12:33 | Humor

Byl vydán remake filmu Ghost in the Shell. Tentokrát v Bashi. Zhlédnout lze online na "ssh ghost@theshell.xyz" [Hacker News].

Ladislav Hagara | Komentářů: 10
včera 20:40 | Zajímavý článek

Lukáš Růžička v článku S Hydrogenem za lepší rytmus aneb bubeníkem snadno a rychle na MojeFedora.cz představuje automatického bubeníka s názvem Hydrogen (Wikipedie): Hydrogen je velmi vydařený program, který rozhodně nesmí chybět ve výbavě žádného linuxového muzikanta. Umožňuje nejen vytváření jednoduchých bicích doprovodů, ale také sofistikované programování bicích a perkusí, jehož výsledek se naprosto vyrovná drahým

… více »
Ladislav Hagara | Komentářů: 11
včera 13:55 | Zajímavý projekt

UPSat (Twitter) je první open source nanodružice (CubeSat). Jedná se o společný projekt nadace Libre Space Foundation a University of Patras. Repozitáře projektu jsou k dispozici na GitHubu. Pod Libre Space Foundation patří také projekt SatNOGS (zprávička), projekt globální sítě open source pozemních satelitních stanic, vítězný projekt soutěže The Hackaday Prize 2014. UPSat je součástí mise QB50 (Twitter). ID UPSatu je GR02. GPS přijímač na UPSatu je od české společnosti SkyFox Labs. Součástí mise QB50 je i česká nanodružice VZLUSAT-1 s ID CZ02.

Ladislav Hagara | Komentářů: 4
21.4. 15:00 | Komunita

V diskusním listu Thunderbird planning vývojáři poštovního klienta Thunderbird řeší, zda by nebylo možné budoucí Thunderbird postavit nad webovými technologiemi, tj. nad Electronem, stejně jako například Nylas Mail. Gecko, nad kterým je Thunderbird postaven, se má hodně změnit. V plánu je odstranění vlastností, které Firefox už nepotřebuje, ale Thunderbird je na nich závislý [Hacker News, reddit].

Ladislav Hagara | Komentářů: 94
21.4. 10:22 | Bezpečnostní upozornění

Společnost Oracle vydala čtvrtletní bezpečnostní aktualizaci svých softwarových produktů (CPU, Critical Patch Update). Opraveno bylo celkově 299 bezpečnostních chyb. V Oracle Java SE je například opraveno 8 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 7 z nich. V Oracle MySQL je opraveno 39 bezpečnostních chyb. Vzdáleně zneužitelných bez autentizace je 11 z nich.

Ladislav Hagara | Komentářů: 8
21.4. 10:00 | Pozvánky

V úterý 25. dubna proběhne další Prague Containers Meetup. Přijďte se nechat inspirovat jak zlepšit build/delivery pipeline vašich kontejnerových aplikací.

little-drunk-jesus | Komentářů: 2
20.4. 21:33 | Komunita

Na Launchpadu se objevilo kódové jméno následující verze Ubuntu. Ubuntu 17.10 bude Artful Aardvark (mazaný hrabáč) [OMG! Ubuntu!].

Ladislav Hagara | Komentářů: 11
20.4. 20:11 | Zajímavý software

MojeFedora.cz informuje, že společnost Nylas oznámila vydání verze 2.0 poštovního klienta Nylas Mail (původně Nylas N1), která již plně podporuje Linux. Obchodní model společnosti je tzv. open core. Samotný klient je open source, ale uživatel si musí připlatit za některé pokročilé funkce. V základu se lze připojit k GMailu nebo libovolnému účtu přes IMAP. Podpora Exchange je pouze v placené verzi. Klient je napsaný nad Electronem.

Ladislav Hagara | Komentářů: 12
20.4. 15:55 | Zajímavý článek

České centrum pro investigativní žurnalistiku (ČCIŽ) publikovalo na svých stránkách článek s názvem Je česká státní správa „rukojmím Microsoftu“?. Drtivá většina české veřejné správy je závislá na výrobcích softwarového gigantu Microsoft – a nijak zvlášť jí to nevadí.

Ladislav Hagara | Komentářů: 21
20.4. 02:48 | Nová verze

Google Chrome 58 byl prohlášen za stabilní. Nejnovější stabilní verze 58.0.3029.81 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo 29 bezpečnostních chyb. Mezi nimi i chyba umožňující phishing s unicode doménami.

Ladislav Hagara | Komentářů: 0
Chystáte se pořídit CPU AMD Ryzen?
 (4%)
 (35%)
 (0%)
 (7%)
 (45%)
 (10%)
Celkem 283 hlasů
 Komentářů: 32, poslední dnes 12:24
    Rozcestník

    Dotaz: Jaký filesystém pro mnoho souborů?

    Heron avatar 11.2.2006 23:57 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Jaký filesystém pro mnoho souborů?
    Přečteno: 153×
    Trápím se s následujícím problémem: mám adresář s bezmála 300 000 soubory (jedná se o maildir, soubory o velikosti do 5kB). Existuje nějaký FS, který by tohle zvládl? Otevření toho adresáře na ext3 je tak na půl hodiny. Reiserfs to nezvládá vůbec.

    Všechny pokusy o práci s těmi soubory ztroskotají na rychlosti -- rychleji než 400kB/s se číst prostě nedají.

    Kdosi mi poradil, vytvořit si na to samostatnou parition. Vytvořil jsem si dvě o velikosti 2GB (cca dvojnásobek velikosti toho maildiru) a celý den si s tím bez většího úspěchu hraju.

    Jak tohle řeší freemaily? Vždyť ty se musejí starat o stovky milionů mailů.

    Odpovědi

    wake avatar 12.2.2006 00:00 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    freemaily to maji v databazi. a totez doporucuju i tobe.
    Tento příspěvek má hlavičku i patičku!
    wake avatar 12.2.2006 00:01 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    (a samozrejme mount -o=...noatime...
    Tento příspěvek má hlavičku i patičku!
    12.2.2006 00:28 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Seš si skutečně jistý? Pokud máš nějaké reference, můžeš sem hodit odkaz?
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    wake avatar 12.2.2006 09:32 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    ehm.. no, reference nemam, ale kdyz si uvedomis, ze to, co ty mas v mailech oni maji v uzivatelich... a ze max uid je nekde kolem 65535, ...
    Tento příspěvek má hlavičku i patičku!
    Heron avatar 12.2.2006 09:45 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Taky bych tipoval, že to mají v DB. Připadá mi to docela logické.

    Co nechápu je, proč neexistuje žádný klient, který to má v "binárním" souboru. Pro Outlook (který to má ve vlastní DB), takový počet nepředstavuje problém. MBOX je nepoužitelný, maildir nad cca 100 000 souborů taky (z důvodu neefektivity FS).
    12.2.2006 10:44 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Teď jen teoretizuju, ale zkusím sehnat nějaké relevantní údaje a příklady nasazení (třeba i tady v .cz).

    Všechny emaily samozřejmě můžou být (a asi i budou) pod jedním UID, uživatelé v systému nemají shellové konto. Informace o uživatelích budou zřejmě uloženy v adresářovém serveru (LDAP).

    Zkusil jsem zatím najít nějaké informace o tom co se používá pro emaily od SUNu (hodně veliká instalace je i v české republice):

    The Java System Messaging Server can support thousands of concurrently active POP3 and IMAP4 users. In well-documented laboratory tests geared to reproducible results, the product successfully supported 125,000 concurrent, active POP3 users on a single Sun Enterprise™ 6500 server, which means that an ISP provisioned for a maximum of 10-percent active users can host a total of more than one million mailboxes on a single server, assuming a 10-percent concurrency rate.

    ...

    Each mailbox or folder is represented by another directory in its parent folder. Each message is stored as a plain text file in the MIME format. When there are many messages in a folder, hash directories are created for that folder so that the number of message files does not place a burden on the underlying file system.

    ...

    A pure database approach is also not suitable for large Message Stores. Mail messages vary wildly in size, making them a bad fit for storage in a database. Once received in the Message Store, a particular message is not modified. Only the status of the message changes over time — for example, read, answered, or deleted.

    ...

    The Message Store uses a hybrid design that combines an indexed database for storage of message header information, and flat text files for storage of message content. The use of hashed directories and a file-naming algorithm avoids problems caused by too many files in one directory.
    -- Nezdar není hanbou, hanbou je strach z pokusu.
    12.2.2006 10:26 asd
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    wake avatar 12.2.2006 00:07 wake | skóre: 30 | blog: wake | Praha
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    tak jeste jednou, poradne:

    - ta partisna je OK, dej tam reiserfs, do mount options (krom tech ostatnich) dej noatime (tedy napr:
    /dev/hdb15 /var/spool/mail reiserfs nodev,nosuid,noexec,noatime 1 2
    
    )

    - jinak pokud to s rozrustanim myslis vazne, sezen si demona, co umi maily v databazi (s postfixem AFAIK neni problem, imap/pop3 jsem pred casem pouzival, bohuzel si zaboha nevzpomenu, co to bylo za soft).

    - tak to delaji freemaily.
    Tento příspěvek má hlavičku i patičku!
    Heron avatar 12.2.2006 00:14 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    S noatime mountuju všechno.

    Ten reiserfs opravdu není OK. S tím se skutečně pracovat nedá.

    Jsou to moje osobní maily, místo daemona by se mi hodit spíš klient, který umí pracovat s DB. Každopádně díky za rady, zkusím rozběhnout ten postfix.
    Heron avatar 12.2.2006 00:25 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Tak teď jsem tam ze zoufalství dal XFS a čte se to rychlostí cca 10MB/s. Ještě zkusím co na to řekne KMail...
    Heron avatar 12.2.2006 19:59 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Takže, otázka ohledně mnoha souborů a vhodného FS vyřešena nebyla.

    Maily jsem přesunul na 2GB partišnu s ext3 (noatime, dir_index, journal_data_writeback, commit=60) a změnil mailový klient na sylpheed. Je to docela rychlé, ale divný pocit zůstává.
    12.2.2006 20:17 h7
    Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
    Ahoj, s podobnym problemem jsem se trapit taky. Staram se o mail server se 4000000 maily v maildirech. Nejvetsi maildir obsahuje 700000 mailu. Po mnoha praktickych testech jsem zjistil ,ze ext3 a reiserfs 3.x rozhodne nestaci. Proto pouzivam xfs a jsem spokojen. (s volbou atime a bez jsem nepozoroval vykonnostni narust). ps: v kombinaci s courier imap dosahnes nejvetsiho vykonu. ps2: koukam po nejakem zivem db reseni ,treba http://www.oryx.com/mailstore/man/ ps3: poradi mi nejkdo jak se zbavit poznamek v xml pomoci sedu? :-]

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.