abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 21:44 | Nová verze

Po roce vývoje od vydání verze 1.14.0 byla vydána nová stabilní verze 1.16.0 dle Netcraftu aktuálně nejpoužívanějšího webového serveru a reverzní proxy nginx (Wikipedie). Nová verze přináší řadu novinek. Podrobný přehled v souboru CHANGES-1.16.

Ladislav Hagara | Komentářů: 0
včera 13:44 | Zajímavý software

Termshark je Wireshark běžící v terminálu. Jedná se o nadstavbu nad tshark naprogramovanou v programovacím jazyce Go. Zdrojové kódy jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 1
včera 13:22 | Nová verze

Měsíc po vydání verze 1.16.0 byla vydána nová verze 1.18.0 sady nástrojů pro správu síťových připojení NetworkManager. Přehled novinek v souboru NEWS na GitLabu.

Ladislav Hagara | Komentářů: 1
včera 11:22 | Komunita

Linuxová distribuce Scientific Linux vycházející z Red Hat Enterprise Linuxu končí, verze 8 nebude vydána. Laboratoř Fermi (Fermi National Accelerator Laboratory), hlavní vývojáři Scientific Linuxu, přejde na CentOS 8. Scientific Linux ve verzích 6 a 7 bude nadále podporován.

Ladislav Hagara | Komentářů: 10
včera 11:11 | Pozvánky

Dubnový sraz spolku OpenAlt se koná ve čtvrtek 25. 4. 2019 v Pivovarském klubu od 18:00. Najdete jej kousek od metra Florenc na adrese Křižíkova 17°, Praha 8. Sejdeme se zase u dobrého piva a popovídáme si o tématech jako umění a technologie, IoT, CNC, svobodný software, hardware a další hračky.

xkucf03 | Komentářů: 0
21.4. 22:33 | Komunita

Byly vyhlášeny výsledky letošní volby vedoucího projektu Debian (DPL). Dnešním dnem je novým vedoucím Sam Hartman.

Ladislav Hagara | Komentářů: 9
21.4. 22:11 | Nová verze

Po čtyřech měsících od vydání verze 5.5 byla vydána verze 5.6 svobodného multiplatformního softwaru pro konverzi a zpracování digitálních fotografií primárně ve formátů RAW RawTherapee (Wikipedie). Nová verze RawTherapee je k dispozici také jako balíček ve formátu AppImage. Stačí jej stáhnout, nastavit právo ke spuštění a spustit.

Ladislav Hagara | Komentářů: 0
21.4. 00:22 | Nová verze

Byla vydána verze 1.0 svobodné multiplatformní závodní hry SuperTuxKart (STK). Přehled novinek v příspěvku na blogu. Zdůraznit lze především víceuživatelský mód umožňující hrát hru po síti. Videoprezentace nejnovější verze na YouTube.

Ladislav Hagara | Komentářů: 8
20.4. 15:55 | Komunita

Ke zhlédnutí jsou videozáznamy grafických rozhraní telefonů, zatím jenom vývojových desek, Librem 5 a PinePhone. Librem 5 za 649 dolarů by měl být aktuálně k dispozici ve třetím čtvrtletí 2019. Při spuštění kampaně se mluvilo o lednu 2019. PinePhone za 150 dolarů by měl být odesílán ve čtvrtém čtvrtletí 2019.

Ladislav Hagara | Komentářů: 0
19.4. 20:22 | Nová verze

Po dvou měsících vývoje od vydání verze 6.0.0 byla oficiálně vydána nová verze 6.1.0 správce digitálních fotografií a nově i videí digiKam (digiKam Software Collection, Wikipedie). Přehled novinek i s náhledy v oficiálním oznámení. Vývojáři zdůrazňují nové API pro rozšíření DPlugins nahrazující KIPI. Ke stažení je také balíček ve formátu AppImage. Stačí jej stáhnout, nastavit právo ke spuštění a spustit.

Ladislav Hagara | Komentářů: 0
Používáte headset pro virtuální realitu?
 (1%)
 (4%)
 (2%)
 (19%)
 (0%)
 (74%)
Celkem 227 hlasů
 Komentářů: 12, poslední 18.4. 01:19
Rozcestník

Dotaz: Jaký filesystém pro mnoho souborů?

Heron avatar 11.2.2006 23:57 Heron | skóre: 51 | blog: root_at_heron | Olomouc
Jaký filesystém pro mnoho souborů?
Přečteno: 154×
Trápím se s následujícím problémem: mám adresář s bezmála 300 000 soubory (jedná se o maildir, soubory o velikosti do 5kB). Existuje nějaký FS, který by tohle zvládl? Otevření toho adresáře na ext3 je tak na půl hodiny. Reiserfs to nezvládá vůbec.

Všechny pokusy o práci s těmi soubory ztroskotají na rychlosti -- rychleji než 400kB/s se číst prostě nedají.

Kdosi mi poradil, vytvořit si na to samostatnou parition. Vytvořil jsem si dvě o velikosti 2GB (cca dvojnásobek velikosti toho maildiru) a celý den si s tím bez většího úspěchu hraju.

Jak tohle řeší freemaily? Vždyť ty se musejí starat o stovky milionů mailů.

Odpovědi

wake avatar 12.2.2006 00:00 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
freemaily to maji v databazi. a totez doporucuju i tobe.
Tento příspěvek má hlavičku i patičku!
wake avatar 12.2.2006 00:01 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
(a samozrejme mount -o=...noatime...
Tento příspěvek má hlavičku i patičku!
12.2.2006 00:28 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Seš si skutečně jistý? Pokud máš nějaké reference, můžeš sem hodit odkaz?
-- Nezdar není hanbou, hanbou je strach z pokusu.
wake avatar 12.2.2006 09:32 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
ehm.. no, reference nemam, ale kdyz si uvedomis, ze to, co ty mas v mailech oni maji v uzivatelich... a ze max uid je nekde kolem 65535, ...
Tento příspěvek má hlavičku i patičku!
Heron avatar 12.2.2006 09:45 Heron | skóre: 51 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Taky bych tipoval, že to mají v DB. Připadá mi to docela logické.

Co nechápu je, proč neexistuje žádný klient, který to má v "binárním" souboru. Pro Outlook (který to má ve vlastní DB), takový počet nepředstavuje problém. MBOX je nepoužitelný, maildir nad cca 100 000 souborů taky (z důvodu neefektivity FS).
12.2.2006 10:44 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Teď jen teoretizuju, ale zkusím sehnat nějaké relevantní údaje a příklady nasazení (třeba i tady v .cz).

Všechny emaily samozřejmě můžou být (a asi i budou) pod jedním UID, uživatelé v systému nemají shellové konto. Informace o uživatelích budou zřejmě uloženy v adresářovém serveru (LDAP).

Zkusil jsem zatím najít nějaké informace o tom co se používá pro emaily od SUNu (hodně veliká instalace je i v české republice):

The Java System Messaging Server can support thousands of concurrently active POP3 and IMAP4 users. In well-documented laboratory tests geared to reproducible results, the product successfully supported 125,000 concurrent, active POP3 users on a single Sun Enterprise™ 6500 server, which means that an ISP provisioned for a maximum of 10-percent active users can host a total of more than one million mailboxes on a single server, assuming a 10-percent concurrency rate.

...

Each mailbox or folder is represented by another directory in its parent folder. Each message is stored as a plain text file in the MIME format. When there are many messages in a folder, hash directories are created for that folder so that the number of message files does not place a burden on the underlying file system.

...

A pure database approach is also not suitable for large Message Stores. Mail messages vary wildly in size, making them a bad fit for storage in a database. Once received in the Message Store, a particular message is not modified. Only the status of the message changes over time — for example, read, answered, or deleted.

...

The Message Store uses a hybrid design that combines an indexed database for storage of message header information, and flat text files for storage of message content. The use of hashed directories and a file-naming algorithm avoids problems caused by too many files in one directory.
-- Nezdar není hanbou, hanbou je strach z pokusu.
12.2.2006 10:26 asd
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
wake avatar 12.2.2006 00:07 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
tak jeste jednou, poradne:

- ta partisna je OK, dej tam reiserfs, do mount options (krom tech ostatnich) dej noatime (tedy napr:
/dev/hdb15 /var/spool/mail reiserfs nodev,nosuid,noexec,noatime 1 2
)

- jinak pokud to s rozrustanim myslis vazne, sezen si demona, co umi maily v databazi (s postfixem AFAIK neni problem, imap/pop3 jsem pred casem pouzival, bohuzel si zaboha nevzpomenu, co to bylo za soft).

- tak to delaji freemaily.
Tento příspěvek má hlavičku i patičku!
Heron avatar 12.2.2006 00:14 Heron | skóre: 51 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
S noatime mountuju všechno.

Ten reiserfs opravdu není OK. S tím se skutečně pracovat nedá.

Jsou to moje osobní maily, místo daemona by se mi hodit spíš klient, který umí pracovat s DB. Každopádně díky za rady, zkusím rozběhnout ten postfix.
Heron avatar 12.2.2006 00:25 Heron | skóre: 51 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Tak teď jsem tam ze zoufalství dal XFS a čte se to rychlostí cca 10MB/s. Ještě zkusím co na to řekne KMail...
Heron avatar 12.2.2006 19:59 Heron | skóre: 51 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Takže, otázka ohledně mnoha souborů a vhodného FS vyřešena nebyla.

Maily jsem přesunul na 2GB partišnu s ext3 (noatime, dir_index, journal_data_writeback, commit=60) a změnil mailový klient na sylpheed. Je to docela rychlé, ale divný pocit zůstává.
12.2.2006 20:17 h7
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Ahoj, s podobnym problemem jsem se trapit taky. Staram se o mail server se 4000000 maily v maildirech. Nejvetsi maildir obsahuje 700000 mailu. Po mnoha praktickych testech jsem zjistil ,ze ext3 a reiserfs 3.x rozhodne nestaci. Proto pouzivam xfs a jsem spokojen. (s volbou atime a bez jsem nepozoroval vykonnostni narust). ps: v kombinaci s courier imap dosahnes nejvetsiho vykonu. ps2: koukam po nejakem zivem db reseni ,treba http://www.oryx.com/mailstore/man/ ps3: poradi mi nejkdo jak se zbavit poznamek v xml pomoci sedu? :-]

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.