abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 1
včera 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
včera 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 0
včera 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 4
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
6.12. 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
5.12. 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 6
5.12. 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 50
5.12. 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 10
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 796 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Jaký filesystém pro mnoho souborů?

Heron avatar 11.2.2006 23:57 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Jaký filesystém pro mnoho souborů?
Přečteno: 150×
Trápím se s následujícím problémem: mám adresář s bezmála 300 000 soubory (jedná se o maildir, soubory o velikosti do 5kB). Existuje nějaký FS, který by tohle zvládl? Otevření toho adresáře na ext3 je tak na půl hodiny. Reiserfs to nezvládá vůbec.

Všechny pokusy o práci s těmi soubory ztroskotají na rychlosti -- rychleji než 400kB/s se číst prostě nedají.

Kdosi mi poradil, vytvořit si na to samostatnou parition. Vytvořil jsem si dvě o velikosti 2GB (cca dvojnásobek velikosti toho maildiru) a celý den si s tím bez většího úspěchu hraju.

Jak tohle řeší freemaily? Vždyť ty se musejí starat o stovky milionů mailů.

Odpovědi

wake avatar 12.2.2006 00:00 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
freemaily to maji v databazi. a totez doporucuju i tobe.
Tento příspěvek má hlavičku i patičku!
wake avatar 12.2.2006 00:01 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
(a samozrejme mount -o=...noatime...
Tento příspěvek má hlavičku i patičku!
12.2.2006 00:28 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Seš si skutečně jistý? Pokud máš nějaké reference, můžeš sem hodit odkaz?
-- Nezdar není hanbou, hanbou je strach z pokusu.
wake avatar 12.2.2006 09:32 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
ehm.. no, reference nemam, ale kdyz si uvedomis, ze to, co ty mas v mailech oni maji v uzivatelich... a ze max uid je nekde kolem 65535, ...
Tento příspěvek má hlavičku i patičku!
Heron avatar 12.2.2006 09:45 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Taky bych tipoval, že to mají v DB. Připadá mi to docela logické.

Co nechápu je, proč neexistuje žádný klient, který to má v "binárním" souboru. Pro Outlook (který to má ve vlastní DB), takový počet nepředstavuje problém. MBOX je nepoužitelný, maildir nad cca 100 000 souborů taky (z důvodu neefektivity FS).
12.2.2006 10:44 Zdeněk Burda | skóre: 61 | blog: Zdendův blog | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Teď jen teoretizuju, ale zkusím sehnat nějaké relevantní údaje a příklady nasazení (třeba i tady v .cz).

Všechny emaily samozřejmě můžou být (a asi i budou) pod jedním UID, uživatelé v systému nemají shellové konto. Informace o uživatelích budou zřejmě uloženy v adresářovém serveru (LDAP).

Zkusil jsem zatím najít nějaké informace o tom co se používá pro emaily od SUNu (hodně veliká instalace je i v české republice):

The Java System Messaging Server can support thousands of concurrently active POP3 and IMAP4 users. In well-documented laboratory tests geared to reproducible results, the product successfully supported 125,000 concurrent, active POP3 users on a single Sun Enterprise™ 6500 server, which means that an ISP provisioned for a maximum of 10-percent active users can host a total of more than one million mailboxes on a single server, assuming a 10-percent concurrency rate.

...

Each mailbox or folder is represented by another directory in its parent folder. Each message is stored as a plain text file in the MIME format. When there are many messages in a folder, hash directories are created for that folder so that the number of message files does not place a burden on the underlying file system.

...

A pure database approach is also not suitable for large Message Stores. Mail messages vary wildly in size, making them a bad fit for storage in a database. Once received in the Message Store, a particular message is not modified. Only the status of the message changes over time — for example, read, answered, or deleted.

...

The Message Store uses a hybrid design that combines an indexed database for storage of message header information, and flat text files for storage of message content. The use of hashed directories and a file-naming algorithm avoids problems caused by too many files in one directory.
-- Nezdar není hanbou, hanbou je strach z pokusu.
12.2.2006 10:26 asd
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
wake avatar 12.2.2006 00:07 wake | skóre: 30 | blog: wake | Praha
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
tak jeste jednou, poradne:

- ta partisna je OK, dej tam reiserfs, do mount options (krom tech ostatnich) dej noatime (tedy napr:
/dev/hdb15 /var/spool/mail reiserfs nodev,nosuid,noexec,noatime 1 2
)

- jinak pokud to s rozrustanim myslis vazne, sezen si demona, co umi maily v databazi (s postfixem AFAIK neni problem, imap/pop3 jsem pred casem pouzival, bohuzel si zaboha nevzpomenu, co to bylo za soft).

- tak to delaji freemaily.
Tento příspěvek má hlavičku i patičku!
Heron avatar 12.2.2006 00:14 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
S noatime mountuju všechno.

Ten reiserfs opravdu není OK. S tím se skutečně pracovat nedá.

Jsou to moje osobní maily, místo daemona by se mi hodit spíš klient, který umí pracovat s DB. Každopádně díky za rady, zkusím rozběhnout ten postfix.
Heron avatar 12.2.2006 00:25 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Tak teď jsem tam ze zoufalství dal XFS a čte se to rychlostí cca 10MB/s. Ještě zkusím co na to řekne KMail...
Heron avatar 12.2.2006 19:59 Heron | skóre: 50 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Takže, otázka ohledně mnoha souborů a vhodného FS vyřešena nebyla.

Maily jsem přesunul na 2GB partišnu s ext3 (noatime, dir_index, journal_data_writeback, commit=60) a změnil mailový klient na sylpheed. Je to docela rychlé, ale divný pocit zůstává.
12.2.2006 20:17 h7
Rozbalit Rozbalit vše Re: Jaký filesystém pro mnoho souborů?
Ahoj, s podobnym problemem jsem se trapit taky. Staram se o mail server se 4000000 maily v maildirech. Nejvetsi maildir obsahuje 700000 mailu. Po mnoha praktickych testech jsem zjistil ,ze ext3 a reiserfs 3.x rozhodne nestaci. Proto pouzivam xfs a jsem spokojen. (s volbou atime a bez jsem nepozoroval vykonnostni narust). ps: v kombinaci s courier imap dosahnes nejvetsiho vykonu. ps2: koukam po nejakem zivem db reseni ,treba http://www.oryx.com/mailstore/man/ ps3: poradi mi nejkdo jak se zbavit poznamek v xml pomoci sedu? :-]

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.