abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 18:00 | IT novinky

Počítačová hra Doom slaví 25 let. Společností id Software ji vydala 10. prosince 1993. Zahrát si ji lze například na Internet Archive.

Ladislav Hagara | Komentářů: 3
včera 23:55 | Zajímavý článek

Nakladatelství Raspberry Pi vydalo 244 stránkového průvodce pro úplné začátečníky s jednodeskovým počítačem Raspberry Pi The Official Raspberry Pi Beginner’s Guide (pdf). Programování ve visuálním programovacím jazyce Scratch je věnována nová příručka Code Club Book of Scratch Volume 1 (pdf). Vydáno bylo také třetí číslo časopisu věnovaného počítačovým hrám Wireframe (pdf).

Ladislav Hagara | Komentářů: 0
včera 23:44 | Nová verze

U příležitosti oslav jednoho roku prací na debianím balíčku, vyšlo GPXSee 7.0. Nová verze přináší zejména podporu vektorových map (Mapbox PBF) pomocí nově vzniklého Qt pluginu.

Martin Tůma | Komentářů: 7
7.12. 23:33 | Nová verze

UBports, nadace a komunita kolem Ubuntu pro telefony a tablety Ubuntu Touch (seznam podporovaných zařízení), oznámila vydání nové verze Ubuntu Touch OTA-6. Zdůrazněna jsou například vylepšení webového prohlížeče Morph.

Ladislav Hagara | Komentářů: 0
7.12. 21:33 | Komunita

Richard Hughes na svém blogu informuje, že se společnost AMI (American Megatrends Incorporated), největší dodavatel firmwarů a BIOSů (AMIBIOS, Aptio, ...), zapojila do projektu LVFS (Linux Vendor Firmware Service). Seznam projektem podporovaných zařízení by se měl tedy časem rozšířit.

Ladislav Hagara | Komentářů: 0
7.12. 20:11 | Komunita

Nadace pro svobodný software (FSF) informuje, že seznam doporučených svobodných distribucí GNU/Linuxu byl rozšířen o distribuci Hyperbola GNU/Linux-libre. Hyperbola vychází z Arch Linuxu a na rozdíl od něj splňuje požadovaná kritéria.

Ladislav Hagara | Komentářů: 6
7.12. 19:55 | IT novinky

Společnost Valve oznámila, že počítačová hra Counter-Strike: Global Offensive (Steam) je nově free to play. Hra Company of Heroes 2 (Steam) je do pondělí 10. prosince zdarma.

Ladislav Hagara | Komentářů: 0
7.12. 00:11 | Nová verze

Byla vydána verze 7.3.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.3. Podrobný přehled novinek v seznamu změn.

Ladislav Hagara | Komentářů: 3
6.12. 23:55 | Nová verze

Byla vydána verze 1.31 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 0
6.12. 23:40 | Zajímavý článek

V roce 2015 Microsoft s Windows 10 představil i jeho nový prohlížeč Edge, který používal a používá nový engine EdgeHTML. Před pár dny se začaly objevovat zprávy o přechodu na Chromium engine. Nyní Microsoft vydal oficiální vyjádření, kde skutečně potvrdil přechod na Chromium projekt.

Max | Komentářů: 30
Chystáte se přejít na Wayland na „desktopu“?
 (25%)
 (7%)
 (11%)
 (31%)
 (26%)
Celkem 100 hlasů
 Komentářů: 14, poslední dnes 12:19
Rozcestník

Dotaz: Velké množství souborů vs. souborový systém

6.12. 07:56 jan.rok | skóre: 18
Velké množství souborů vs. souborový systém
Přečteno: 888×
Rád bych přesunul poštovní server Kerio Connect z Windows Serveru na linux (Debian nebo Redhat jsou podporované). Důvodem je výměna hardware. Poštovní server obsahuje mailboxy, které mají velké množství souborů (co mail, to soubor) a práce z klientem Outlook je již velmi pomalá. Je to asi zapříčiněno tím, že maily jsou povětšinou v několika málo složkách a počty jsou opravdu velké (typicky až 100 000 mailů např. v Doručené poště). Zajímalo by mě, který souborový systém by si s takovou hrůzou poradil nejlépe?

Samozřejmě nejschůdnějším řešením je donutit uživatele poštu více segmentovat, ale z mnoha důvodů (lidský faktor a byrokracie) to nelze.

Moje otázka je tedy spíše teoretická, protože podobná situace může nastat třeba i při sběru nějakých dat, kdy program zapisuje data do mnoha malých souborů a práce s takovým objemem pak začne být nepohodlná.

Jak se to tedy vlastně řeší? Někde jsem četl, že třeba NTFS začne mít výrazné problémy při víc jak 3000 souborech ve složce.

Díky za názory. JR.

Odpovědi

6.12. 09:18 Kit | skóre: 42 | Brno
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Podle mých zkušeností si s takovým množstvím souborů skvěle poradí ReiserFS (který na to byl navržen) i Ext4.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
6.12. 10:08 V.
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Dík za připomenutí, že pořád stojí za to zůstávat u reiseru :-)
6.12. 10:30 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Také máme v maildiru běžně 100k mailů/souborů, pro server mi to nepřijde nijaká zásadní zátěž (dovecot/IMAPS). Běží na XFS, mdraid10, samozřejmě dostatek paměti, aby si jádro drželo strukturu adresářů v keši.
6.12. 11:20 Jurasek
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém

Zdar,

jak to pak zalohujete, kdyz mate treba 1TB posty v maildirech co maji 100k mrnavych souboru ? Myslim nejaky zalohovaci SW /Bareos,NetWorker/ jake je casove okno zalohovani, kdyz se delaji treba inkrementalni zalohy a porovnava se co je v zaloze a co na disku.

Dik a zdar.

Jura

6.12. 12:34 MP
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Obecne spatne. Na neco takoveho je incremental MUST HAVE (idealne Always Incremental) a pripadne to podporit SSD. Nebo snapshoty. Jina cesta neni.

Z hlediska casu a vykonu je nejlepsi metodou snapshoty na urovni. U nas se zatim pouziva Bareos a full trva pri ~350GB na 8xSAS raidu cca 10h...A v jednom adresari jsem nasel i 500k souboru...
6.12. 12:56 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Již 15 let obyčejným backuppc. Je pravda, že neumí vyřešit změny maildiru během zálohování (nemá snapshoty a časové zálohovací okno je poměrně dlouhé), ale ještě se mi nestalo, abych smazaný mail v zálohách nedohledal.

Dneska bych již nic jiného než ZFS na nový server nepoužil. Bohužel většina našich instalací je legacy, tam se musí postupně :-)
6.12. 14:01 jan.rok | skóre: 18
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Samotný server s tím množstvím problém nemá, spíš klient (Outlook).

Záloha běží denně rozdílová (to trvá chvíli) a pak o víkendu full backup (to je asi kolem 8 hodin). Vše zajišťuje Kerio Connect sám (myslím, že je to nějaký zip na NAS, celkem asi 400 GB).
6.12. 14:27 dustin | skóre: 61 | blog: dustin
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Taky bych si tipnul, že urychlením serveru nepořešíš pomalého klienta.
Pavel 'TIGER' Růžička avatar 7.12. 10:20 Pavel 'TIGER' Růžička | skóre: 45
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Outlook je mula líná, protože pst. Přes to vlak nejede. Obdivuji firmy, kde jej používají.
6.12. 20:05 GeorgeWH | skóre: 38
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Ja som mal s XFS a mailovym serverom problem. Presuvanie radovo uz 100-viek mailov v Roundcube mu trvalo dlho. Po prehodeni na ext3 to uz bolo ok. Pokial sa dobre pamatam, tak XFS je vhodne skor na velke subory ako na male.
6.12. 20:18 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Kedy, v ktorom roku si prosím ťa použil ext3, a nie ext4?

Bez urážky, len či sa jedná o aktuálnu skúsenosť a nie o nejakú spomienku z mladosti z pred 10 rokov.
6.12. 22:06 GeorgeWH | skóre: 38
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Ano je to uz par rokov, ale zrejme je to stale aktualne.

https://unix.stackexchange.com/questions/28756/what-is-the-most-high-performance-linux-filesystem-for-storing-a-lot-of-small-fi

https://www.unidata.ucar.edu/mailing_lists/archives/ldm-users/2016/msg00161.html
7.12. 09:31 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Pýtal som sa že prečo EXT3 a nie EXT4, a doplním že EXT4 bol prehlásený za stabilný pred desiatimi rokmi. V tvojich linkoch som nikde nevidel spomenúť EXT3. A navyše, ak máš fragmentované súbory, tak budeš limitovaný IOPS blokového zariadenia a veľkosťou diskovej cache (vrátane RAMky s baterkou na radiči). FS s tým veľmi nepohne, ak ho nejakým spôsobom nedefragmentuješ. Kľudne aj migráciou na nový mountpoint ako si to urobil ty.
7.12. 10:30 Milan Lasica
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Pýtal som sa
Jen to Peter asi neprešlo pres hranice.
7.12. 15:10 Semo | skóre: 44 | blog: Semo
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Ext3 je tiez stable a pri malych suboroch pravdepodobne ani nevyuzijes Ext4 efektivnejsi sposob alokovania miest cez extenty. Takze si myslim, ze na mailserver nie je Ext 3 ziadnou chybou, hoci nie je jedinou volbou. (A ja osobne by som tam dal ReiserFS).
If you hold a Unix shell up to your ear, you can you hear the C.
7.12. 17:29 Aleš Kapica | skóre: 48 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Jsou situace, kdy je ext3 rozhodně lepší volba než ext4.
7.12. 18:39 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Mňa to zaujímalo z časového horizontu.

To že sú situácie keď je lepšou voľbou dokonca EXT2 je tiež pravda, až pokiaľ nie je treba spustiť fsck ktorý už bez žurnálu moc nefunguje. Už som sa na tom spálil.
včera 00:00 Chulda | skóre: 20
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
To by mě zajímalo kdy, když se bavíme o velkém množství malých souborů v adresáři.

Skoro 1mio malých souborů v jednom adresáři na ext3 spolehlivě zaměstnalo server na 8h při fsck (SAS). Přesun na SSD to zlepšil, ale pořád šlo o hodiny (přičemž pokud jde o IOPS, tak SAS měl tisíce a SSD deseti tisíce)

Ext4 už byla výrazně rychlejší (tuším šlo o pár desítek minut na SSD, ale už nešlo o stejné podmínky)

Kdysi jsem měl link, který porovnával identickou situaci na ext3 a ext4 a rozdíl byl skoro řádový.
včera 00:46 alkoholik | skóre: 37 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
To zni skoro jako chybejici dir_index.
včera 08:30 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
A ten bol až v EXT4.
včera 10:57 alkoholik | skóre: 37 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Ne, nebyl. Chces se hadat nebo rovnou priznas, ze tu vesis novackum buliky na nos?
včera 12:15 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
citacion needed.
včera 12:26 alkoholik | skóre: 37 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
včera 19:28 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Vo východzej konfigurácii? Nie, to bolo vo východzej konfigurácii zapnuté až v EXT4.
včera 20:08 alkoholik | skóre: 37 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
A o vychozi konfiguraci tu mluvil kdo?
Uz si vzpominam, proc mam Golise mezi zablokovanymi. Mele kraviny.
včera 20:13 alkoholik | skóre: 37 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
BTW: Pro Debian:
What are the default option for Ext3 partitions in Lenny? ext_attr resize_inode dir_index filetype sparse_super large_file (See /etc/mke2fs.conf. Read the docs for the flags meaning)
dnes 09:29 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
A spomínal tu niekto že mu to pred neznámym počtom rokov nefungovalo s dostatočnou rýchlosťou na XFS, ale že mu to išlo po mmigrácii na EXT3?

Skús si nabudúce prečítať na čo reaguješ.
dnes 10:20 alkoholik | skóre: 37 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
O cem je tohle vlakno?

Skoro 1mio malých souborů v jednom adresáři na ext3 spolehlivě zaměstnalo server na 8h při fsck (SAS). Přesun na SSD to zlepšil, ale pořád šlo o hodiny (přičemž pokud jde o IOPS, tak SAS měl tisíce a SSD deseti tisíce)

Ext4 už byla výrazně rychlejší (tuším šlo o pár desítek minut na SSD, ale už nešlo o stejné podmínky)

Kdysi jsem měl link, který porovnával identickou situaci na ext3 a ext4 a rozdíl byl skoro řádový.

Ja na to reagoval, ze tohle neni normalni chovani a vypada to, ze mu chybel dir_index.
Ty asi budes vazne dementni a nema smysl s tebou ztracet cas.
Jenom prosim nesir dalsi bludy, protoze to tu ctou i zacatecnici a budou zmateni.
dnes 19:16 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Spomínaš pôvodnú otázku, nie vlákno o Roundcube s presunom z XFS na iný FS.
dnes 10:26 Bohyně Gaia
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Uz si vzpominam, proc mam Golise mezi zablokovanymi. Mele kraviny.
+1
včera 12:10 pavele
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Ext4 sice byl prohlášený za stabilní před 10 lety, ale není to tak dávno, co měl velké problémy třeba na KVM.

Dnes bych už volil ext4, ext3 nebo ext2 nebo Raiser taky není špatná volba.

Nevolil bych xfs, které se mi zdálo celkově pomalejší - ale má zase jiné features vhodné pro Sambu.

Stejně je nejlepší si vše otestovat a optimalizovat pro konkrétní použití. :-)
6.12. 15:17 debian+
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
v ext4 som mal 2 miliony priecninkov v zlozke. Co sa tyka citania/zapis/exist_file_in_subdir(), je to rychle. Pomalsie bolo uz vypis - list_dir trval 2 s a sort trval 6 sekund ... nebol som len nadseny, ze ked mazalo zlozky po jednom, tak ci tam bola 2 miliony alebo 2 000, vzdy zmazalo len cca 100 za s (odchylka 100%).
6.12. 16:39 x14
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
jen dodávám, že priečinok = zložka :-)
6.12. 18:26 Peter Golis | skóre: 57 | Bratislava
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Len dodávam, že zložka = adresár :-)
6.12. 18:30 jan.rok | skóre: 18
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Zkusil jsem si cvičně vygenerovat asi 100 tisíc malých mailů a webový klient s tím problém nemá. Asi bude potíž opravdu v Outlooku.
7.12. 10:36 youtuber
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
a priecninko?
7.12. 12:59 debian+
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
preklep - spravne priecinkov
7.12. 19:07 youtuber
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Máš smysl pro ironii, chvalím.
6.12. 20:43 lertimir | skóre: 62 | blog: Par_slov
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
No 100 souborů za sekundu asi odpovídá. Musíš smazat "alokační strukturu" tedy informaci které obsazené sektory disku se operací uvolnily, a záznam v adresáři. Když jedeš journal FS, což ext4 je, tak nejdříve se operace zapíše do žurnálu a pak se teprve provede. A normální 7200rpm disk se otočí 120 za sekundu takže s nějakou pravděpodobností rozložení sektorů se dostaneš na nějakých 200-300 IOPS max. A 2-3 IOPS potřebuješ na smazání.
6.12. 22:11 debian+
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Zurnal som nevypol (to mi vtedy nenapadlo).
Pavel 'TIGER' Růžička avatar 7.12. 17:42 Pavel 'TIGER' Růžička | skóre: 45
Rozbalit Rozbalit vše Re: Velké množství souborů vs. souborový systém
Já osobně jsem věrný extX a i když občas došlo na nějaké selhání (většinou hardware), tak díky zálohám na dalších discích jsem nikdy nepřišel o žádná data. Dnes mám všechny produkční stroje na ext4 a na nic si nestěžuji.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.