Jaderné noviny – 26. 1. 2012: Významná vylepšení XFS (diskuse)

[Aleš Kapica]

Na druhou stranu jsou funkce pro spolehlivost v btrfs dobře navrženy a btrfs je na tom dobře z hlediska zvládání budoucích velkých úložišť.

To tedy jsou. Vizte můj poslední blogpost - Šoupání s daty. Mimochodem ty co jej četli bych rád upozornil na jeho update, kde jsou uvedeny konkrétní časy. Jednoznačně z nich plyne, že nemá smysl dělat mixované pole z disků SATA II a SATA III. Pokud má vaše deska SATA III a chcete si sestavit pole, tak se teď vyplatí investovat pouze do SATA III disků a ty starší pak věnovat někomu, kdo tuto podporu nemá.

Tyto jaderné noviny vznívají jako vyložené PR pro XFS a ext4. Což mě nepřekvapuje. Já mám ext4 použité momentálně na systémovém SSD disku a už jsem měl tu čest vidět při výpisu místo práv sérii otazníčků. Takže děkuji, ale na cennější data volím raději experimentální btrfs, u kterého jsem se s něčím podobným za celou dobu co jej používám nesetkal.

Bohužel pro obšírnější testy, na jejichž základě by bylo možné na tomto poli otestovat další aspekty různých FS, tak jak jsou zmiňovány výše, na reálných datech, nemám především dostatečný diskový potenciál. Porty by se ještě našly.

[sachy]

Budoucí velká úložiště... fajn, ale co malá úložiště, struktury s velkým množstvým malých souborů (ad kernel na 160 GB WTF)?

[Radovan Garabík]

Reiserfs. Používam na 16TB filesystém s množstvom malých súborov.

[Aleš Kapica]

Měl bych jeden dotaz. Jak dlouho trvá fsck nad takto velkým souborovým systémem?

[Pindal]

No schválně jestli měl odvahu na to ten fsck pustit

[Aleš Kapica]

Možná jo. A stále ještě běží..

Samozřejmě, je to hloupý pokus o vtip, ale z vlastní zkušenosti soudím, že to musí být nekonečná operace.

[kralyk z abclinuxu]

Pouštět reiserfsck nad 16TB malých souborů? To už je bezpečnější žonglovat pochodněmi na benzínce...

[Aleš Kapica]

Tak to bych se silně hádal. Ona ta kontrola by sice nejspíš trvala velmi dlouho, ale nepochybuji, že by dopadla s výsledkem lepším než u systémů ext. Používám jej na nejrůznějších strojích už dost dlouho a je (alespoň z mého pohledu) poměrně robustní a bezpečný. Má jen jednu pihu na kráse a to že se z principu moc nehodí pro SSD disky.

[kralyk z abclinuxu]

Podle pokusů co jsem pře časem prováděl je výsledek srovnatelný, s mírnou převahou ext do verze 3 v některých případech... Nicméně já jsem narážel na naprosto příšerné ovládání/rozhraní riserfsck...

[Bedňa]

Na Reiser mi nešahaj

[Gilhad]

Obávám se, že problém reiseru spočívá teď hlavně v tom, že už na něj málokdo šahá ...

[Bedňa]

Je tak dobrý, že každé zlepšenie by bolo krokom späť.

[kralyk z abclinuxu]

btrfs je na tom dobře z hlediska zvládání budoucích velkých úložišť

No jistě. Jen co zlevní disky

[Aleš Kapica]

No. Já myslím že to zase tak tragické není. Jistě. Jsou dražší než loni. Pro mne byl důvod proč jsem je nekoupil nové disky už loni ten, že jsem na ně jednak neměl a disky se SATA III za rozumnou cenu tehdy nebyly k sehnání vůbec. 4x2TB co jsem nedávno koupil vyjde zhruba na 14 litrů. Což mi zase tak tragické nepřijde. S ohledem na předpokládanou životnost je ta částka přijatelná. I když je to pole poskládané z disků, u nichž se předpokládá vyšší pravděpodobnost výskytu chyb, mám za to, že rozumný souborový systém by si s tím měl umět poradit.

[Michal]

Předpokládám že to bude RAID5 takže 6TB - můžu se zeptat k čemu je dobré tak velké pole? Vůbec netuším čím bych ho nějak smysluplně zaplnil. Ve firmě máme 1TB SAS a i se spoustou VMs které provozujeme je tam pořád místa habaděj. U jednoho zákazníka, což je středně velký ISP/telco, zabírá jejich Oracle databáze necelých 1.5TB a to tam mají mimo jiné data o všech uskutečněných hovorech za posledních 10 let. U jiného zákazníka - nemocnice - se staráme o Oracle na 3TB poli. Na to stejné pole se ukládají i snímky z rentgenů a CT a podobně a pořád je tam místo.

Ve tvém případě to chápu tak že máš 6TB pro soukromé použití - co tam prosímtě budeš ukládat??? To nemyslím jako prudění, fakt mě to zajímá, protože sám si nedovedu představit že bych v současné době dokázal něco podobného smysluplně využít.

[Lol Phirae]

Ve tvém případě to chápu tak že máš 6TB pro soukromé použití - co tam prosímtě budeš ukládat???

Sbírka porna na 4 roky dopředu v DVD kvalitě?

[Aleš Kapica]

To je takový problém si kliknout na výše uvedený dotaz a všechno se dozvědět? Není to raid5 ale raid6, pole nemá 6TB, ale 3,7TB a mám na něm komplet všechna data za x let nazpět.

[Lol Phirae]

a mám na něm komplet všechna data za x let nazpět.

Takže to péčko?

[Aleš Kapica]

K péčku se mohu náhodou vyjádřit celkem přesně - 2,1 GB. Vyhrazeno pro zvědavce jako ty..

[Heron]

Ve tvém případě to chápu tak že máš 6TB pro soukromé použití - co tam prosímtě budeš ukládat??? To nemyslím jako prudění, fakt mě to zajímá, protože sám si nedovedu představit že bych v současné době dokázal něco podobného smysluplně využít.

Tak ono to záleží na tom, co kdo na kompu dělá. Mě udivují komentáře jako jsou tyto. Přesto, Alešův zápisek mě vyprovokoval k tomu, abych si alespoň jeden víkend zaznamenal co kolik místa spotřebuje:

Sám mám celkem asi 5TB storage prostoru (na různých kompech, ne v celku) a zaplnit to opravdu není problém. Konkrétní případ z jedný lednový soboty. Přepadla mě můza, vyběhl jsem s foťákem s vidinou udělat nějaká panoramata. Jeden obrázek v TIFF (hugin nebere CR2) má cca 90MB. Za hoďku focení to máš 100 fotek (pro záběry z různých míst), tj nějakých 9GB dat + další místo na zpracování, zkrátka za jednu jedninou "foto seanci" tj cca 15GB dat. Druhej den jsem se pokoušel o cosi v Audacity a adresář s projektem (2h mluveného slova, pokus o podcast) má taky nějakých 10GB. Tj celkem 25GB vlastních dat za jeden víkend...

Opravdu není problém vlastními daty zaplnit xTB pole.

[cronin]

Problém s veľkým miestom, ktoré zaberajú fotky, ako aj zvýšenie ich umeleckej kvality účinne rieši fotenie na celuloid.

[Aleš Kapica]

No. Prosil bych nohama trochu na zem. Realita je už dávno jinde.

Fotky zabírají opravdu hodně. Většina našich fotek na kompu totiž nejsou většinou naší provenience, ale digi fotky co od ostatních účastníků společných akcí. A ti zrovna úsporně nefotí. Naše mamka fotí právě na onen "celuloid", což je taky pěkně na prd, protože tu hromadu obálek s negativy nejspíš hned tak někdo nesetřídí. natož ještě aby ji popsal.

[Heron]

Navíc těch cca 10 000 fotek by na filmu zabíralo daleko více místa, než ekvivalentní fyzická velikost HDD.

Takže (i když to tak cronin nemyslel), problém s místem by se prohloubil.

Žádný problém s digitálním místem není. Je to ten o vhodném case pro naskládání disků.

[cronin]

Myslel som to samozrejme s nadsádzkou. Hlavný "brzdný" účinok celuloidu je v tom, že každý záber stojí reálne vyčísliteľné a nie zanedbateľné peniaze, takže človek si sakra dobre rozmyslí, kým stlačí spúšť.

[Aleš Kapica]

To je ovšem věc fotografa. Většinou to ale vypadá tak, že se nám sejdou fotky tak cca od 5-6 lidí. Není čas je přebírat, tak se to nasype do jednoho chlíva s tím že až se někdy najde čas, tak se to přebere. Ten čas ovšem většinou není. S ohledem na cenu mého volného času je tedy částka za 3,7TB pole úplný pakatel.

Možná, až jednou zase nebudu mít práci, tak dojde na přebrání těch věcí. Zase bude místa dost a nebude potřeba koupit větší disky.

[Michal]

Chápu. Takže až doma budeš mít takový bordel že nebude kam šlápnout tak si prostě koupíš větší byt ;)

[Heron]

Hloupější přirovnání snad vymyslet nelze. Zatímco byt má stále stejnou velikost a pořízení většího stojí dost peněz navíc, tak disky se zvětšují neustále a stojí stále stejně. Nehledě na to, že jsou pořád stejně fyzicky velké čí spíše se zmenšují.

[Voty]

Jistě, jak jinak. Tedy jen co čas nutný na přestěhování bude cca 1 hodina a z měsíční výplaty si budu moct koupit několik bytů :)

[Jakub Lucký]

co bytů, ale megabytů! nebo dokonce gigabytů

[Bedňa]

Z mesačnej výplaty si môžeš kúpiť nielen pár bytov, ale aj Giga bytov.

[Voty]

Pravda, nebo si ty giga byty můžu stáhnout z internetu zadarmo :)

[Sten]

No já měl pět let 12 × 400 GB v RAID-6, takže celková velikost byla těsně pod 4 TB, a loni se to zaplnilo — a pak se to rozpadlo, takže momentálně to spravuju (data jsou teď na dvou 4 × 1 TB RAID-5 polích). Před pěti lety byly 4 TB neuvěřitelně velká kapacita, skoro to vypadalo, že bude navždy, ale pět let je dlouhá doba a za tu dobu se tam nastřádalo hodně kódu, hodně filmů, hodně hudby, hodně fotek, hodně pošty, hodně skenů a hodně výkresů v AutoCADu. (Nicméně dost z toho jsou duplicitní data, při spravování je vyřazuji a vypadá to, že bez nich je zaplnění asi poloviční.)

[tomo]

Tusite niekto co ma znamenat limit 32GB na adresar pri XFS? Pre "chytrakov" nebude to ze do adresara nejde narvat viac ako 32GB dat :)

Inak som zvedavy co nove na poli XFS este vide, osobne som dlhorocny pouzivatel - este z dob pred linuxu, mnohe vyroky z clanku mi prisli trocha "divne" ako na priklad o tom ze rozpakovavani tarbalu mi nejako unikol, tar bezne pouzivam na svojom sgi i v linuxe a nevsimol som si ziadneho vyznamenho spomalenia (50x tazko prehliadnut ze?)pri praci nad xfs. Na sgi mam starucky Irix 6.5.26, linux momentalne hlavne 3.0 ale XFS +- zivim este od rady ~2.4.17. Suplementarne ku nemu placam ext2 i ext3, stvorka ma nejako "nevzala". A ospevovany Brtfs si zatial necham ujst - pre mna nema vyuzitie.

Taktiez pasaz "stracanie suborov" je pomerne zcestna - pravdepodobne ide o zdokumentovanu a chcenu vlastnost pri ktorej ked FS spadol (t.j. nebol uzavrety korektne) sa potencialne poskodene subory ani nezobrazovali respektyve sa zobrazili prazdne. Ma to svoju logiku pretoze podstatne lahsie takto pridete na to co pad FS zo sebou vzal (a tympadom sa to da ihned obnovit zo zalohy).

[Petr Ježek]

Škoda Reiseru4. Kdyby se seklali tvůrci všech těchto filesystémů na delší společné debatě na téma, jak za podmínky stability zrychlit práci se soubory různé velikosti na různých médiích (discích, pamětích), pak by mohl nastat rychlý posun v tom z FS, u kterého je nejlepší základ a nejvzdálenější limity. Na jedné straně se léta řeší bolest XFS s metadaty, na druhé se vyvíjí Btrfs pracující poněkud jinak.

[Aleš Kapica]

Reiser4 je mrkev. V současné době jeho nasazení již nemá absolutně žádný význam, protože to co na něm bylo zajímavé má btrfs. Plus řadu věcí navrch.

Každý FS se hodí na něco jiného. Ext systémy, přes veškeré trable co mě s nimi potkaly mají výhodu při virtualizaci v tom, že nepoužívají kompresi.

[Mrkva]

Kdyby se seklali tvůrci všech těchto filesystémů na delší společné debatě na téma

No nevím jestli jsou návštěvní podmínky a hodiny v Pleasant Valley State Prison nějaké takové debatě nakloněné :)