abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 01:00 | Komunita

Dnes vyjde Ubuntu 19.10 s kódovým názvem Eoan Ermine. Přehled novinek v poznámkách k vydání. Ubuntu 20.04 LTS bude Focal Fossa.

Ladislav Hagara | Komentářů: 0
včera 22:11 | Zajímavý projekt

Padesátiny Unixu lze oslavit také hrou The Unix Game aneb na unixové roury pomocí Scratche.

Ladislav Hagara | Komentářů: 0
včera 21:44 | Komunita

Vývojáři svobodného 3D softwaru Blender oznámili, že nejnovějším firemním sponzorem Blenderu je společnost Adidas. Jedná se o úroveň Corporate Silver, tj. 12 tisíc eur ročně.

Ladislav Hagara | Komentářů: 0
včera 18:22 | Komunita

V září proběhla každoroční konference Akademy komunity KDE. Nyní jsou záznamy přednášek dostupné online. Témata se dotýkají aplikací a knihoven KDE, jejich adaptaci pro různá speciální použití (vestavěná zařízení či rozšířená realita) i obecně vývoje a distribuce softwaru.

Fluttershy, yay! | Komentářů: 0
včera 09:11 | Zajímavý článek

Mozilla.cz informuje o vylepšování vlastních about: stránek Firefoxu, konkrétně o odstraňování volání funkce eval() z těchto stránek. Tyto stránky mají přístup k interním součástem Firefoxu, ale protože jsou napsané v HTML a JavaScriptu, mohou být cílem podobných útoků jako webové stránky zobrazované v prohlížeči (např. vložení cizího kódu nebo obsahu), jen s potenciálně závažnějším dopadem. Pokud by se někomu skutečně povedlo kód do

… více »
Ladislav Hagara | Komentářů: 3
včera 08:55 | Zajímavý projekt

Uživatel GitHubu joeycastillo představil The Open Book Project, jehož cílem je vytvořit open-source čtečku elektronických knih. Projekt se zatím nachází v rané fázi vývoje, už nyní ale obsahuje použitelný návrh hardware prototypu „Feather Wing“, jehož cílem má být ověření konceptu na 4,2palcovém displeji. Tento koncept je postaven na kitu Adafruit Feather M4 Express, který ovládá hlavní desku s displeji a tlačítky. Po úspěšném ověření

… více »
Bystroushaak | Komentářů: 31
včera 05:00 | Nová verze

Byla vydána verze 5.0.0 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata (Wikipedie). Přehled novinek v oficiálním oznámení a v aktualizované dokumentaci.

Ladislav Hagara | Komentářů: 0
15.10. 20:33 | Zajímavý projekt

Byly zveřejněny schémata, firmware a instrukce pro sestavení trackballu Ploopy. Ten používá Arduino, senzor PMW3360 a 1,75palcovou kouli. Zdrojové soubory jsou šířeny pod open-hardware licencí CERN a GNU GPLv3. Tvar je inspirovaný klasickým trackballem Microsoft Trackball Explorer, jehož výroba byla ukončena kolem roku 2005 bez náhrady; projekt Ploopy se k tomu ale z právních důvodů nehlásí. Již vyrobené díly je možno objednat za 200 kanadských dolarů. Další podrobnosti v příspěvcích uživatele crop_octagon na Redditu.

Fluttershy, yay! | Komentářů: 26
15.10. 20:22 | Nová verze

Vyšlo desktopové prostředí KDE Plasma 5.17. Novinkou je např. „noční režim“ (pro X11, nejen Wayland), skrytí upozornění při prezentacích (když je připojena obrazovka se stejným obrazem), lepší podpora HiDPI, optimalizace využití zdrojů a mnoho drobných zlepšení a oprav.

Fluttershy, yay! | Komentářů: 1
15.10. 12:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 169. brněnský sraz, který proběhne v pátek 18. října od 19:00 v restauraci Racek (Jungmanova 5). Před srazem proběhne v 18:00 komentovaná prohlídka nových prostor hackerspacu base48 (přístup je z Mojmírova náměstí).

Ladislav Hagara | Komentářů: 8
Kdy jste naposledy viděli počítač s připojeným běžícím CRT monitorem?
 (19%)
 (4%)
 (11%)
 (39%)
 (24%)
 (2%)
Celkem 408 hlasů
 Komentářů: 22, poslední 23.9. 08:36
Rozcestník

www.AutoDoc.Cz

Systém souborů Btrfs - úvod

7. 1. 2014 | Luboš Doležel | Jaderné noviny | 7507×

V rámci Jaderných novin na LWN.net byl zahájen nový seriál článků na téma systému souborů Btrfs. Na AbcLinuxu už dříve vyšly dva kvalitní články o Btrfs, přesto věříme, že vás tento seriál zaujme.

Obsah

Úvod

Tento systém souborů si za dobu své krátké existence prošel snad každou částí cyklu mediálního humbuku. Nějakou dobu to byl systém souborů příští generace, který měl vyřešit mnoho našich problémů; distribuce válčily, aby se ukázalo, kdo jej bude mít jako výchozí jako první. Pak se ukázalo, že všichni ti zkušení vývojáři systémů souborů si nedělali legraci, když tvrdili, že trvá celé roky, než je systém souborů dostatečně důvěryhodný na to, aby mu bylo možné svěřit důležitá data. Aktuálně je možné jít na konferenci a slyšet na Btrfs akorát samé stížnosti; vypadá to, že došlo na vystřízlivění. A než bude Btrfs opravdu připravené, tak si asi řada lidí bude myslet, že je už úplně zastaralé.

Pravda ale nemusí být tak deprimující. Vývoj Btrfs pokračuje se silným důrazem na stabilitu a výkon. Problémy jsou opravovány a uživatelé se po tomto slibném systému souborů znovu poohlížejí. Hraje si s ním více uživatelů a openSUSE v září dokonce zvažovalo, že by mohl být jako výchozí systém souborů. Situace se možná stabilizuje a možná se pomalu dostáváme do nové fáze, kde se – stále pomalu – usadí jako jeden z klíčových systémů souborů na Linuxu.

Tento článek je zamýšlen jako první díl seriálu pro uživatele, kteří by rádi zkoušeli a hráli si se systémem souborů Btrfs. Začneme se základy návrhu Btrfs a jak je vyvíjen; pak se podrobně podíváme na specifické funkce Btrfs. V tomto seriálu se ale určitě neobjeví výsledky benchmarků; ukazuje se, že řádné testování systémů souborů je obtížné; je také silně závislé na zátěži a hardwaru. Nekvalitní výsledky by nikomu nepomohly, proto to ani nebude zkoušeno.

Čím se Btrfs odlišuje?

link

Není to tak dlouho, co uživatelé Linuxu stále pracovali se systémy souborů, které se od dob Unixu moc nevyvinuly. Systém souborů ext3 například stále používá blokové ukazatele: inode každého souboru (centrální datová struktura s veškerými informacemi o souboru) obsahuje seznam ukazatelů na každý jednotlivý blok obsahující data souboru. Tento návrh fungoval dobře, pokud byly soubory malé, ale špatně škáluje: 1GB soubor by vyžadoval 256 tisíc ukazatelů na blok. Novější systémy souborů (včetně ext4) místo toho používají ukazatele na „extents“; každý extent je skupinou souvislých bloků. Jelikož se systémy souborů snaží ukládat data souvisle, ukládání na bázi extentů značně snižuje režii spojenou se správou prostoru souboru.

Btrfs samozřejmě používá extenty také. Ale značně se liší od většiny jiných systémů souborů: jde o systém souborů typu copy-on-write („COW“, kopíruj při zápisu). Kdykoliv jsou na ext4 přepisována data, nová data jsou zapsána přes stávající data na úložném zařízení, čímž je původní kopie zničena. Btrfs místo toho přesune přepisované bloky jinam v rámci systému souborů a zapíše nová data tam, takže starší kopie zůstane nedotčena.

Režim COW přináší řadu výhod. Jelikož nejsou stará data přepisována, obnova po pádech a výpadcích dodávek energie je přímočařejší; pokud nebyla transakce dokončena, pak zůstává původní stav dat (a metadat) na původním místě. Proto mimo jiné nemusí systém souborů typu COW implementovat oddělený žurnál pro získání odolnosti proti pádům.

Copy-on-write navíc nabízí zajímavé nové funkce, především pak snapshoty. Snapshot je virtuální kopie obsahu systému souborů; je možné jej vytvořit bez jakéhokoliv kopírování dat. Pokud je později změněn blok dat (buď ve snapshotu nebo v originálu), pak je tento jediný blok okopírován, zatímco původní data se nadále sdílejí. Snapshoty se mohou používat jako takový „stroj času“ nebo pro jednoduchou obnovu systému při selhání aktualizace.

Další důležitou funkcí Btrfs je vestavěný správce jednotek. Systém souborů Btrfs může pokrývat několik fyzických zařízení při různých konfiguracích RAID. Jakákoliv jednotka (sada jednoho nebo více fyzických zařízení) může navíc být rozdělena na „podjednotky“, které můžeme vnímat jako nezávislé systémy souborů sdílející společnou sadu fyzických jednotek. Btrfs tedy umožňuje spojit některá nebo všechna úložná zařízení v systému do jednoho velkého zdroje, který pak může být sdílen mezi různými systémy souborů a každý bude mít svá vlastní omezení využití.

Btrfs nabízí celou škálu dalších funkcí, které nejsou jinými linuxovými systémy souborů podporovány. Může provádět úplné kontrolní součty dat i metadat, což jej činí robustním při poškození dat hardwarem. Úplné kontrolní součty jsou ale náročné, takže se dá očekávat, že nebudou používány na mnoha místech. Data mohou být ukládána na disku v komprimované podobě. Funkce přijmi/odešli se dá mimo jiné používat jako součást mechanismu pro přírůstkové zálohování. Funkce pro online defragmentaci může za běhu systému opravit fragmentované soubory. V jádře 3.12 jsme mohli zaznamenat přidání funkce pro offline deduplikaci; hledá bloky obsahující stejná data a sdružuje je do jediné sdílené kopie. A tak dále.

Je nutné upozornit, že přístup copy-on-write není zadarmo. Je evidentně nutné provádět nějaké garbage collection (úklid nepoužívaných dat), jinak by kopie bloků rychle spotřebovaly všechno volné místo na systému souborů. Kopírování bloků může navíc zabírat více času než prosté přepsání a současně značně zvýšit spotřebu systémové paměti. Operace COW mají také tendenci fragmentovat soubory, čímž ničí kontinuální rozvržení souborů, na kterém kód systému souborů tak tvrdě pracoval. Fragmentace vadí na SSD méně než na mechanických discích, ale i v případě SSD nebude přístup k fragmentovaným souborům tak rychlý.

Takže všechna ta skvělá funkčnost obsažená v Btrfs nebude zadarmo. V mnoha situacích se administrátoři mohou rozhodnout, že režie spojená s Btrfs nevyvažuje výhody; na takových místech poslouží systémy souborů jako ext4 nebo XFS. Pro ostatní ale bude flexibilita a funkčnost nabízená Btrfs jistě dosti přitažlivá. Jakmile bude obecně přijato, že je Btrfs použitelné pro ostré nasazení, tak se asi začne objevovat na řadě systémů.

Vývoj

link

Jedna z obav, které váš redaktor LWN slyšel na chodbách během konferencí, je, že se tempo vývoje Btrfs zpomalilo. Pro ty zvědavé z vás je tu přehled počtu sad změn v kódu Btrfs v jádře, a to po přibližně ročních intervalech:

RokPočet sad změnPočet vývojářů
2008 (2.6.25—29)91342
2009 (2.6.30—33)27945
2010 (2.6.34—37)19333
2011 (2.6.38—3.2)61067
2012 (3.3—8)77363
2013 (3.9—13)67168

Tato čísla nevykazují zpomalování vývoje; během roku 2010 došlo ke zjevnému zpomalení, ale pak se stav ustálil. Při pohledu na tato čísla je ale pořeba mít pár věcí na paměti. První je, že počáteční práce představovala přidávání nových funkcí do zbrusu nového systému souborů, zatímco práce v roce 2013 zahrnuje téměř výhradně opravy. Takže velikost změn se značně zmenšila, ale dalo by se říct, že tak to má být.

Dalším důležitým bodem je to, že příspěvků od tvůrce Btrfs Chrise Masona za poslední roky jednoznačně ubylo. Částečně kvůli tomu, že pracoval na kódu btrfs-progs v uživatelském prostoru – což je práce, která není výše zohledněna – ale je také jasné, že byl vytížen dalšími pracovními záležitostmi. Bude zajímavé sledovat, jak se věci změní po přechodu Chrise a známého přispěvatele do Btrfs Josefa Bacika do Facebooku.

Abychom to shrnuli: objem nového kódu zařazovaného do Btrfs se za poslední roky jednoznačně zmenšil, ale to je dobrá zpráva pro všechny, co by brzy rádi viděli stabilní systém souborů. Na tomto systému souborů se intenzivně pracuje a je pravděpodobné, že jak se distribuce budou více poohlížet po Btrfs, tak se pozornost vývojářů ještě zvýší.

       

Hodnocení: 90 %

        špatnédobré        

Nástroje: Tisk bez diskuse

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

7.1.2014 00:26 jozko
Rozbalit Rozbalit vše ZFS ARC
Mozno by som zvazil btrfs, no pokial tomu dobre rozumiem on pouziva standardny linux read cache, ktory je oproti ARC hlupy.

Ak by bolo mozne pouzit ARC ako standardny linux read cache, tak by btrfs davalo zmysel.

Napr. teraz si linux pamata v cache iba posledne pristupnene data, kdezto ARC si pamata posledne data ako aj najcastejsie pristupovane data a sam si nastavi pomer, aby bola co najviac efektivna. V realite potom dostanete pri 20% ARC cache z velkosti disku hitrate > 90%, co je ozajstne zrychlenie.

Ak by niekto vedel ako vymenit algoritmus cache v linuxe, nech napise. Dakujem
7.1.2014 17:21 Sten
Rozbalit Rozbalit vše Re: ZFS ARC
Existuje implementace LIRS pro Linux, ale nevím, jak stabilní je
8.1.2014 09:00 Program
Rozbalit Rozbalit vše Re: ZFS ARC
Tohle ale není věc FS, ale algoritmu správy diskové cache. Linux používá (pokud vím) běžné LRU a nevím o tom, že by tady LRU nedostačovala. LRU má jen problém s "výplachem" cache při čtení velkého souboru, ale to je stav, který nastává snad jen u desktopů (a tam by zase složitější algoritmus mohl dělat jiné zajímavosti, kvůli velmi volatilní velikosti cache).
Heron avatar 8.1.2014 11:13 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: ZFS ARC
No ale u BTRFS se ta cache nechová dle očekávání.

Např když čtu soubor (dostane se do cache) a potom udělám reflink (nebo rovnou snapshot), ale tu kopii neměním (na disku oba soubory zabírají stejné bloky) tak se ta kopie stejně čte z disku. Tedy ta cache funguje na úrovni souborů a nikoliv bloků.

Když takhle dělám zálohu snapshotů, kde se bezpečně vleze do cache (4GB subvolume na 32GB RAM), tak se každý další snapshot čte opět z disku přičemž těch změn je tam minimum. Čtou se opakově tytéž bloky.
Josef Kufner avatar 8.1.2014 20:50 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: ZFS ARC
Ten výplach nastává celkem běžně u zálohování a dokáže to docela dobře zvednout vytížení celého počítače.
Hello world ! Segmentation fault (core dumped)
Jardík avatar 7.1.2014 00:50 Jardík | skóre: 40 | blog: jarda_bloguje
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Btrfs jsem před měsícem kopnul na desktop. Po 2 týdnech se mi to ale začalo zpomalovat a musel jsem to přeformátovat. Teď už to zlobí znovu, možná nějaký mount volby, či komprese a v kombinaci s ní fragmentace? Zkusil jsem i připojit s autodefrag volbou, nepomáhá. Doufal jsem, že díky kompresi se mi zrychlí čtení z disku (který je v laptopu pomalý), hlavně programy, knihovny a konfiguráky. Zrychlení jsem však nezpozoroval, a teď se to navíc spíše zpomaluje. Subvolumes se mi taky líbí, můži si nainstalovat třeba kolik chcu linuxů na jeden oddíl a sdílí volné místo a nemusím řešit že tom dám tolik a tolik místa. Ale asi to brzo přeformátuju zpět na ext4, kvůli tomu zpomalování :-( Mám to s kernelem 3.12.6 a mountuju s noatime,compress=lzo,space_cache,autodefrag,inode_cache
Věřím v jednoho Boha.
7.1.2014 01:12 jozko
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
sa cudujem, lebo so ZFSonlinux maju ludia vacsinou zrychlenie. Na nete je plno ubuntakov co pisu ako dali svojmu notasu "druhy zivot". Len je to komplikovane to mat na boote a taktiez pri aktualizaciach to robi sarapatu. Taktiez treba 64bit CPU atd atd atd. Zatial vela obmedzeni, ale stabilne a rychle
Conscript89 avatar 7.1.2014 09:02 Conscript89 | Brno
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Filesystem na /boot nema zadny vliv na rychlost pri bezne praci, vzdyt na /boot se pristupuje jen pri bootovani, nebo updatu kernelu (pripadne i bootloaderu). Zrovna /boot bych dal na nejaky "generacemi overeny" FS.
I can only show you the door. You're the one that has to walk through it.
11.1.2014 12:12 Ladislav Jech
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Presne. /boot na ext2, ext3.. root a zbytek uz na cokoli, s cim si chci prave hrat.
Vykook avatar 13.1.2014 18:12 Vykook | skóre: 23 | blog: Tomas
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Ti nevím, já třeba právě snapshotuju / (nemam samostatnej /boot, jinak bych to dělal jen na něm) než instaluju nový jádro. Je to pro mě nejtriviálnější řešení... Já jsem se vlastně naučil snapshotovat skoro pořád a jako bonus od té doby co to dělám, tak se nic nesesypalo :D
Nejde nám o dobro druhých. Nejde nám o bohatství. Jde o čisté opojení mocí.
Conscript89 avatar 14.1.2014 16:15 Conscript89 | Brno
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Nevim co pouzivas za distro, ale treba RH based distribuce zachovavaji (tusim) 2 predchozi kernely coz je jeste trivialnejsi reseni :)
I can only show you the door. You're the one that has to walk through it.
14.1.2014 16:48 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Člověče nic proti, ale ty jsi evidentně dosud nepochopil, co to vlastně je to snapshotování. Nainstalovaná starší jádra automaticky neodstraňuje snad žádná distribuce, ale pokud si něco důležitého při aktualizaci převalíš, tak můžeš být bez snapshotu v pytli bez ohledu na to kolik jich máš.
Conscript89 avatar 14.1.2014 19:48 Conscript89 | Brno
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Ja tu celou dobu mluvim jen o /boot. Snapshoty samozrejme vim k cemu jsou. Jasne, ted uz jednu vyhodu vidim, moznost vratit se k libovolnymu jadru nainstalovanymu v minulosti (coz ovsem vyzaduje hodne mista pro takovy /boot), nevim ale porad jaky prospech todle muze mit.
I can only show you the door. You're the one that has to walk through it.
15.1.2014 13:49 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Kupodivu ani ne. Snapshotování je z hlediska místa výrazně šetrnější než klasické zálohy.
Vykook avatar 15.1.2014 08:24 Vykook | skóre: 23 | blog: Tomas
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
FreeBSD, ale to je v tomto případě vcelku jedno. Taky si nechává poslední jádro.
Nejde nám o dobro druhých. Nejde nám o bohatství. Jde o čisté opojení mocí.
15.1.2014 09:15 JanM | skóre: 28
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Na nete je plno ubuntakov co pisu ako dali svojmu notasu "druhy zivot".
On jim ten dech časem dojde, až se a) zaplní disk nebo b) pakliže hodně zapisují. ZFS nemá defrag (btrfs sice ano, ale jak se píše v ostatních příspěvcích, tak to taková výhra také není).
7.1.2014 08:56 sid
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
a urobil si kompresiu vsetkych suborov? nestaci to pridat do mount, tam to sposobi len to, ze nove subory budu komprimovane. Teda ak si ten fs od zaciatku nevytvoril s podporou kompresie. Este by si teoreticky mohol zapnut skinny extents (btrfstune -x)
7.1.2014 10:55 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Komprese naopak zpomaluje. Je dobrá tehdy, pokud chceš lépe využívat místo, Btrfs však má o něco větší režii a zpomalování může způsobovat více faktorů.
7.1.2014 12:07 sid
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
zpomaluje? samozrejme to asi je podmienene tym ci je to SSD alebo harddisk ale ked je nieco malo menene tak ak musim nacitat 2x menej dat tak by som to mal poznat,ci je to zly predpoklad? Moderne processory robia dekompresiu celkom rychlo.
7.1.2014 13:23 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Pokud neskončíš, tak jako přispěvatel o kus níže na druhém odstavci, tak o tom jak je to s kompresí u Btrfs píšu v naší wiki.
7.1.2014 14:32 Sid
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
ano, precital som si to, ale stale tam nie je ziadna podpora pre vase tvrdenie, ze kompresia ked sa prevazne citaju data spomaluje.
7.1.2014 17:42 Sten
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
A týká se to ZLIB nebo LZO? U ZLIB mám zkušenost, že to hodně vytěžovalo CPU a na slabších počítačích na to nebylo dost výkonu, s LZO tam ale problém nebyl.
7.1.2014 15:34 tom
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Meril jste to? Ja ano. Na jakemkoliv modernim pocitaci nezpomaluje - naopak. Proste mensi objem zapisovanych dat zpusobi vetsi usporu casu, nez kolik se ho zabere tou komprimaci.
Jardík avatar 7.1.2014 16:26 Jardík | skóre: 40 | blog: jarda_bloguje
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Já ani tak nezapnul kompresi kvůli rychlejšímu zapisování, jako spíš kvůli rychlejšímu čtení. Ale jak říkám, nepozoruji zrychlení a ještě se to časem strašně zpomaluje. Asi se vrátím na ext4.
Věřím v jednoho Boha.
8.1.2014 09:25 luky
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Dejte si /usr do squashfs a udelejte zapis pres aufs (a nebo jiny vrstvici FS) a cas od casu pregenerujte squashfs image.
pepe_ avatar 9.1.2014 11:23 pepe_ | skóre: 47
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)

Návod nebude ?

David Šmíd avatar 7.1.2014 09:06 David Šmíd | skóre: 10 | blog: dsmid
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)

Ten autodefrag účinkuje jen na nově zapsaná data, stará data zůstanou defragmentována. Stará data je potřeba defragmentovat pomocí btrfs-progs, jenže to má dva háčky.

První je ten, že defragmetace adresáře nedefragmentuje rekurzivně - prostě jen defragmentuje uvedený adresář (vynechá i soubory v něm !), musí se použít find a každý soubor/adresář defragmentovat zvlášť.

Druhý je, že na kernelu <3.9 defragmentace rozpojí spojení se snapshoty, takže obsazené místo dost markantně naroste. Z čehož vyplývá, že i samo použití autodefrag vylučuje vytváření snapshotů.

Takže smazat snaphosty, nové nevytvářet, defragmentovat každý soubor/adresář zvlášť (to zabere třeba i dny), nastavit autodefrag a pak se to možná bude dát používat.

Wiki

 


Jediné "intuitivní" rozhraní je bradavka. Všechno ostatní se musíte naučit. -- Bruce Ediger, o uživatelském rozhraní
Jardík avatar 7.1.2014 15:18 Jardík | skóre: 40 | blog: jarda_bloguje
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Kompresu jsem zapnul s prvním připojením před překopírováním starého /, vše by tedy mělo být zkomprimované. Ten autodefrag ale zapnutý nebyl, snapshoty jsem nepoužil, měl jsem tam akorát 1 extra subvolume pro gentoo, to jsem ale nedávno smazal, protože nanaplnilo mé očekávání, že si nainstaluju pouze to co chci, bez blbých závislostí, např. gtk3 tahalo jako závislost gtk2.
Věřím v jednoho Boha.
8.1.2014 03:10 anonym
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
ona defragmentace v CoW (vcetne nerozbijeni snapshotu) neni nic snadneho, coz je take duvod proc ZFS ji jeste nema

uz dlouho sem se chtel podivat jak btrfs resi tu defragmentaci, muj odhad je ze se prepne do specialniho modu kdy se nechova jako CoW, a potom se zase chovat zacne (alternativa k tomu by byla ze kdyz najde dost fragmentovany soubor tak ho cely oznaci za "zmeneny" a zkopiruje na nove misto, ale to zase nehraje do snapshotu)
7.1.2014 10:02 kavol | skóre: 28
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Po 2 týdnech se mi to ale začalo zpomalovat ...
no, jsem v této situaci po půl roce s rychlým SSDčkem ... kopíruju si takhle půlgigovej soubor přes wifinu, takže nicmoc rychlýho, asi 2 MB/s, chci si k tomu votevřít druhej terminál a nic, černo, a teprv asi po půl minutě mi naběhne shell ... koukám vedle, a průměrná rychlost kopírování je někde pod mega, i když ta síť dává ty dvě ... přepnu se zpátky, chci si v tom shellu pustit midnight, a zase asi dvacet sekund nic ... moc príma

jako chápal bych, kdyby se ten systém mezitím tvářil vytíženě, ale ono nic, disk nebliká, v topu žádnej proces nevylejzá, jen se prostě čeká na Godota nebo co :-/
7.1.2014 23:11 ebik
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Nejspis ti nefunguje TRIM tak jak ma, pouzivas ext4 s mount optionem 'discard'? Nemas mezi ssd a fs jeste nejake dalsi vrstvy, nakonfigurovane tak, ze TRIM neprojde?

Ja jsem napriklad kdysi na SSD s funkcnim TRIM neco omylem smazal (neco vetsiho), a zkusil obnovit pomoci extundelete. Velikosti byly spravne, ale soubory obsahovaly nuly (protoze TRIM spravne prosel, a firmware toho SSD implementoval dotaz do TRIMnute oblasti tak, ze vratil blok nul), cimz jsem si nechtene experimentalne overil, ze ten TRIM opravdu funguje.

For s SSD je v tom, ze diky wear-levelingu je rychlost SSD neprimo umerna poctu bloku fyzicke pameti SSD o kterych to SSD vi, ze jsou volne. TRIM je zpusob jak tomu SSD rict, ze jsi neco smazal, jinak si po case bude myslet, ze cela partitiona je pouzivana, i kdyz budes mit zabrano jen treba 20%.

Proto nekteri vyrobci prodavaji nasobky 30GB misto nasobku 32GB. Ty 2GB maji rezervovane na wear-leveling. Jini vyrobci zase montuji misto osmi pametovych cipu devet. SSD vetsinou zapisuji po mensich blocich (4kB?) ale mazou po vetsich blocich (512kB?). A prepsani casti fyzicke pameti v SSD je vzdy nejprve jeji smazani. Takze pokud mu dochazi misto, nebo pokud ma spatne implementovany wear-leveling, tak na to aby prepsal jeden 4kb blok, musi nejprve ostatni bloky v tom 512kb bloku presunot nekam jinam, aby ho mohl cely promazat, coz vede k znacne snizenym rychlostem zapisu.
7.1.2014 23:24 ebik
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Jen ještě dodám že http://www.google.com/search?q=test+trim+ext4 mi vrátí spoustu návodů, jak ověřit, zda TRIM funguje.
8.1.2014 16:19 vodic
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Tak přesně tenhle problém mám také na OpenSUSE 12.3 i 13.1 s SSD OCZ Agility s Btrfs (zaplněný sotva z půlky). Když jsem se opovážil na pozadí updatovat systém, když děti koukaly na pohádku, tak to vycházelo tak 10s video, 30s printscreen. A TRIM dělám pravidelně, takže tím to není. V žádném logu nic není. Prostě jen systém na něco čeká a vůbec mu to není divné.
9.1.2014 13:06 ebik
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Trim se ma delat predevsim sam, nebo je to u BTRFS jinak?
13.1.2014 15:04 vodic
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Také si myslím, že by mělo, ale když trim zavolám ručně, tak to chvíli trvá, takže si nejsem úplně jistý, jestli se to volá pravidelně automaticky. Žádné speciální mount volby ve fstab nemám.
10.1.2014 09:53 mimi.vx | skóre: 37 | blog: Mimi.VX | Praha
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)

problem muze byt i tady toto http://www.abclinuxu.cz/clanky/jaderne-noviny-7.-11.-2013-proc-pomala-flashka-zpomali-64bitovy-stroj a ne btrfs :)

USE="-gnome -kde";turris
13.1.2014 15:08 vodic
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
No sice 64b systém mám, ale SSD, které zvládá bez problémů zapisovat stovky MB/s, se mi nezdá být označitelné jako "pomalá flashka". Takže se obávám, že tady psa nevyhrabu.
Jakub Lucký avatar 13.1.2014 20:56 Jakub Lucký | skóre: 40 | Praha
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
doporučuji si před komentováním ten článek přečíst...
If you understand, things are just as they are; if you do not understand, things are just as they are. (Zen P.) Blogísek
14.1.2014 17:58 vodic
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
To jsem samozřejmě udělal. Dokonce ještě před tím, než na něj bylo upozorněno. Stále nechápu, jak by mohla nastat situace, kdy se může třeba i minuty čekat na zapsání špinavé stránky, když na mém systému tohle nemůže nastat, protože špinavá stránka se zapíše díky rychlosti SSD prakticky hned.
Jakub Lucký avatar 14.1.2014 18:36 Jakub Lucký | skóre: 40 | Praha
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Protože existuje jedna fronta na zápis, která má na svém začátku zápisy do pomalé flešky (jiné než SSD)
If you understand, things are just as they are; if you do not understand, things are just as they are. (Zen P.) Blogísek
14.1.2014 20:17 kavol | skóre: 28
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Protože existuje jedna fronta na zápis, která má na svém začátku zápisy do pomalé flešky (jiné než SSD)
nemá; žádné takové zařízení není připojeno

co teď?
Jakub Lucký avatar 14.1.2014 21:55 Jakub Lucký | skóre: 40 | Praha
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Tak to není ten případ, o kterém mluví předřečník výše...
If you understand, things are just as they are; if you do not understand, things are just as they are. (Zen P.) Blogísek
15.1.2014 10:05 kavol | skóre: 28
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
a to prosím který?

v tomto konkrétním vlákně si na zpomalení stěžují tři lidé, jardík, vodic a já ... a ani jeden z nás nic o jiné pomalé flashce nepíše, takže mi není jasné, čí (a jaký tedy) případ by to měl být (nebo víš o našem hardware něco víc než my?)
Jakub Lucký avatar 15.1.2014 13:51 Jakub Lucký | skóre: 40 | Praha
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Máte pravdu. Prošel jsem si to, zmátly mne zmínky o flešce v #66
If you understand, things are just as they are; if you do not understand, things are just as they are. (Zen P.) Blogísek
16.1.2014 12:33 vodic
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Tímto potvrzuji, že opravdu v systému žádnou flashku (mimo SSD) připojenou nemám :)
7.1.2014 13:55 Petr Ježek | skóre: 10
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Ach jo, na Phoronixu probíhají testy btrfs dva roky a stále je nejpomalejší. Proč asi? Zatímco COW probíhá prakticky v reálném čase, žurnálování nikoli. Dokud se nevyřeší úklid po COW na úroveň nezpomalující podstatně průběžné operace s daty, nejde o žádný pokrok a výhody COW jsou placené prodloužením času práce, což je zcela nepřijatelné. Komprimace ostatně také není cesta z houští, opět jde o náklady komprimace časové i z hlediska nároků na zdroje. Zkrátka nápad dobrý, ale provedení doposud nepříliš použitelné tam, kde je omezení kapacitní a zdrojové, tj. současně a především finanční. Hádejte, proč Oracel pracuje s tak vysokými maržemi...
Archlinux for your comps, faster running guaranted!
12.1.2014 09:59 archen | skóre: 4
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
No, na starsim jadru v Gentoo mam uplne stejnou zkusenost, dal jsem si do crona automatickou defreagmentaci na celej file system, resp. vsechny adresare: find / -xdev -type d -print -exec btrfs filesystem defragment '{}' \;

viz ArchWiki hutny soubor informaci o BTRFS: https://wiki.archlinux.org/index.php/Btrfs

Nicmene i v tomhle gardu se system zpomalil zhruba o 20-30 procent, prolezl jsem dalsi internetove zdroje souvisejici s tuningem btrfs a zkousel vse aplikovat. Nicmene nominalniho vykonu jsem jiz za zadnou cenu nedosahl.

Dalsi zajimavy odkaz: http://www.phoronix.com/scan.php?page=article&item=linux_btrfs_311&num=1
EmperorWantsToControlOuterSpaceYodaWantsToExploreInnerSpaceThat'sTheFundamentalDiffBetweenGoodandBadSidesOfTheForce
Bedňa avatar 13.1.2014 23:39 Bedňa | skóre: 34 | blog: Žumpa | Horňany
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Je dobrý na zálohovacie servery vďaka snapshots, na desktop je ideálna náhrada ReiserFS, alebo Reiser4. To padneš do kolien z tej rýchlosti, hlavne na starom železe.
KERNEL ULTRAS video channel >>>
7.1.2014 01:43 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
K Btrfs na wiki DCE FEL ČVUT.
7.1.2014 07:58 Filip Jirsák
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Škoda toho zmateného vysvětlení COW v druhém odstavci. Myslím, že v článku se najde inspirace pro opravu na té wiki…
7.1.2014 09:22 Aleš Kapica
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Přiznávám že ten druhý odstavec je poněkud zmatený, z hlediska zpracování manuálu má však pro mne prioritu zbývajících 99% obsahu té stránky. A to tam toho ještě dost není, protože část věnovanou kvótám mám zatím ve formě poznámek.
7.1.2014 17:59 Filip Jirsák
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Chápu. Ale pokud bych na tu stránku narazil jako čtenář náhodou, asi bych dál nečetl.

Jako nepřihlášený to editovat nemohu, ale co to napsat třeba takhle?
Copy-on-write (COW) v případě Btrfs znamená, že se při zápisu změněná data zapisují na nové místo a původní data zůstávají na disku nezměněna. Díky tomu se například snadno implementují snapshoty, protože aktivní snapshot bude ukazovat na blok se změněnými daty, zatímco v archivním snapshotu zůstane odkaz na původní data.
7.1.2014 22:17 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
O účet není problém požádat. Opruz s formulářem je tam jen kvůli robotům.
7.1.2014 09:47 R
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Uz sa da zistit, kolko je vo filesysteme volneho miesta?
7.1.2014 10:51 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Dávno, akorát mi není jasné k čemu ti to je. Z mého pohledu tak maximálně pro hrubou orientaci.
root@schroeder:~# btrfs fi df /
Data, RAID1: total=47.97GB, used=43.98GB
System, RAID1: total=32.00MB, used=12.00KB
Metadata, RAID1: total=2.00GB, used=1.07GB
Přesnější je výpis když používáš kvóty.
stroj (DATASERVER) :~# btrfs qgroup show -pcre /home | grep 0/262
0/262    23875584    23875584    3221225472 0        1/1     --- 
Jenže ten ti sám o sobě -máš-li více subvolumes - taky moc neřekne, pokud si to nezkombinuješ ještě s jinými příkazy.
7.1.2014 14:09 Vladimír Čunát | skóre: 19
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Před pár dny mi to ukazovalo ~28/60 GB volno a zároveň jsem dostával out-of-space... trošku mi to leze do extrému (3.12 rw, noatime, nodiratime, compress=zlib, noacl, space_cache, autodefrag, inode_cache).
7.1.2014 22:53 R
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Potrebujem to napriklad preto, aby som vedel, ze "aptitude upgrade" sa nerozoserie v strede instalacie, lebo doslo miesto.
7.1.2014 09:55 kavol | skóre: 28
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Problémy jsou opravovány
vidím ...
známého přispěvatele do Btrfs Josefa Bacika
Bačíka, IIRC
Conscript89 avatar 7.1.2014 10:10 Conscript89 | Brno
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Tak todle je trosku nefer. Opravdu sis myslel ze by takovy bug bez jakychkoliv dat (vidim jen ze se ptas kam je dat) by nekdo zvladl kouzelne opravit pres vanoce?
I can only show you the door. You're the one that has to walk through it.
7.1.2014 13:42 kavol | skóre: 28
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
nemyslel; myslel jsem si ale, že když na tom máme několik placených vývojářů, tak by se aspoň někdo mohl za ten měsíc ozvat, a ne jako když já řeším blbosti s qmmp apod. někde mezi kolekcema, tzdatama, co musí vyjít právě teď hned, RHEL7 deadlinama, atd., ve volném čase při flejmováním na ábíčku ... no nic, dotáhnu ten image na testovací mašinu s RHEL7 a uvidíme, na RHEL7 bugy se reagovat musí :-)
michich avatar 7.1.2014 10:13 michich | skóre: 51 | blog: ohrivane_parky
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Bačíka, IIRC
Ne, opravdu je to jenom Bacik. Kolega se ho na to jednou ptal.
7.1.2014 11:09 Já
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
f(Bacik) < f(Bačík)

f = ? :)
7.1.2014 16:21 xyz
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
f = pocet interpunkcnych znamienok :)
7.1.2014 13:43 kavol | skóre: 28
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
bych se skoro vsadil, že na PaP jsem to viděl s diakritikou ... no tak nic, ď. za info
7.1.2014 10:42 TM
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
V klasickém file systému ale přece v inodě nejsou jen přímé odkazy na bloky - to platí jen pro menší soubory. Používá se několik úrovní - přímý odkaz na blok souboru, odkaz na blok s přímými odkazy, .... atd.
7.1.2014 17:27 Sten
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Máte sice pravdu, ale z hlediska zabraného místa je jedno, jestli je to přímo v tabulce/stromu inodů nebo v jiném bloku odkazovaném z inodu, pořád to bude n ukazatelů na n bloků.
8.1.2014 17:07 TM
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
To ano. Netvrdím, že techniky používané v novějších filesystémech nemají proti takovému přístupu výhody. Jen mně připadalo, že autor má trochu pomýlenou představu o tom, co je v inodách.
Kdysi mně na jednom fóru administrátor jedné velké a velice známé české Internetové firmy(později tam snad dokonce šéfoval technickému oddělení) tvrdil, že v inodě je i jméno souboru. Trochu se mně to vybavilo :-)
7.1.2014 21:16 kapo | skóre: 15 | blog: runtime
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
To ano, ale podstata problému je v tom, že jsou to odkazy na bloky a ne extenty - tj. extent s konstantní velikosti (4kB?). Kolik takových odkazů potřebujete na třeba DVD image (4GB) ? Toto je to, co špatně škáluje. I když budete mít soubor uložen souvisle, stejně budete muset přečíst hromadu bloků jen kvůli odkazům. V případě extentů načtete jen jednu adresu + velikost a čtete už jen data.
Why make things difficult, when it is possible to make them cryptic... - Aksel Peter Jorgensen
7.1.2014 14:40 Jura Jurátor | skóre: 2
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Napadlo mě, že když se v článku píše o tom, že Btfrs je odolnější oproti náhlým výpadkům. Tak jestli to nepřináší větší odolnost OS LINUXu proti výpadkům napájení, či hrubšímu zacházení některých uživatelů spočívajícím ve vypnutí zdroje - takzvaně "natvrdo" ?
8.1.2014 08:54 Program
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Tak samozřejmě, ale jde jen o konzistenci dat. Data v zápisové cache prostě na disku nejsou a když mrsknete bookem o zem, tak Vám to taky FS nezachrání.
8.1.2014 12:13 Jura Jurátor | skóre: 2
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Děkuji za odpověď.

Jen reviduji poznatek ze školení, kde bylo uváděno, že na nekorektní vypnutí je Linux extrémě náchylný. (I když v praxi, moje maminka, když jí naskočil v dual bootu OpenSUSE a nevěděla si s ním rady, tak prostě vypnula proud a butovala znova. Tohle udělala snad 100x a OpenSuse pořád dodnes nabíhá. Tak jestli to není jen jakýsi hoax)

J.
Heron avatar 8.1.2014 12:38 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Nebylo to školení od MS? ;-)

Neříkám, že by se to tak mělo dělat, to určitě ne, ale dobře napsaná aplikace (například db) na normálním fs a normálním hw (který nelže o zápisech) nemá s nekorektním vypnutím žádný problém. S příchodem virtualizace se dokonce běžně dělají snapshoty virtuálky za jejího plného běhu a z těchto snapshotů se potom dělají kopie. Nikdy nebyl s tímto žádný problém a přitom z hlediska toho os je to stejně jako kdyby někdo zmáčkl reset. Konkrétně ta db bude ve poslední dokončené transakce a každý slušný fs bude ve stavu posledního syncu (ext3 každých 5s, btrfs by default 30s apod, dá se vynutit aplikací kdykoliv).
10.1.2014 22:56 ivan
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Jednu dobu s tim mel problemy XFS (ale i jine filesystemy), pak se ukazalo, ze nektere hardisky lzou a posilaji potvrzeni do OS uz kdyz primou data do cache a ne kdyz jsou data skutecne zapsana. Tahle chyba se projevovala hlavne na XFS a proto se problem hledal tam.
11.1.2014 00:59 jas | skóre: 13 | blog: blag
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)

Problem bol este trocha zlozitejsi. Nie len, ze hlasili data ako zapisane, ked boli len v cache, ale dokonca nemali cache energeticky zalohovanu (ziadna zalozna bateria), takze pri vypadku energie nastal velmi velky problem. Mimochodom, podobne "chyby" sa hlasia dodnes a je to jeden z dovodov preco pre XFS existuje sw force shutdown (cca simulacia vypadku energie na spolahlivom ulozisku (na ulozisku, kde nenastanu problemy s cache)).

XFS si v tejto oblasti toho odtrpelo este viac. Na rozdiel od ext systemov suborov ma totiz xfs oddelene fronty pre zapis metadat a pre zapis dat, vysledkom coho byvalo po pade velke mnozstvo prazdnych suborov (nulovej dlzky). Tento "problem" nakoniec vyriesili barierami aj ked ani to povodne spravanie nebolo nejak chybne (akurat to casto nedokazali rozdychat zle napisane aplikacie).

Dalsi problem robil vyssie spominany interval pre sync dat (5s pri ext). Pri XFS je to az 60 sekund (aj to primarne kvoli VFS, ak si dobre pamatam). Mnozstvo aplikacii bolo bohuzial napisanych tak, ze ratalo so sync intervalom ako bol pri ext, z coho boli tlaky na zmenu dokonca aj pri XFS (o fsync/fdatasync ti vyvojari zvacsa asi nepoculi...).

9.1.2014 13:10 ebik
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Dokonce jeden vývojář linuxu (Pavel Machek) v době kdy přišla ext3 a jakž takž se stabilizovala, tak v rámci testování vypínal svůj počítač zásadně "natvrdo". Když mi to říkal tak to bylo již více než půl roku co to takhle dělal a nezaznamenal žádný problém.
7.1.2014 23:07 Radek | skóre: 14
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
V úvodu se píše, že „než bude Btrfs připravené, tak si asi řada lidí bude myslet, že je už úplně zastaralé.“

Jaké jsou moderní „trendy“, které se do návrhu Btrfs nedostaly?
8.1.2014 16:15 Sten
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Btrfs ještě není připravené, takže všechny ty, které přijdou v následujících několika letech :-)
Heron avatar 8.1.2014 19:18 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
A ty spadnou z nebe už kompletně připravené? ;-)
13.1.2014 21:22 Sten
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Ne, ale budou moderní. Btrfs oproti nim už bude zastaralé :-)
GeoRW avatar 9.1.2014 15:22 GeoRW | skóre: 13 | blog: GeoRW | Bratislava
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
podla mna brtfs bude pripravene az vtedy ked vyjde stabilna verzia GNU Hurd, t.j. nikdy :-)
"This is to be taken with a grain of salt." ACBF - Advanced Comic Book Format
9.1.2014 09:30 vadimo
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
Ja som dal btrfs mojej mame na stary laptop s pentiom 4. Skapal tam hdd, vymenil som za cf kartu. je tam lzo kompresia. cca rok bez problemov. ona tomu aj tak moc nezavari.
12.1.2014 12:13 B.E.
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
nemám moc dobré zkušenosti ale casem se to zlepsuje:
- upgrade balíků trvá mnohonásobně déle a potvrzuji ze system byl nedavno "zabitej" (viz např. tento bug) https://bugs.launchpad.net/ubuntu/+source/dpkg/+bug/607632

- potvrzuji slova KAVOLa (obcas byl system nepouzitelny a to se kopiroval jen soubor a nikde nic pretizeneho neni)

- potvrzuji problem s DF (btrfs fi df / - mi vcera ukazoval 200MB free, smazu 4GB iso-soubor a btrfs fi df / ukazuje 12GB - a to nepouzivam kompresi)

- nedoresena (auto-)defragmentace a komprimace dat - viz vase prispevky vyse (hodila by se utilita brtfs-defrag, btrfs-compress a neco na kontrolu duplicitnosti bloku)

- offline/online FSCK a jeste nedavno mi zlobil i FSCK pri startu - proste neproblehnul - musel jsem nabootovat z knoppixe a FS opravit rucne :( (to nemluvim o volbe super-blocku - ktera predrokem nebyla nikde uvedena - vyvojari asi zacali konecne psat dokumentaci:-)

- obcasna haseni v syslogu o BTRFS - unlinked 6 orphans a device fsid xxx devid 1 transid yyy /dev/sda3 - co to je - mam se bat mrtveho FS:)?

Nemyslim si, ze je vadne SSD nebo radic - ve W7 na druhe partisne jede vse OK
-proste si myslim, ze jsou nektere funkce nedoladene + chybi uzivatelska podpora/rozhrani, ale FS ma velkou budoucnost - libi se mi

-jeste nedavno sem mel chut BTRFS vymenit za ext4, ale veci se asi daly do pohybu a nektere bugy zacinaji mizet - tak uvidime :)


(ADATA SSD 511 60GB, C2D T7700, 4GB, 3.11.0-13-generic Lubuntu saucy 64bit) discard,ssd,autodefrag,inode_cache,space_cache,subvol=@)
13.1.2014 04:11 jas | skóre: 13 | blog: blag
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
- potvrzuji problem s DF (btrfs fi df / - mi vcera ukazoval 200MB free, smazu 4GB iso-soubor a btrfs fi df / ukazuje 12GB - a to nepouzivam kompresi)

Problem s df ma kazdy file system, aj ked pravdepodobne nie az tak zavazny.

- nedoresena (auto-)defragmentace a komprimace dat - viz vase prispevky vyse (hodila by se utilita brtfs-defrag, btrfs-compress a neco na kontrolu duplicitnosti bloku)

Neviem, co si mam o tej autodefragmentacii mysliet (hlavne by ma zaujimalo ako je implementovana), ale po skusenostiach z minulosti sa mi to moc nepaci. Autodefragmentacia mava casto negativny dopad na fragmentaciu dat (zvysuje totiz fragmentaciu volneho priestoru). Viz napr. problemy, ktore kvoli tomu malo XFS par rokov dozadu.

-jeste nedavno sem mel chut BTRFS vymenit za ext4, ale veci se asi daly do pohybu a nektere bugy zacinaji mizet - tak uvidime :)

Mozno by stalo za uvahu prave to XFS, co sa tyka vlastnosti, tak je celkom podobne btrfs (momentalne ma napada akurat, ze nema kompresiu dat a nema fs shrink).

Za vyhodu XFS oproti btrfs povazujem to, ze zachovava modularitu a nesnazi sa vsetko implementovat vlastnym sposobom (co je podla mna prevazne zbytocne, teoreticky to moze priniest zlepsenie vykonu, ale zas zvysuje pravdepodobnost chyb) -- btrfs ma cca vlastnu implementaciu lvm, raidu a pod.; XFS na to vyuziva standardne block-level lvm, md a pod.

Dalsia vyhoda je, ze XFS je na tom vykonnostne celkom schopne (vykon je porovnatelny s ext4, aj ked zalezi dost od jadra).

(ADATA SSD 511 60GB, C2D T7700, 4GB, 3.11.0-13-generic Lubuntu saucy 64bit) discard,ssd,autodefrag,inode_cache,space_cache,subvol=@)

Beh s online discard (volba discard) nie je z vykonnostneho hladiska moc odporucany. Casto je lepsie vytvorit nejaky cron job, ktory raz za X hodin zavola fstrim. Ten autodefrag by som osobne asi radsej tiez vypol (viz vyssie).

15.1.2014 22:14 ebik
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
To není úplně pravda. Dnešní df hlásí hodnoty used free a total. Nikde není ale psáno, že used + free = total, a také na extX je used+free menší než total. Když extX hlásí, že je tam X bytes free a vy máte soubor nulové délky, a nikdo jiný zrovna nemá otevřeno nic pro zápis (ani přes mmap), tak do toho souboru téměř tolik bytů můžete zapsat (možná dokonce přesně tolik). To je vyváženo tím, že čistý naformátovaný extX fs má seznam bloků (něco jako MFT u FAT), což běžně dělá asi 2% kapacity, které jsou zabrané i kdybych zapsal na filesystém jediný soubor od začátku až do konce. FAT to má podobně, akorát některé implementace FAT počítají s tím, že mají aktuální velikost volného místa "nakešovanou" a uloženou na disk a od tohoto čísla dál odečítají nově zabrané bloky. Tak se může stát, že vinou nějaké chyby (vypnutí el. proudu) to číslo neodpovídá realitě, a dokud člověk filesystém neopraví, tak to furt reportuje špatně. Teprve modernější FS nepředalokovávají tabulku bloků, protože mají pokročilejší struktury na zaznamenání mapování umístění částí souboru. U takových FS (pokud jsou správně naimplementovány) by free mělo odpovídat nejvýše velikosti zapsaného souboru + metadat/žurnálu potřebného k zapsání toho souboru, takže by se prakticky u nemělo stát, že nelze zapsat soubor menší než polovina místa reportovaného ve free. Nicméně zápisem ve smyslu zabrání dalšího místa, zde myslím zapisování do řídkých souborů, přepisování souborů linkujících stejné bloky mechanismem COW, a tak podobně. Pokud systém reportuje v df 1GB volného místa, a zápis (pod rootem - tedy bez mechanismu reserved blocks a podobných zvláštoností) vrací No space left on device, tak je něco špatně v implementaci.
16.1.2014 05:26 jas | skóre: 13 | blog: blag
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)

Pod problemami som, myslel prave to, ze ext4 je schopne vyhodit ENOSPC uz ked su zaplnene 2 % file systemu (staci, ze je plna ta tabulka). Je pravda, ze zapisovat dalej ide, ale len do existujucich suborov.

Pozeram, ze xfs s tymto uz problem nema a df to pocita aspon priblizne korektne. Je mozne, ze si to zle pamatam, ale este par rokov dozadu to tak nebolo a tiez tam bol problem so zaplnenim prazdnymi subormi. Dokonca pozeram, ze xfs uz pocita aj rezervovane miesto v df ako zaplnene, takze dnes uz asi neplati, ze s df maju problemy vsetky file systemy (aj ked hodnota v df sa stale neda povazovat za uplne presnu reprezentaciu volneho miesta).

16.1.2014 08:10 Gilhad | skóre: 20 | blog: gilhadoviny
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
df -i udava kolik je volnych inodu - cili tam to zaplneni prazdnymi soubory videt je
16.1.2014 08:16 Honza Jaroš | skóre: 6 | blog: moje_strana_plotu | Bohnice
Rozbalit Rozbalit vše Re: Jaderné noviny: Systém souborů Btrfs (úvod)
No mně na Gentoo s jádrem 3.10.25 ukazuje df celkem odpovídající i údaje na btrfs, jen to chce nejdřív syncnout filesystem.
24.2.2014 00:52 jadd | skóre: 34 | blog: Greenhorn
Rozbalit Rozbalit vše Re: Systém souborů Btrfs - úvod
Zajímavé čtení, jen jsem se pozastavil nad větou
Btrfs místo toho přesune přepisované bloky jinam v rámci systému souborů a zapíše nová data tam, takže starší kopie zůstane nedotčena.
Nemělo být? Btrfs místo toho přesune přepisované bloky jinam v rámci systému souborů a zapíše nová data na původní místo, takže starší kopie zůstane nedotčena.
nebo

Btrfs místo toho kopíruje přepisované bloky jinam v rámci systému souborů a zapíše nová data tam, takže starší kopie zůstane nedotčena.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.