Systém souborů Btrfs - úvod

7. 1. 2014 | Luboš Doležel | Jaderné noviny | 8460×

V rámci Jaderných novin na LWN.net byl zahájen nový seriál článků na téma systému souborů Btrfs. Na AbcLinuxu už dříve vyšly dva kvalitní články o Btrfs, přesto věříme, že vás tento seriál zaujme.

Obsah

• Úvod
• Čím se Btrfs odlišuje?
• Vývoj

Úvod

Tento systém souborů si za dobu své krátké existence prošel snad každou částí cyklu mediálního humbuku. Nějakou dobu to byl systém souborů příští generace, který měl vyřešit mnoho našich problémů; distribuce válčily, aby se ukázalo, kdo jej bude mít jako výchozí jako první. Pak se ukázalo, že všichni ti zkušení vývojáři systémů souborů si nedělali legraci, když tvrdili, že trvá celé roky, než je systém souborů dostatečně důvěryhodný na to, aby mu bylo možné svěřit důležitá data. Aktuálně je možné jít na konferenci a slyšet na Btrfs akorát samé stížnosti; vypadá to, že došlo na vystřízlivění. A než bude Btrfs opravdu připravené, tak si asi řada lidí bude myslet, že je už úplně zastaralé.

Pravda ale nemusí být tak deprimující. Vývoj Btrfs pokračuje se silným důrazem na stabilitu a výkon. Problémy jsou opravovány a uživatelé se po tomto slibném systému souborů znovu poohlížejí. Hraje si s ním více uživatelů a openSUSE v září dokonce zvažovalo, že by mohl být jako výchozí systém souborů. Situace se možná stabilizuje a možná se pomalu dostáváme do nové fáze, kde se – stále pomalu – usadí jako jeden z klíčových systémů souborů na Linuxu.

Tento článek je zamýšlen jako první díl seriálu pro uživatele, kteří by rádi zkoušeli a hráli si se systémem souborů Btrfs. Začneme se základy návrhu Btrfs a jak je vyvíjen; pak se podrobně podíváme na specifické funkce Btrfs. V tomto seriálu se ale určitě neobjeví výsledky benchmarků; ukazuje se, že řádné testování systémů souborů je obtížné; je také silně závislé na zátěži a hardwaru. Nekvalitní výsledky by nikomu nepomohly, proto to ani nebude zkoušeno.

Čím se Btrfs odlišuje?

Není to tak dlouho, co uživatelé Linuxu stále pracovali se systémy souborů, které se od dob Unixu moc nevyvinuly. Systém souborů ext3 například stále používá blokové ukazatele: inode každého souboru (centrální datová struktura s veškerými informacemi o souboru) obsahuje seznam ukazatelů na každý jednotlivý blok obsahující data souboru. Tento návrh fungoval dobře, pokud byly soubory malé, ale špatně škáluje: 1GB soubor by vyžadoval 256 tisíc ukazatelů na blok. Novější systémy souborů (včetně ext4) místo toho používají ukazatele na „extents“; každý extent je skupinou souvislých bloků. Jelikož se systémy souborů snaží ukládat data souvisle, ukládání na bázi extentů značně snižuje režii spojenou se správou prostoru souboru.

Btrfs samozřejmě používá extenty také. Ale značně se liší od většiny jiných systémů souborů: jde o systém souborů typu copy-on-write („COW“, kopíruj při zápisu). Kdykoliv jsou na ext4 přepisována data, nová data jsou zapsána přes stávající data na úložném zařízení, čímž je původní kopie zničena. Btrfs místo toho přesune přepisované bloky jinam v rámci systému souborů a zapíše nová data tam, takže starší kopie zůstane nedotčena.

Režim COW přináší řadu výhod. Jelikož nejsou stará data přepisována, obnova po pádech a výpadcích dodávek energie je přímočařejší; pokud nebyla transakce dokončena, pak zůstává původní stav dat (a metadat) na původním místě. Proto mimo jiné nemusí systém souborů typu COW implementovat oddělený žurnál pro získání odolnosti proti pádům.

Copy-on-write navíc nabízí zajímavé nové funkce, především pak snapshoty. Snapshot je virtuální kopie obsahu systému souborů; je možné jej vytvořit bez jakéhokoliv kopírování dat. Pokud je později změněn blok dat (buď ve snapshotu nebo v originálu), pak je tento jediný blok okopírován, zatímco původní data se nadále sdílejí. Snapshoty se mohou používat jako takový „stroj času“ nebo pro jednoduchou obnovu systému při selhání aktualizace.

Další důležitou funkcí Btrfs je vestavěný správce jednotek. Systém souborů Btrfs může pokrývat několik fyzických zařízení při různých konfiguracích RAID. Jakákoliv jednotka (sada jednoho nebo více fyzických zařízení) může navíc být rozdělena na „podjednotky“, které můžeme vnímat jako nezávislé systémy souborů sdílející společnou sadu fyzických jednotek. Btrfs tedy umožňuje spojit některá nebo všechna úložná zařízení v systému do jednoho velkého zdroje, který pak může být sdílen mezi různými systémy souborů a každý bude mít svá vlastní omezení využití.

Btrfs nabízí celou škálu dalších funkcí, které nejsou jinými linuxovými systémy souborů podporovány. Může provádět úplné kontrolní součty dat i metadat, což jej činí robustním při poškození dat hardwarem. Úplné kontrolní součty jsou ale náročné, takže se dá očekávat, že nebudou používány na mnoha místech. Data mohou být ukládána na disku v komprimované podobě. Funkce přijmi/odešli se dá mimo jiné používat jako součást mechanismu pro přírůstkové zálohování. Funkce pro online defragmentaci může za běhu systému opravit fragmentované soubory. V jádře 3.12 jsme mohli zaznamenat přidání funkce pro offline deduplikaci; hledá bloky obsahující stejná data a sdružuje je do jediné sdílené kopie. A tak dále.

Je nutné upozornit, že přístup copy-on-write není zadarmo. Je evidentně nutné provádět nějaké garbage collection (úklid nepoužívaných dat), jinak by kopie bloků rychle spotřebovaly všechno volné místo na systému souborů. Kopírování bloků může navíc zabírat více času než prosté přepsání a současně značně zvýšit spotřebu systémové paměti. Operace COW mají také tendenci fragmentovat soubory, čímž ničí kontinuální rozvržení souborů, na kterém kód systému souborů tak tvrdě pracoval. Fragmentace vadí na SSD méně než na mechanických discích, ale i v případě SSD nebude přístup k fragmentovaným souborům tak rychlý.

Takže všechna ta skvělá funkčnost obsažená v Btrfs nebude zadarmo. V mnoha situacích se administrátoři mohou rozhodnout, že režie spojená s Btrfs nevyvažuje výhody; na takových místech poslouží systémy souborů jako ext4 nebo XFS. Pro ostatní ale bude flexibilita a funkčnost nabízená Btrfs jistě dosti přitažlivá. Jakmile bude obecně přijato, že je Btrfs použitelné pro ostré nasazení, tak se asi začne objevovat na řadě systémů.

Vývoj

Jedna z obav, které váš redaktor LWN slyšel na chodbách během konferencí, je, že se tempo vývoje Btrfs zpomalilo. Pro ty zvědavé z vás je tu přehled počtu sad změn v kódu Btrfs v jádře, a to po přibližně ročních intervalech:

Rok	Počet sad změn	Počet vývojářů
2008 (2.6.25—29)	913	42
2009 (2.6.30—33)	279	45
2010 (2.6.34—37)	193	33
2011 (2.6.38—3.2)	610	67
2012 (3.3—8)	773	63
2013 (3.9—13)	671	68

Tato čísla nevykazují zpomalování vývoje; během roku 2010 došlo ke zjevnému zpomalení, ale pak se stav ustálil. Při pohledu na tato čísla je ale pořeba mít pár věcí na paměti. První je, že počáteční práce představovala přidávání nových funkcí do zbrusu nového systému souborů, zatímco práce v roce 2013 zahrnuje téměř výhradně opravy. Takže velikost změn se značně zmenšila, ale dalo by se říct, že tak to má být.

Dalším důležitým bodem je to, že příspěvků od tvůrce Btrfs Chrise Masona za poslední roky jednoznačně ubylo. Částečně kvůli tomu, že pracoval na kódu btrfs-progs v uživatelském prostoru – což je práce, která není výše zohledněna – ale je také jasné, že byl vytížen dalšími pracovními záležitostmi. Bude zajímavé sledovat, jak se věci změní po přechodu Chrise a známého přispěvatele do Btrfs Josefa Bacika do Facebooku.

Abychom to shrnuli: objem nového kódu zařazovaného do Btrfs se za poslední roky jednoznačně zmenšil, ale to je dobrá zpráva pro všechny, co by brzy rádi viděli stabilní systém souborů. Na tomto systému souborů se intenzivně pracuje a je pravděpodobné, že jak se distribuce budou více poohlížet po Btrfs, tak se pozornost vývojářů ještě zvýší.

       

Komentáře

[jozko]

Mozno by som zvazil btrfs, no pokial tomu dobre rozumiem on pouziva standardny linux read cache, ktory je oproti ARC hlupy.

Ak by bolo mozne pouzit ARC ako standardny linux read cache, tak by btrfs davalo zmysel.

Napr. teraz si linux pamata v cache iba posledne pristupnene data, kdezto ARC si pamata posledne data ako aj najcastejsie pristupovane data a sam si nastavi pomer, aby bola co najviac efektivna. V realite potom dostanete pri 20% ARC cache z velkosti disku hitrate > 90%, co je ozajstne zrychlenie.

Ak by niekto vedel ako vymenit algoritmus cache v linuxe, nech napise. Dakujem

[Sten]

Existuje implementace LIRS pro Linux, ale nevím, jak stabilní je

[baccaratcommunity]

It's really great. Thank you for providing a quality article. There is something you might be interested in. Do you know baccaratcommunity ? If you have more questions, please come to my site and check it out!

[Program]

Tohle ale není věc FS, ale algoritmu správy diskové cache. Linux používá (pokud vím) běžné LRU a nevím o tom, že by tady LRU nedostačovala. LRU má jen problém s "výplachem" cache při čtení velkého souboru, ale to je stav, který nastává snad jen u desktopů (a tam by zase složitější algoritmus mohl dělat jiné zajímavosti, kvůli velmi volatilní velikosti cache).

[Heron]

No ale u BTRFS se ta cache nechová dle očekávání.

Např když čtu soubor (dostane se do cache) a potom udělám reflink (nebo rovnou snapshot), ale tu kopii neměním (na disku oba soubory zabírají stejné bloky) tak se ta kopie stejně čte z disku. Tedy ta cache funguje na úrovni souborů a nikoliv bloků.

Když takhle dělám zálohu snapshotů, kde se bezpečně vleze do cache (4GB subvolume na 32GB RAM), tak se každý další snapshot čte opět z disku přičemž těch změn je tam minimum. Čtou se opakově tytéž bloky.

[Josef Kufner]

Ten výplach nastává celkem běžně u zálohování a dokáže to docela dobře zvednout vytížení celého počítače.

[토토사이트]

Recently, I was interested in 토토사이트 as a hobby, so that is why I writing this comment. I am very lucky to have visited this place out of many blogs. There are a lot of good articles, so I want to say thank you.

[Jardík]

Btrfs jsem před měsícem kopnul na desktop. Po 2 týdnech se mi to ale začalo zpomalovat a musel jsem to přeformátovat. Teď už to zlobí znovu, možná nějaký mount volby, či komprese a v kombinaci s ní fragmentace? Zkusil jsem i připojit s autodefrag volbou, nepomáhá. Doufal jsem, že díky kompresi se mi zrychlí čtení z disku (který je v laptopu pomalý), hlavně programy, knihovny a konfiguráky. Zrychlení jsem však nezpozoroval, a teď se to navíc spíše zpomaluje. Subvolumes se mi taky líbí, můži si nainstalovat třeba kolik chcu linuxů na jeden oddíl a sdílí volné místo a nemusím řešit že tom dám tolik a tolik místa. Ale asi to brzo přeformátuju zpět na ext4, kvůli tomu zpomalování Mám to s kernelem 3.12.6 a mountuju s noatime,compress=lzo,space_cache,autodefrag,inode_cache

[jozko]

sa cudujem, lebo so ZFSonlinux maju ludia vacsinou zrychlenie. Na nete je plno ubuntakov co pisu ako dali svojmu notasu "druhy zivot". Len je to komplikovane to mat na boote a taktiez pri aktualizaciach to robi sarapatu. Taktiez treba 64bit CPU atd atd atd. Zatial vela obmedzeni, ale stabilne a rychle

[Conscript89]

Filesystem na /boot nema zadny vliv na rychlost pri bezne praci, vzdyt na /boot se pristupuje jen pri bootovani, nebo updatu kernelu (pripadne i bootloaderu). Zrovna /boot bych dal na nejaky "generacemi overeny" FS.

[Ladislav Jech]

Presne. /boot na ext2, ext3.. root a zbytek uz na cokoli, s cim si chci prave hrat.

[Vykook]

Ti nevím, já třeba právě snapshotuju / (nemam samostatnej /boot, jinak bych to dělal jen na něm) než instaluju nový jádro. Je to pro mě nejtriviálnější řešení... Já jsem se vlastně naučil snapshotovat skoro pořád a jako bonus od té doby co to dělám, tak se nic nesesypalo :D

[Conscript89]

Nevim co pouzivas za distro, ale treba RH based distribuce zachovavaji (tusim) 2 predchozi kernely coz je jeste trivialnejsi reseni :)

[Aleš Kapica]

Člověče nic proti, ale ty jsi evidentně dosud nepochopil, co to vlastně je to snapshotování. Nainstalovaná starší jádra automaticky neodstraňuje snad žádná distribuce, ale pokud si něco důležitého při aktualizaci převalíš, tak můžeš být bez snapshotu v pytli bez ohledu na to kolik jich máš.

[Conscript89]

Ja tu celou dobu mluvim jen o /boot. Snapshoty samozrejme vim k cemu jsou. Jasne, ted uz jednu vyhodu vidim, moznost vratit se k libovolnymu jadru nainstalovanymu v minulosti (coz ovsem vyzaduje hodne mista pro takovy /boot), nevim ale porad jaky prospech todle muze mit.

[Aleš Kapica]

Kupodivu ani ne. Snapshotování je z hlediska místa výrazně šetrnější než klasické zálohy.

[Vykook]

FreeBSD, ale to je v tomto případě vcelku jedno. Taky si nechává poslední jádro.

[JanM]

Na nete je plno ubuntakov co pisu ako dali svojmu notasu "druhy zivot".

On jim ten dech časem dojde, až se a) zaplní disk nebo b) pakliže hodně zapisují. ZFS nemá defrag (btrfs sice ano, ale jak se píše v ostatních příspěvcích, tak to taková výhra také není).

[토토사이트]

One of my friend told me that this article has huge information, and so pretty interesting for me. He also has great knowledge of this, so find it here 먹튀검증

[sid]

a urobil si kompresiu vsetkych suborov? nestaci to pridat do mount, tam to sposobi len to, ze nove subory budu komprimovane. Teda ak si ten fs od zaciatku nevytvoril s podporou kompresie. Este by si teoreticky mohol zapnut skinny extents (btrfstune -x)

[Aleš Kapica]

Komprese naopak zpomaluje. Je dobrá tehdy, pokud chceš lépe využívat místo, Btrfs však má o něco větší režii a zpomalování může způsobovat více faktorů.

[sid]

zpomaluje? samozrejme to asi je podmienene tym ci je to SSD alebo harddisk ale ked je nieco malo menene tak ak musim nacitat 2x menej dat tak by som to mal poznat,ci je to zly predpoklad? Moderne processory robia dekompresiu celkom rychlo.

[Aleš Kapica]

Pokud neskončíš, tak jako přispěvatel o kus níže na druhém odstavci, tak o tom jak je to s kompresí u Btrfs píšu v naší wiki.

[Sid]

ano, precital som si to, ale stale tam nie je ziadna podpora pre vase tvrdenie, ze kompresia ked sa prevazne citaju data spomaluje.

[Sten]

A týká se to ZLIB nebo LZO? U ZLIB mám zkušenost, že to hodně vytěžovalo CPU a na slabších počítačích na to nebylo dost výkonu, s LZO tam ale problém nebyl.

[tom]

Meril jste to? Ja ano. Na jakemkoliv modernim pocitaci nezpomaluje - naopak. Proste mensi objem zapisovanych dat zpusobi vetsi usporu casu, nez kolik se ho zabere tou komprimaci.

[Jardík]

Já ani tak nezapnul kompresi kvůli rychlejšímu zapisování, jako spíš kvůli rychlejšímu čtení. Ale jak říkám, nepozoruji zrychlení a ještě se to časem strašně zpomaluje. Asi se vrátím na ext4.

[luky]

Dejte si /usr do squashfs a udelejte zapis pres aufs (a nebo jiny vrstvici FS) a cas od casu pregenerujte squashfs image.

[pepe_]

Návod nebude ?

[David Šmíd]

Ten autodefrag účinkuje jen na nově zapsaná data, stará data zůstanou defragmentována. Stará data je potřeba defragmentovat pomocí btrfs-progs, jenže to má dva háčky.

První je ten, že defragmetace adresáře nedefragmentuje rekurzivně - prostě jen defragmentuje uvedený adresář (vynechá i soubory v něm !), musí se použít find a každý soubor/adresář defragmentovat zvlášť.

Druhý je, že na kernelu <3.9 defragmentace rozpojí spojení se snapshoty, takže obsazené místo dost markantně naroste. Z čehož vyplývá, že i samo použití autodefrag vylučuje vytváření snapshotů.

Takže smazat snaphosty, nové nevytvářet, defragmentovat každý soubor/adresář zvlášť (to zabere třeba i dny), nastavit autodefrag a pak se to možná bude dát používat.

Wiki

 

---

[Jardík]

Kompresu jsem zapnul s prvním připojením před překopírováním starého /, vše by tedy mělo být zkomprimované. Ten autodefrag ale zapnutý nebyl, snapshoty jsem nepoužil, měl jsem tam akorát 1 extra subvolume pro gentoo, to jsem ale nedávno smazal, protože nanaplnilo mé očekávání, že si nainstaluju pouze to co chci, bez blbých závislostí, např. gtk3 tahalo jako závislost gtk2.

[anonym]

ona defragmentace v CoW (vcetne nerozbijeni snapshotu) neni nic snadneho, coz je take duvod proc ZFS ji jeste nema

uz dlouho sem se chtel podivat jak btrfs resi tu defragmentaci, muj odhad je ze se prepne do specialniho modu kdy se nechova jako CoW, a potom se zase chovat zacne (alternativa k tomu by byla ze kdyz najde dost fragmentovany soubor tak ho cely oznaci za "zmeneny" a zkopiruje na nove misto, ale to zase nehraje do snapshotu)

[kavol]

Po 2 týdnech se mi to ale začalo zpomalovat ...

no, jsem v této situaci po půl roce s rychlým SSDčkem ... kopíruju si takhle půlgigovej soubor přes wifinu, takže nicmoc rychlýho, asi 2 MB/s, chci si k tomu votevřít druhej terminál a nic, černo, a teprv asi po půl minutě mi naběhne shell ... koukám vedle, a průměrná rychlost kopírování je někde pod mega, i když ta síť dává ty dvě ... přepnu se zpátky, chci si v tom shellu pustit midnight, a zase asi dvacet sekund nic ... moc príma

jako chápal bych, kdyby se ten systém mezitím tvářil vytíženě, ale ono nic, disk nebliká, v topu žádnej proces nevylejzá, jen se prostě čeká na Godota nebo co :-/

[ebik]

Nejspis ti nefunguje TRIM tak jak ma, pouzivas ext4 s mount optionem 'discard'? Nemas mezi ssd a fs jeste nejake dalsi vrstvy, nakonfigurovane tak, ze TRIM neprojde?

Ja jsem napriklad kdysi na SSD s funkcnim TRIM neco omylem smazal (neco vetsiho), a zkusil obnovit pomoci extundelete. Velikosti byly spravne, ale soubory obsahovaly nuly (protoze TRIM spravne prosel, a firmware toho SSD implementoval dotaz do TRIMnute oblasti tak, ze vratil blok nul), cimz jsem si nechtene experimentalne overil, ze ten TRIM opravdu funguje.

For s SSD je v tom, ze diky wear-levelingu je rychlost SSD neprimo umerna poctu bloku fyzicke pameti SSD o kterych to SSD vi, ze jsou volne. TRIM je zpusob jak tomu SSD rict, ze jsi neco smazal, jinak si po case bude myslet, ze cela partitiona je pouzivana, i kdyz budes mit zabrano jen treba 20%.

Proto nekteri vyrobci prodavaji nasobky 30GB misto nasobku 32GB. Ty 2GB maji rezervovane na wear-leveling. Jini vyrobci zase montuji misto osmi pametovych cipu devet. SSD vetsinou zapisuji po mensich blocich (4kB?) ale mazou po vetsich blocich (512kB?). A prepsani casti fyzicke pameti v SSD je vzdy nejprve jeji smazani. Takze pokud mu dochazi misto, nebo pokud ma spatne implementovany wear-leveling, tak na to aby prepsal jeden 4kb blok, musi nejprve ostatni bloky v tom 512kb bloku presunot nekam jinam, aby ho mohl cely promazat, coz vede k znacne snizenym rychlostem zapisu.

[ebik]

Jen ještě dodám že http://www.google.com/search?q=test+trim+ext4 mi vrátí spoustu návodů, jak ověřit, zda TRIM funguje.

[vodic]

Tak přesně tenhle problém mám také na OpenSUSE 12.3 i 13.1 s SSD OCZ Agility s Btrfs (zaplněný sotva z půlky). Když jsem se opovážil na pozadí updatovat systém, když děti koukaly na pohádku, tak to vycházelo tak 10s video, 30s printscreen. A TRIM dělám pravidelně, takže tím to není. V žádném logu nic není. Prostě jen systém na něco čeká a vůbec mu to není divné.

[ebik]

Trim se ma delat predevsim sam, nebo je to u BTRFS jinak?

[vodic]

Také si myslím, že by mělo, ale když trim zavolám ručně, tak to chvíli trvá, takže si nejsem úplně jistý, jestli se to volá pravidelně automaticky. Žádné speciální mount volby ve fstab nemám.

[mimi.vx]

problem muze byt i tady toto http://www.abclinuxu.cz/clanky/jaderne-noviny-7.-11.-2013-proc-pomala-flashka-zpomali-64bitovy-stroj a ne btrfs :)

[vodic]

No sice 64b systém mám, ale SSD, které zvládá bez problémů zapisovat stovky MB/s, se mi nezdá být označitelné jako "pomalá flashka". Takže se obávám, že tady psa nevyhrabu.

[Jakub Lucký]

doporučuji si před komentováním ten článek přečíst...

[vodic]

To jsem samozřejmě udělal. Dokonce ještě před tím, než na něj bylo upozorněno. Stále nechápu, jak by mohla nastat situace, kdy se může třeba i minuty čekat na zapsání špinavé stránky, když na mém systému tohle nemůže nastat, protože špinavá stránka se zapíše díky rychlosti SSD prakticky hned.

[Jakub Lucký]

Protože existuje jedna fronta na zápis, která má na svém začátku zápisy do pomalé flešky (jiné než SSD)

[kavol]

Protože existuje jedna fronta na zápis, která má na svém začátku zápisy do pomalé flešky (jiné než SSD)

nemá; žádné takové zařízení není připojeno

co teď?

[Jakub Lucký]

Tak to není ten případ, o kterém mluví předřečník výše...

[kavol]

a to prosím který?

v tomto konkrétním vlákně si na zpomalení stěžují tři lidé, jardík, vodic a já ... a ani jeden z nás nic o jiné pomalé flashce nepíše, takže mi není jasné, čí (a jaký tedy) případ by to měl být (nebo víš o našem hardware něco víc než my?)

[Jakub Lucký]

Máte pravdu. Prošel jsem si to, zmátly mne zmínky o flešce v #66

[vodic]

Tímto potvrzuji, že opravdu v systému žádnou flashku (mimo SSD) připojenou nemám :)

[토토사이트]

My only elder sister is having a hard time these days, so she recommended an article about 메이저사이트. It makes me feel happy, and so thankful.

[Petr Ježek]

Ach jo, na Phoronixu probíhají testy btrfs dva roky a stále je nejpomalejší. Proč asi? Zatímco COW probíhá prakticky v reálném čase, žurnálování nikoli. Dokud se nevyřeší úklid po COW na úroveň nezpomalující podstatně průběžné operace s daty, nejde o žádný pokrok a výhody COW jsou placené prodloužením času práce, což je zcela nepřijatelné. Komprimace ostatně také není cesta z houští, opět jde o náklady komprimace časové i z hlediska nároků na zdroje. Zkrátka nápad dobrý, ale provedení doposud nepříliš použitelné tam, kde je omezení kapacitní a zdrojové, tj. současně a především finanční. Hádejte, proč Oracel pracuje s tak vysokými maržemi...

[archen]

No, na starsim jadru v Gentoo mam uplne stejnou zkusenost, dal jsem si do crona automatickou defreagmentaci na celej file system, resp. vsechny adresare: find / -xdev -type d -print -exec btrfs filesystem defragment '{}' \;

viz ArchWiki hutny soubor informaci o BTRFS: https://wiki.archlinux.org/index.php/Btrfs

Nicmene i v tomhle gardu se system zpomalil zhruba o 20-30 procent, prolezl jsem dalsi internetove zdroje souvisejici s tuningem btrfs a zkousel vse aplikovat. Nicmene nominalniho vykonu jsem jiz za zadnou cenu nedosahl.

Dalsi zajimavy odkaz: http://www.phoronix.com/scan.php?page=article&item=linux_btrfs_311&num=1

[Bedňa]

Je dobrý na zálohovacie servery vďaka snapshots, na desktop je ideálna náhrada ReiserFS, alebo Reiser4. To padneš do kolien z tej rýchlosti, hlavne na starom železe.

[Aleš Kapica]

K Btrfs na wiki DCE FEL ČVUT.

[Filip Jirsák]

Škoda toho zmateného vysvětlení COW v druhém odstavci. Myslím, že v článku se najde inspirace pro opravu na té wiki…

[Aleš Kapica]

Přiznávám že ten druhý odstavec je poněkud zmatený, z hlediska zpracování manuálu má však pro mne prioritu zbývajících 99% obsahu té stránky. A to tam toho ještě dost není, protože část věnovanou kvótám mám zatím ve formě poznámek.

[Filip Jirsák]

Chápu. Ale pokud bych na tu stránku narazil jako čtenář náhodou, asi bych dál nečetl.

Jako nepřihlášený to editovat nemohu, ale co to napsat třeba takhle?

Copy-on-write (COW) v případě Btrfs znamená, že se při zápisu změněná data zapisují na nové místo a původní data zůstávají na disku nezměněna. Díky tomu se například snadno implementují snapshoty, protože aktivní snapshot bude ukazovat na blok se změněnými daty, zatímco v archivním snapshotu zůstane odkaz na původní data.

[Aleš Kapica]

O účet není problém požádat. Opruz s formulářem je tam jen kvůli robotům.

[R]

Uz sa da zistit, kolko je vo filesysteme volneho miesta?

[Aleš Kapica]

Dávno, akorát mi není jasné k čemu ti to je. Z mého pohledu tak maximálně pro hrubou orientaci.

root@schroeder:~# btrfs fi df /
Data, RAID1: total=47.97GB, used=43.98GB
System, RAID1: total=32.00MB, used=12.00KB
Metadata, RAID1: total=2.00GB, used=1.07GB

Přesnější je výpis když používáš kvóty.

stroj (DATASERVER) :~# btrfs qgroup show -pcre /home | grep 0/262
0/262    23875584    23875584    3221225472 0        1/1     --- 

Jenže ten ti sám o sobě -máš-li více subvolumes - taky moc neřekne, pokud si to nezkombinuješ ještě s jinými příkazy.

[Vladimír Čunát]

Před pár dny mi to ukazovalo ~28/60 GB volno a zároveň jsem dostával out-of-space... trošku mi to leze do extrému (3.12 rw, noatime, nodiratime, compress=zlib, noacl, space_cache, autodefrag, inode_cache).

[R]

Potrebujem to napriklad preto, aby som vedel, ze "aptitude upgrade" sa nerozoserie v strede instalacie, lebo doslo miesto.

[kavol]

Problémy jsou opravovány

vidím ...

známého přispěvatele do Btrfs Josefa Bacika

Bačíka, IIRC

[Conscript89]

Tak todle je trosku nefer. Opravdu sis myslel ze by takovy bug bez jakychkoliv dat (vidim jen ze se ptas kam je dat) by nekdo zvladl kouzelne opravit pres vanoce?

[kavol]

nemyslel; myslel jsem si ale, že když na tom máme několik placených vývojářů, tak by se aspoň někdo mohl za ten měsíc ozvat, a ne jako když já řeším blbosti s qmmp apod. někde mezi kolekcema, tzdatama, co musí vyjít právě teď hned, RHEL7 deadlinama, atd., ve volném čase při flejmováním na ábíčku ... no nic, dotáhnu ten image na testovací mašinu s RHEL7 a uvidíme, na RHEL7 bugy se reagovat musí

[michich]

Bačíka, IIRC

Ne, opravdu je to jenom Bacik. Kolega se ho na to jednou ptal.

[Já]

f(Bacik) < f(Bačík)

f = ? :)

[xyz]

f = pocet interpunkcnych znamienok :)

[kavol]

bych se skoro vsadil, že na PaP jsem to viděl s diakritikou ... no tak nic, ď. za info

[TM]

V klasickém file systému ale přece v inodě nejsou jen přímé odkazy na bloky - to platí jen pro menší soubory. Používá se několik úrovní - přímý odkaz na blok souboru, odkaz na blok s přímými odkazy, .... atd.

[Sten]

Máte sice pravdu, ale z hlediska zabraného místa je jedno, jestli je to přímo v tabulce/stromu inodů nebo v jiném bloku odkazovaném z inodu, pořád to bude n ukazatelů na n bloků.

[TM]

To ano. Netvrdím, že techniky používané v novějších filesystémech nemají proti takovému přístupu výhody. Jen mně připadalo, že autor má trochu pomýlenou představu o tom, co je v inodách.
Kdysi mně na jednom fóru administrátor jedné velké a velice známé české Internetové firmy(později tam snad dokonce šéfoval technickému oddělení) tvrdil, že v inodě je i jméno souboru. Trochu se mně to vybavilo

[kapo]

To ano, ale podstata problému je v tom, že jsou to odkazy na bloky a ne extenty - tj. extent s konstantní velikosti (4kB?). Kolik takových odkazů potřebujete na třeba DVD image (4GB) ? Toto je to, co špatně škáluje. I když budete mít soubor uložen souvisle, stejně budete muset přečíst hromadu bloků jen kvůli odkazům. V případě extentů načtete jen jednu adresu + velikost a čtete už jen data.

[Jura Jurátor]

Napadlo mě, že když se v článku píše o tom, že Btfrs je odolnější oproti náhlým výpadkům. Tak jestli to nepřináší větší odolnost OS LINUXu proti výpadkům napájení, či hrubšímu zacházení některých uživatelů spočívajícím ve vypnutí zdroje - takzvaně "natvrdo" ?

[Program]

Tak samozřejmě, ale jde jen o konzistenci dat. Data v zápisové cache prostě na disku nejsou a když mrsknete bookem o zem, tak Vám to taky FS nezachrání.

[Jura Jurátor]

Děkuji za odpověď.

Jen reviduji poznatek ze školení, kde bylo uváděno, že na nekorektní vypnutí je Linux extrémě náchylný. (I když v praxi, moje maminka, když jí naskočil v dual bootu OpenSUSE a nevěděla si s ním rady, tak prostě vypnula proud a butovala znova. Tohle udělala snad 100x a OpenSuse pořád dodnes nabíhá. Tak jestli to není jen jakýsi hoax)

J.

[Heron]

Nebylo to školení od MS?

Neříkám, že by se to tak mělo dělat, to určitě ne, ale dobře napsaná aplikace (například db) na normálním fs a normálním hw (který nelže o zápisech) nemá s nekorektním vypnutím žádný problém. S příchodem virtualizace se dokonce běžně dělají snapshoty virtuálky za jejího plného běhu a z těchto snapshotů se potom dělají kopie. Nikdy nebyl s tímto žádný problém a přitom z hlediska toho os je to stejně jako kdyby někdo zmáčkl reset. Konkrétně ta db bude ve poslední dokončené transakce a každý slušný fs bude ve stavu posledního syncu (ext3 každých 5s, btrfs by default 30s apod, dá se vynutit aplikací kdykoliv).

[ivan]

Jednu dobu s tim mel problemy XFS (ale i jine filesystemy), pak se ukazalo, ze nektere hardisky lzou a posilaji potvrzeni do OS uz kdyz primou data do cache a ne kdyz jsou data skutecne zapsana. Tahle chyba se projevovala hlavne na XFS a proto se problem hledal tam.

[jas]

Problem bol este trocha zlozitejsi. Nie len, ze hlasili data ako zapisane, ked boli len v cache, ale dokonca nemali cache energeticky zalohovanu (ziadna zalozna bateria), takze pri vypadku energie nastal velmi velky problem. Mimochodom, podobne "chyby" sa hlasia dodnes a je to jeden z dovodov preco pre XFS existuje sw force shutdown (cca simulacia vypadku energie na spolahlivom ulozisku (na ulozisku, kde nenastanu problemy s cache)).

XFS si v tejto oblasti toho odtrpelo este viac. Na rozdiel od ext systemov suborov ma totiz xfs oddelene fronty pre zapis metadat a pre zapis dat, vysledkom coho byvalo po pade velke mnozstvo prazdnych suborov (nulovej dlzky). Tento "problem" nakoniec vyriesili barierami aj ked ani to povodne spravanie nebolo nejak chybne (akurat to casto nedokazali rozdychat zle napisane aplikacie).

Dalsi problem robil vyssie spominany interval pre sync dat (5s pri ext). Pri XFS je to az 60 sekund (aj to primarne kvoli VFS, ak si dobre pamatam). Mnozstvo aplikacii bolo bohuzial napisanych tak, ze ratalo so sync intervalom ako bol pri ext, z coho boli tlaky na zmenu dokonca aj pri XFS (o fsync/fdatasync ti vyvojari zvacsa asi nepoculi...).

[ebik]

Dokonce jeden vývojář linuxu (Pavel Machek) v době kdy přišla ext3 a jakž takž se stabilizovala, tak v rámci testování vypínal svůj počítač zásadně "natvrdo". Když mi to říkal tak to bylo již více než půl roku co to takhle dělal a nezaznamenal žádný problém.

[Radek]

V úvodu se píše, že „než bude Btrfs připravené, tak si asi řada lidí bude myslet, že je už úplně zastaralé.“

Jaké jsou moderní „trendy“, které se do návrhu Btrfs nedostaly?

[Sten]

Btrfs ještě není připravené, takže všechny ty, které přijdou v následujících několika letech

[Heron]

A ty spadnou z nebe už kompletně připravené?

[Sten]

Ne, ale budou moderní. Btrfs oproti nim už bude zastaralé

[GeoRW]

podla mna brtfs bude pripravene az vtedy ked vyjde stabilna verzia GNU Hurd, t.j. nikdy

[vadimo]

Ja som dal btrfs mojej mame na stary laptop s pentiom 4. Skapal tam hdd, vymenil som za cf kartu. je tam lzo kompresia. cca rok bez problemov. ona tomu aj tak moc nezavari.

[B.E.]

nemám moc dobré zkušenosti ale casem se to zlepsuje:
- upgrade balíků trvá mnohonásobně déle a potvrzuji ze system byl nedavno "zabitej" (viz např. tento bug) https://bugs.launchpad.net/ubuntu/+source/dpkg/+bug/607632

- potvrzuji slova KAVOLa (obcas byl system nepouzitelny a to se kopiroval jen soubor a nikde nic pretizeneho neni)

- potvrzuji problem s DF (btrfs fi df / - mi vcera ukazoval 200MB free, smazu 4GB iso-soubor a btrfs fi df / ukazuje 12GB - a to nepouzivam kompresi)

- nedoresena (auto-)defragmentace a komprimace dat - viz vase prispevky vyse (hodila by se utilita brtfs-defrag, btrfs-compress a neco na kontrolu duplicitnosti bloku)

- offline/online FSCK a jeste nedavno mi zlobil i FSCK pri startu - proste neproblehnul - musel jsem nabootovat z knoppixe a FS opravit rucne :( (to nemluvim o volbe super-blocku - ktera predrokem nebyla nikde uvedena - vyvojari asi zacali konecne psat dokumentaci

- obcasna haseni v syslogu o BTRFS - unlinked 6 orphans a device fsid xxx devid 1 transid yyy /dev/sda3 - co to je - mam se bat mrtveho FS:)?

Nemyslim si, ze je vadne SSD nebo radic - ve W7 na druhe partisne jede vse OK
-proste si myslim, ze jsou nektere funkce nedoladene + chybi uzivatelska podpora/rozhrani, ale FS ma velkou budoucnost - libi se mi

-jeste nedavno sem mel chut BTRFS vymenit za ext4, ale veci se asi daly do pohybu a nektere bugy zacinaji mizet - tak uvidime :)


(ADATA SSD 511 60GB, C2D T7700, 4GB, 3.11.0-13-generic Lubuntu saucy 64bit) discard,ssd,autodefrag,inode_cache,space_cache,subvol=@)

[jas]

- potvrzuji problem s DF (btrfs fi df / - mi vcera ukazoval 200MB free, smazu 4GB iso-soubor a btrfs fi df / ukazuje 12GB - a to nepouzivam kompresi)

Problem s df ma kazdy file system, aj ked pravdepodobne nie az tak zavazny.

- nedoresena (auto-)defragmentace a komprimace dat - viz vase prispevky vyse (hodila by se utilita brtfs-defrag, btrfs-compress a neco na kontrolu duplicitnosti bloku)

Neviem, co si mam o tej autodefragmentacii mysliet (hlavne by ma zaujimalo ako je implementovana), ale po skusenostiach z minulosti sa mi to moc nepaci. Autodefragmentacia mava casto negativny dopad na fragmentaciu dat (zvysuje totiz fragmentaciu volneho priestoru). Viz napr. problemy, ktore kvoli tomu malo XFS par rokov dozadu.

-jeste nedavno sem mel chut BTRFS vymenit za ext4, ale veci se asi daly do pohybu a nektere bugy zacinaji mizet - tak uvidime :)

Mozno by stalo za uvahu prave to XFS, co sa tyka vlastnosti, tak je celkom podobne btrfs (momentalne ma napada akurat, ze nema kompresiu dat a nema fs shrink).

Za vyhodu XFS oproti btrfs povazujem to, ze zachovava modularitu a nesnazi sa vsetko implementovat vlastnym sposobom (co je podla mna prevazne zbytocne, teoreticky to moze priniest zlepsenie vykonu, ale zas zvysuje pravdepodobnost chyb) -- btrfs ma cca vlastnu implementaciu lvm, raidu a pod.; XFS na to vyuziva standardne block-level lvm, md a pod.

Dalsia vyhoda je, ze XFS je na tom vykonnostne celkom schopne (vykon je porovnatelny s ext4, aj ked zalezi dost od jadra).

(ADATA SSD 511 60GB, C2D T7700, 4GB, 3.11.0-13-generic Lubuntu saucy 64bit) discard,ssd,autodefrag,inode_cache,space_cache,subvol=@)

Beh s online discard (volba discard) nie je z vykonnostneho hladiska moc odporucany. Casto je lepsie vytvorit nejaky cron job, ktory raz za X hodin zavola fstrim. Ten autodefrag by som osobne asi radsej tiez vypol (viz vyssie).

[ebik]

To není úplně pravda. Dnešní df hlásí hodnoty used free a total. Nikde není ale psáno, že used + free = total, a také na extX je used+free menší než total. Když extX hlásí, že je tam X bytes free a vy máte soubor nulové délky, a nikdo jiný zrovna nemá otevřeno nic pro zápis (ani přes mmap), tak do toho souboru téměř tolik bytů můžete zapsat (možná dokonce přesně tolik). To je vyváženo tím, že čistý naformátovaný extX fs má seznam bloků (něco jako MFT u FAT), což běžně dělá asi 2% kapacity, které jsou zabrané i kdybych zapsal na filesystém jediný soubor od začátku až do konce. FAT to má podobně, akorát některé implementace FAT počítají s tím, že mají aktuální velikost volného místa "nakešovanou" a uloženou na disk a od tohoto čísla dál odečítají nově zabrané bloky. Tak se může stát, že vinou nějaké chyby (vypnutí el. proudu) to číslo neodpovídá realitě, a dokud člověk filesystém neopraví, tak to furt reportuje špatně. Teprve modernější FS nepředalokovávají tabulku bloků, protože mají pokročilejší struktury na zaznamenání mapování umístění částí souboru. U takových FS (pokud jsou správně naimplementovány) by free mělo odpovídat nejvýše velikosti zapsaného souboru + metadat/žurnálu potřebného k zapsání toho souboru, takže by se prakticky u nemělo stát, že nelze zapsat soubor menší než polovina místa reportovaného ve free. Nicméně zápisem ve smyslu zabrání dalšího místa, zde myslím zapisování do řídkých souborů, přepisování souborů linkujících stejné bloky mechanismem COW, a tak podobně. Pokud systém reportuje v df 1GB volného místa, a zápis (pod rootem - tedy bez mechanismu reserved blocks a podobných zvláštoností) vrací No space left on device, tak je něco špatně v implementaci.

[jas]

Pod problemami som, myslel prave to, ze ext4 je schopne vyhodit ENOSPC uz ked su zaplnene 2 % file systemu (staci, ze je plna ta tabulka). Je pravda, ze zapisovat dalej ide, ale len do existujucich suborov.

Pozeram, ze xfs s tymto uz problem nema a df to pocita aspon priblizne korektne. Je mozne, ze si to zle pamatam, ale este par rokov dozadu to tak nebolo a tiez tam bol problem so zaplnenim prazdnymi subormi. Dokonca pozeram, ze xfs uz pocita aj rezervovane miesto v df ako zaplnene, takze dnes uz asi neplati, ze s df maju problemy vsetky file systemy (aj ked hodnota v df sa stale neda povazovat za uplne presnu reprezentaciu volneho miesta).

[Gilhad]

df -i udava kolik je volnych inodu - cili tam to zaplneni prazdnymi soubory videt je

[Honza Jaroš]

No mně na Gentoo s jádrem 3.10.25 ukazuje df celkem odpovídající i údaje na btrfs, jen to chce nejdřív syncnout filesystem.

[jadd]

Zajímavé čtení, jen jsem se pozastavil nad větou

Btrfs místo toho přesune přepisované bloky jinam v rámci systému souborů a zapíše nová data tam, takže starší kopie zůstane nedotčena.

Nemělo být? Btrfs místo toho přesune přepisované bloky jinam v rámci systému souborů a zapíše nová data na původní místo, takže starší kopie zůstane nedotčena.
nebo

Btrfs místo toho kopíruje přepisované bloky jinam v rámci systému souborů a zapíše nová data tam, takže starší kopie zůstane nedotčena.

[메이저사이트추천]

I am really thankful to you for sharing such useful info. Hope you are sharing the same in future. Thanks 메이저사이트추천

[메이저사이트]

Your post is very helpful and information is reliable. I am satisfied with your post. Thank you so much for sharing this wonderful post. If you have any assignment requirement then you are at the right place. 메이저사이트

[texasholdemsite.info]

Great content and commenting, thank you for letting me post here. 텍사스홀덤사이트

[먹튀검증사이트]

I’m thinking some of my readers might find a bit of this interesting. Do you mind if I post a clip from this and link back? Thanks 먹튀검증

[슬롯사이트]

I am a 슬롯사이트 expert. I've read a lot of articles, but I'm the first person to understand as well as you. I leave a post for the first time. It's great!!

[슬롯사이트]

I am a 슬롯사이트 expert. I've read a lot of articles, but I'm the first person to understand as well as you. I leave a post for the first time. It's great!! hnhgj

[카지노사이트]

Hello, I used to check the posts here all the time. Every morning, I watch it because I like it. 카지노사이트

[토토]

I didn t know there was a place like this. I think it s good because there are many good comments. Let s get along well from now on. 토토

[토토]

I will look at the posts posted on this site every day. This is because there is a lot of very useful information. 토토

[온라인카지노]

It's very interesting. And it's fun. This is a timeless article. I also write articles related to , and I run a community related to 온라인카지노 . For more information, please feel free to visit !!

[Lee]

Yes i am completely concurred with this article and i simply need say this article is extremely decent and exceptionally useful article.I will make a point to be perusing your blog more. You made a decent point yet I can"t resist the urge to ponder, shouldn"t something be said about the other side? 먹튀검증업체 .

[major]

How can I get to that place? It looks like a very fantastic place. I hope many people see and feel it.안전토토사이트

[baccarat online]

Your article has answered the question I was wondering about! I would like to write a thesis on this subject, but I would like you to give your opinion once :D baccarat online

[우리카지노]

Are you the one who studies this subject?? I have a headache with this subject. 우리카지노 Looking at your writing was very helpful.

[안전놀이터추천]

I think it's a very good idea. I wouldn't have a better idea. You are a very smart friend. How can you be so smart? I envy you very much.안전놀이터추천

[메이저사이트추천]

Thank you for letting me know the good content. It was a very ingenious content. I wouldn't have thought of that. Thank you for giving me good information. I'll come back again next time.메이저사이트추천

[Keo nha cai]

From some point on, I am preparing to build my site while browsing various sites. It is now somewhat completed. If you are interested, please come to play with keo nha cai !!

[ufa168]

I've been looking for photos and articles on this topic over the past few days due to a school assignment and I'm really happy to find a post with the material I was looking for! I bookmark and will come often! Thanks :D ufa168

[온라인바카라]

Hello, I read the post well. 온라인바카라 It's a really interesting topic and it has helped me a lot. In fact, I also run a website with similar content to your posting. Please visit once

[온라인바카라]

Hello, I read the post well. 온라인바카라 It's a really interesting topic and it has helped me a lot. In fact, I also run a website with similar content to your posting. Please visit once xdgfdh

[바카라게임사이트]

I'm so happy to finally find a post with what I want. 바카라게임사이트 You have inspired me a lot. If you are satisfied, please visit my website and leave your feedback.

[토토사이트]

This article is the most helpful that I have ever found, and I would like to get furthur information in your articles.안전놀이터

[바카라사이트추천]

That's a really impressive new idea! 바카라사이트추천 It touched me a lot. I would love to hear your opinion on my site. Please come to the site I run once and leave a comment. Thank you.

[바카라게임사이트]

I'm writing on this topic these days, 카지노사이트추천 , but I have stopped writing because there is no reference material. Then I accidentally found your article. I can refer to a variety of materials, so I think the work I was preparing will work! Thank you for your efforts.

[카지노사이트추천]

That's a great article! The neatly organized content is good to see. Can I quote a blog and write it on my blog? My blog has a variety of communities including these articles. Would you like to visit me later? 카지노사이트추천

[casinocommunity]

I saw your article well. You seem to enjoy casinocommunity for some reason. We can help you enjoy more fun. Welcome anytime

[bitcoincasino]

I've been troubled for several days with this topic. bitcoincasino, But by chance looking at your post solved my problem! I will leave my blog, so when would you like to visit it?

[바카라사이트추천]

An intriguing discussion may be worth comment. I’m sure you should write much more about this topic, may well be described as a taboo subject but generally folks are too little to chat on such topics. An additional. Cheers 바카라사이트추천

[온라인바카라사이트]

The vacation trades offered are evaluated a variety of in the chosen and simply good value all around the world. Those hostels are normally based towards households which you’ll find accented via charming shores promoting crystal-clear fishing holes, concurrent of one’s Ocean. Hotels Discounts 온라인바카라사이트

[바카라사이트추천]

An intriguing discussion may be worth comment. I’m sure you should write much more about this topic, may well be described as a taboo subject but generally folks are too little to chat on such topics. An additional. Cheers 바카라사이트추천

[카지노사이트추천]

Hello, I am one of the most impressed people in your article. 카지노사이트추천 I'm very curious about how you write such a good article. Are you an expert on this subject? I think so. Thank you again for allowing me to read these posts, and have a nice day today. Thank you.

[온라인바카라사이트]

The vacation trades offered are evaluated a variety of in the chosen and simply good value all around the world. Those hostels are normally based towards households which you’ll find accented via charming shores promoting crystal-clear fishing holes, concurrent of one’s Ocean. Hotels Discounts 온라인바카라사이트

[카지노사이트추천]

Hello, I am one of the most impressed people in your article. 카지노사이트추천 I'm very curious about how you write such a good article. Are you an expert on this subject? I think so. Thank you again for allowing me to read these posts, and have a nice day today. Thank you.

[keo nha cai]

I am very impressed with your writing keonhacai I couldn't think of this, but it's amazing! I wrote several posts similar to this one, but please come and see!

[온라인카지노사이트]

What a nice post! I'm so happy to read this. 온라인카지노사이트 What you wrote was very helpful to me. Thank you. Actually, I run a site similar to you. If you have time, could you visit my site? Please leave your comments after reading what I wrote. If you do so, I will actively reflect your opinion. I think it will be a great help to run my site. Have a good day.

[토토사이트추천]

Wow, this is absoulutely connected to my story here 토토사이트추천 I can suggest visitting my article so that we can share our knowledge.

[카지노사이트추천]

What an interesting story! I'm glad I finally found what I was looking for 카지노사이트추천.

[온라인카지노]

I finally found what I was looking for! I'm so happy. 온라인카지노 Your article is what I've been looking for for a long time. I'm happy to find you like this. Could you visit my website if you have time? I'm sure you'll find a post of interest that you'll find interesting.

[totosite]

I've been troubled for several days with this topic. totosite, But by chance looking at your post solved my problem! I will leave my blog, so when would you like to visit it?

[바카라사이트추천]

Hello ! I am the one who writes posts on these topics 바카라사이트추천 I would like to write an article based on your article. When can I ask for a review?

[온라인카지노]

Looking at this article, I miss the time when I didn't wear a mask. 온라인카지노 Hopefully this corona will end soon. My blog is a blog that mainly posts pictures of daily life before Corona and landscapes at that time. If you want to remember that time again, please visit us.

[먹튀검증업체]

nice to see you. Thanks to your good writing, it was meant to be. I want to see your next posts continuously. thank you :) 먹튀검증업체

[메이저놀이터]

I hope that your valuable article will be helpful to many people. Thank you for the time you invested in your writing. I will support the next article too. :) 메이저놀이터

[온라인바카라사이트]

Your ideas inspired me very much. 온라인바카라사이트 It's amazing. I want to learn your writing skills. In fact, I also have a website. If you are okay, please visit once and leave your opinion. Thank you.

[카지노사이트추천]

I've been using WordPress on a number of websites for about a year and am worried about switching to another platform. I have heard good things about 카지노사이트추천. Is there a way I can transfer all my wordpress content into it? Any help would be really appreciated!

[바카라사이트추천]

I’m not sure exactly why but this weblog is loading incredibly slow for me. Is anyone else having this problem or is it a problem on my end? I’ll check back later on and see if the problem still exists. 바카라사이트추천

[카지노게임사이트]

Hello! I could have sworn I've been to this site before but after checking through some of the post I realized it's new to me. Nonetheless, I'm definitely happy I found 카지노게임사이트 and I'll be book-marking and checking back frequently!

[바카라사이트]

This is the perfect post.바카라사이트 It helped me a lot. If you have time, I hope you come to my site and share your opinions. Have a nice day.

[baccaratcommunity]

Hello ! I am the one who writes posts on these topics baccaratcommunity I would like to write an article based on your article. When can I ask for a review?

[claredevlin7432]

I could barely move my vehicle an inch one day. It kept on trailing like a snail. When I called a mechanic over to my house he said it was due to my poor maintenance, especially my inability to check on my oil level and its condition much more often. Now I know how often and where to get the best oil change Dublin has to offer.

[marufhassan7432]

A good mechanic can spot the difference between a faulty part that needs replacement or certains tweaks to get things going. Get one of the best car service in Tallaght and make your car good as new.

[카지노온라인]

I finally found what I was looking for! I'm so happy. 카지노온라인 Your article is what I've been looking for for a long time. I'm happy to find you like this. Could you visit my website if you have time? I'm sure you'll find a post of interest that you'll find interesting.

[먹튀사이트]

I have very deep and honest thoughts. I think it would be appreciated if you came to my blog to see my thoughts too.먹튀사이트

[토토사이트]

Your blog was recommended by an acquaintance. No one understood my difficulties, but I am gaining strength from reading your article. thanks토토사이트

[https://totoghost.com/]

I was impressed by your article. It was really nice to see such an interesting article in a place where the same articles are prevalent. This is a waste of writing for only me to know. It's not enough. I hope it will be shared a lot.https://totoghost.com/

[메이저사이트]

I felt bad for an unexpected mistake, but it's nice to have a meaningful time without wasting time on your blog. I look at your writing and try my best.메이저사이트

[토토사이트]

Truly, this article is really one of the very best in the history of articles. I am a antique ’Article’ collector and I sometimes read some new articles if I find them interesting. 토토사이트

[바카라사이트추천]

That's a really impressive new idea! 바카라사이트추천 It touched me a lot. I would love to hear your opinion on my site. Please come to the site I run once and leave a comment. Thank you.

[baccaratcommunity]

I have been looking for articles on these topics for a long time. baccaratcommunity I don't know how grateful you are for posting on this topic. Thank you for the numerous articles on this site, I will subscribe to those links in my bookmarks and visit them often. Have a nice day

[casinosite]

It's too bad to check your article late. I wonder what it would be if we met a little faster. I want to exchange a little more, but please visit my site casinosite and leave a message!!

[카지노게임사이트]

When I read your article on this topic, the first thought seems profound and difficult. There is also a bulletin board for discussion of articles and photos similar to this topic on my site, but I would like to visit once when I have time to discuss this topic. 카지노게임사이트

[하하포커]

Someone necessarily help to make severely articles I might state. That is the first time I frequented your web page and up to now? I surprised with the analysis you made to create this actual publish extraordinary. Fantastic process 하하포커

[다바오홀덤]

I’m not sure exactly why but this weblog is loading incredibly slow for me. Is anyone else having this problem or is it a problem on my end? I’ll check back later on and see if the problem still exists. 다바오홀덤

[안전토토사이트]

Hello, I read the post well. 안전토토사이트 It's a really interesting topic and it has helped me a lot. In fact, I also run a website with similar content to your posting. Please visit once

[먹튀검증]

Hola, has realizado un trabajo increíble. Definitivamente lo cavaré y, en mi opinión, sugeriré a mis amigos

https://www.sportstoto.link/

[스포츠토토사이트]

I accidentally searched and visited your site. I still saw several posts during my visit, but the text was neat and readable. I will quote this post and post it on my blog. Would you like to visit my blog later? 스포츠토토사이트

[안전카지노사이트]

Meu irmão recomendou que eu gostasse deste site. Ele estava totalmente certo. Este post realmente fez o meu dia. Você não pode imaginar quanto tempo eu gastei com esta informação! Obrigado!

https://www.safecasinosite.net/

[메이저놀이터]

Your ideas inspired me very much. 메이저놀이터 It's amazing. I want to learn your writing skills. In fact, I also have a website. If you are okay, please visit once and leave your opinion. Thank you.

[บาคาร่า ออนไลน์]

Excellent beat ! I would like to apprentice while you amend your web site, how can i subscribe for a weblog web site? The account aided me a appropriate deal. I had been a little bit familiar of this your broadcast offered vivid transparent concept. บาคาร่า ออนไลน์

[안전놀이터]

There were so many interesting keywords, I didn't notice the time passing and I read the article. Please write a lot of useful articles. please.안전놀이터

[casinocommunity]

I am very impressed with your writing casinocommunity I couldn't think of this, but it's amazing! I wrote several posts similar to this one, but please come and see!

[betmantoto000]

Hello, everything is going perfectly here and ofcourse every one is sharing data, that's truly good, keep up writing. 스포츠토토

[betmantoto000]

Hi Dear, are you in fact visiting this web site regularly, if so after that you will absolutely get nice knowledge. 스포츠토토티비

[betmantoto000]

Great looking web site. Assume you did a lot of your very own html coding. 토토사이트

[betmantoto000]

Hi there, just wanted to tell you, I liked this article. It was inspiring. Keep on posting! 스포츠토토 슬롯머신사이트

[토토사이트추천]

What a nice post! I'm so happy to read this. 토토사이트추천 What you wrote was very helpful to me. Thank you. Actually, I run a site similar to you. If you have time, could you visit my site? Please leave your comments after reading what I wrote. If you do so, I will actively reflect your opinion. I think it will be a great help to run my site. Have a good day.

[메이저사이트]

I'll come to your blog often, so I think you'll be really ecstatic if you stop by my site too. I'll wait.메이저사이트

[texasholdemsite.info]

Très bon article ! Nous créerons des liens vers ce grand contenu sur notre site. Continue d'écrire.

Quelle histoire intéressante ! Je suis content d'avoir enfin trouvé ce que je cherchais Excellente lecture

https://www.texasholdemsite.info/

[토토사이트]

I want you to thank for your time of this wonderful read!!! I definately enjoy every little bit of it and I have you bookmarked to check out new stuff of your blog a must read blog! 토토사이트 I hope more and more people will find such a good article.

[ufaauto789]

whoah this blog is excellent i love studying your posts. Keep up the good work! You realize, many persons are looking around for this information, you can help them greatly. สล็อตยูฟ่า789

[메이저사이트]

After looking into a few of the blog posts on your websiat, wonderful website! Your style is unique in comparison to other folks I’ve read stuff from. Thanks for posting when you’ve got the opportunity, Guess I will just bookmark this blog. 메이저사이트

[ufaslot]

It's always a pleasure to read your magnificent articles on this site. You are among the top writers of this generation, and there's nothing you can do that will change my opinion on that. My friends will soon realize how good you are. ufaslot

[UFAAUTO789]

ufa wallet 789 เว็บตรงแทงบอล และคาสิโนออนไลน์ดีที่สุด2023 สล็อต PG ทดลองเล่น เล่นฟรีทุกค่าย เล่นได้ก่อนใคร

[ยูฟ่า168]

Its like you read my mind! You seem to know a lot about this, like you wrote the book in it or something. I think that you could do with some pics to drive the message home a little bit, but instead of that, this is great blog. A fantastic read. I will definitely be back. ยูฟ่า168

[betflixsupervip]

Thank you for another magnificent article. Where else may anyone get that type of info in such an ideal manner of writing? I’ve a presentation subsequent week, and I am on the look for such information. betflixvip

[ยูฟ่าสล็อต]

Decent data, profitable and phenomenal outline, as offer well done with smart thoughts and ideas, bunches of extraordinary data and motivation, both of which I require, on account of offer such an accommodating data here. ยูฟ่าสล็อต

[ยูฟ่า168]

Excellent Blog! I would like to thank for the efforts you have made in writing this post. I am hoping the same best work from you in the future as well. I wanted to thank you for this websites! Thanks for sharing. Great websites! ยูฟ่า168

[camav090]

Awesome Website. Keep up the good work. Regards, fubo.tv/connect

[betflixvip]

Genuinely, this article is extremely one of the absolute best ever. I am an antique 'Article' gatherer and I at times read some new articles in the event that I discover them intriguing. What's more, I discovered this one entirely captivating and it ought to go into my gathering. Good work! เบทฟิกvip

[먹튀검증추천]

I have joined your rss feed and sit up for seeking extra of your excellent post. Also, I’ve shared your site in my social networks 먹튀검증추천

[토토사이트검증]

Usually keep it up! Nicely i in reality favored analyzing it. This subject supplied by using you could be very practical for proper planning. What’s up, i read your weblog daily. Your writing fashion is 토토사이트검증

[토토사이트추천]

Great post i must say and thanks for the information. Education is definitely a sticky subject. However, is still among the leading topics of our time. Thanks 토토사이트추천

[토토먹튀블로그]

This article provides clear idea designed for the new users of blogging, that truly how to do running a blog. 토토먹튀블로그

[메이저놀이터추천]

I all the time emailed this blog post page to all my friends, as if like to read it then my friends will too. 메이저놀이터추천

[토토사이트]

For that reason webpage, you will see your money, try to remember so that you can plod by this points (: 토토사이트

[토토사이트추천]

This is very amiable, nonetheless, upon processed fundamental that might sensitive (: 토토사이트추천

[메이저사이트]

We've actually appropriate identified to generate some form of web page, i usually keep been poor to try to accomplish just for quite some time throughout 메이저사이트

[UFAAUTO789]

ยูฟ่า789 เว็บแทงบอลที่ใหญ่ และการเงินมั่นคงที่สุด สล็อตออนไลน์ ไม่มีขั้นต่ำ ใช้ทุนน้อย เล่นได้ทุกเกม

[Anwar Al Janna]

تعمل شركة انوار الجنة المحترفة في الدمام على تقديم خدمات عزل مواسير عالية الجودة عزل مواسير المياه

[elkhier]

تجسد شركة الخير الريادية في مجال العزل في الرياض التزاماً بتوفير بيئة مريحة وصحية للمجتمع. شركة عزل مطابخ بالرياض

[speed way]

شركة سبيد واي لنقل الأثاث في الرياض تقدم خدمات نقل فعالة وآمنة لتجربة نقل مريحة نقل عفش بالرياض 200 ريال شركة نقل عفش ارخص شركة نقل اثاث بالرياض

[arkan alshaamil]

تتميز شركة اركان الشامل بتقديم خدمات تنظيف متنوعة تلبي احتياجات العملاء بكفاءة عالية شركة تنظيف بالدمام شركة تنظيف بالدمام شركة تنظيف مجالس بالدمام شركة تنظيف وتعقيم خزانات بالدمام شركة تنظيف منازل بالدمام عمالة فلبينية

[cleaner4me]

شركة كلينر لخدمات التنظيف بالرياض: الخيار المثالي للحصول على منزل نظيف ومرتب تنظيف منازل بالرياض شركة تنظيف فلل بالرياض ارخص شركة تنظيف بالرياض غسيل مكيفات بالرياض شركة تنظيف فلل بالرياض ارخص شركة تنظيف مجالس بالرياض شركة تنظيف بالرياض بالساعة تنظيف كرفانات بالرياض

[Suqur Al Jazeera]

بإتقان فنون النظافة والصرف الصحي، تبرز شركة "صقور الجزيرة" كخيار لا مثيل له في مجال شفط البيارات وتسليك المجاري. شركة تسليك مجاري بالضغط بالدمام وايت شفط بيارات الصرف بالدمام افضل شركة تسليك مجاري بالدمام ارخص شركة تسليك مجاري بالدمام اضرار اهمال تسليك المجاري

[one cargo]

THE ONE CARGO นำเข้าสินค้าจีน จัดหา จัดซื้อ และตรวจสอบสินค้าคุณภาพตรงมาตรฐานในราคาคุ้มค่า เราได้มีการร่วมมือกับโรงงานกลุ่มผู้ผลิตมากมายในจีนและภูมิภาคเอเชียพร้อมทั้งบริการหลังการขาย เพื่อเพิ่มความมั่นใจ และตอบสนองความต้องการของลูกค้าอย่างดีที่สุด

[BETFLIXSUPERVIP]

Thank you for another excellent article. Where else could anybody get that kind oof information in such an ideall means of writing? I’ve a presentation next week, and I’m at the look for such info.betflik vipbetflikvip

[outlookindiapowerball]

I want to thank you for this excellent read!! I absolutely loved every little bit of it. I've got you book-marked to look at new stuff you post…

https://bit.ly/outlookindiapowerball

[파워볼실시간]

Ini benar-benar informasi yang bagus dan berguna. Saya senang bahwa Anda berbagi info berguna ini dengan kami. Tolong tetap update seperti ini. Terima kasih sudah berbagi.

https://bit.ly/outlookindiapowerball