abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 16:22 | Nová verze

Byl vydán DB Browser for SQLite (sqlitebrowser) ve verzi 3.10.0. Nejnovější stabilní verze této grafické nadstavby nad relačním databázovým systémem SQLite (Wikipedie) přináší například integraci s DBHub.io, tj. platformou pro sdílení SQLite databází. Podrobnosti na GitHubu.

Ladislav Hagara | Komentářů: 1
včera 08:00 | IT novinky

Andy Rubin, spoluzakladatel společnosti Android, jež byla v roce 2005 koupena Googlem, nyní CEO společnosti Essential Products, oznámil předprodej chytrého telefonu Essential. Telefon se začne rozesílat 1. září. Cena telefonu je 699 dolarů. Cena telefonu současně s 360° kamerou s rozlišením 4K byla stanovena na 749 dolarů. Kameru, v budoucnu i další příslušenství, lze k telefonu připojit pomocí konektoru s magnety.

Ladislav Hagara | Komentářů: 0
19.8. 13:44 | Zajímavý software

Evropská komise vydala novou verzi 1.4.0.1 svého open source v Javě naprogramovaného softwaru pro online průzkumy EUSurvey. Online dotazníky lze vytvářet na stránkách Evropské komise nebo si lze software stáhnout (zip a war) a nainstalovat lokálně. Zdrojové kódy jsou k dispozici pod licencí EUPL (European Union Public Licence).

Ladislav Hagara | Komentářů: 0
18.8. 23:55 | Komunita

Ubuntu 17.10 (Artful Aardvark) bude ve výchozím stavu zobrazovat Dok (Launcher). Jedná se o rozšíření GNOME Shellu Ubuntu Dock. To bylo forknuto z rozšíření Dash to Dock. Ukázka na YouTube [reddit].

Ladislav Hagara | Komentářů: 2
17.8. 15:33 | Nová verze

Byla vydána verze 17.08.0 KDE Aplikací (KDE Applications). Přehled novinek v kompletním seznamu změn a na stránce s dalšími informacemi. Aplikace kmag, kmousetool, kgoldrunner, kigo, konquest, kreversi, ksnakeduel, kspaceduel, ksudoku, kubrick, lskat a umbrello byly portovány na KDE Frameworks 5.

Ladislav Hagara | Komentářů: 0
17.8. 15:11 | Nová verze

Simon Long představil na blogu Raspberry Pi novou verzi 2017-08-16 linuxové distribuce Raspbian určené především pro jednodeskové miniaturní počítače Raspberry Pi. Společně s Raspbianem byl aktualizován také instalační nástroj NOOBS (New Out Of the Box Software). Nejnovější Raspbian je založen na Debianu 9 Stretch. Přehled novinek v poznámkách k vydání. Řešena je také bezpečnostní chyba Broadpwn (CVE-2017-9417).

Ladislav Hagara | Komentářů: 1
17.8. 12:33 | Nová verze

Byla vydána verze 3.2.0 programu pro skicování, malování a úpravu obrázků Krita. Přehled novinek v poznámkách k vydání a na YouTube.

Ladislav Hagara | Komentářů: 0
17.8. 11:44 | IT novinky

Minulý týden na šampionátu The International 2017 byl představen bot, který poráží profesionální hráče počítačové hry Dota 2. V nejnovějším příspěvku na blogu se organizace OpenAI o projektu více rozepsala a zveřejnila videozáznamy několika soubojů.

Ladislav Hagara | Komentářů: 7
16.8. 17:11 | Komunita

Byly zveřejněny videozáznamy přednášek z Fedora 26 Release Party konané 10. srpna v Praze.

Ladislav Hagara | Komentářů: 0
16.8. 15:33 | Komunita

Přesně před čtyřiadvaceti lety, 16. srpna 1993, oznámil Ian Murdock vydání "Debian Linux Release".

Ladislav Hagara | Komentářů: 8
Těžíte nějakou kryptoměnu?
 (4%)
 (2%)
 (18%)
 (76%)
Celkem 364 hlasů
 Komentářů: 21, poslední 13.8. 09:57
    Rozcestník

    Dotaz: ZFS kapacita při raidz2

    13.2.2013 12:10 Vladimír Pilný
    ZFS kapacita při raidz2
    Přečteno: 653×
    Dobrý den,

    zkoušíme přejít na Debianu 6 na ZFS (aktuální build ZFS on Linux). Doposud jsme používali 12 x 3TB HDD (tj. 36 TB, 32,7 TiB) v RAID-6 poli (mdadm) a JFS. Využitelná kapacita takového oddílu byla 30,0 TB (27,3 TiB). Což je v pořádku (36 - 6 TB).

    Když z těch 12 celých disků vytvoříme zpool typu raidz2 (což má odpovídat RAID-6, redundance 2 disků ověřena), tak zpool list píše SIZE 32.5TB a po přimountování celého zpoolu je velikost oddílu 26,8 TB (24,4 TiB).

    Pokud vytvoříme zpool z 10 HDD bez redundance raidz variant, je výsledná kapacita 29,4 TB (26,8 TiB). Což je rozumnější velikost. A obdobné testy s mnohem menšími disky (loopback zařízení) dávají i v raidz režimech také mnohem menší procentuální ztrátu kapacity.

    Kam se tedy podělo těch 2,9 TiB v případě raidz2 režimu? Opravdu má ZFS u velkých disků tak velkou režii (~10 %) nad rámec samotné redundance paritních disků a nejde s tím něco udělat? Děkuji.

    Odpovědi

    13.2.2013 14:49 JanM | skóre: 28
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    K té "režii" nic nenapíšu, ale v každém případě počítejte ještě s doporučením udržovat využití kapacity pole tak do 80 %, v opačném případě bude klesat rychlost zápisu (tuším), neb použitý mechanismus Copy On Write bude mít více potíží najít souvislé volné bloky čili hlavičky budou létat nad diskovými plotnami jak lesní včelky...
    13.2.2013 17:36 anonym
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    ZFS ma hodne ruznych metadat, v ramci konzistence dokonce v nekolika kopiich (dataset metadata ve 2, pool metadata ve 3), vsechno vcetne checksumu (nevim jestli se "rezervujou" predem nebo az pri alokaci). prave diky checksumum a kopiim (a dlouhym cislum, 128bit FS) jsou i block pointery dlouhe, takze je potreba vic gang blocku (indirect block pointer)

    druha vec co "ubira" vyrazne kapacitu je princip jak se chova k neuplnym stripum - parita se dela pro kazdy objekt (soubor), takze v raidz2 s malymi soubory je rezie 8KB na soubor, coz je vyrazne vic nez 1/6 disku

    Proste ZFS jako takove neni delane na to aby vyuzilo kazdy zbytecek mista nebo vykonu, je delane na to ze kdyz si koupim velke enterprise pole za spoustu penez tak mi nebude data samovolne casem ztracet

    zkusil bych se spis zeptat na webu ZoL, tam lidi vedi jak to vypada on-disk
    13.2.2013 18:45 Vladimír Pilný
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2

    Aha, takže je to prostě vlastnost ZFS a nejde to nějakým přepínačem poladit, obdobně jako např. výchozí % rezervovaných bloků u ext oddílů?

    Co mě však mate, je dost podivná závislost velikosti výsledného oddílu oproti kapacitě vstupních disků pro různý počet HDD. Udělal jsem pokus ještě s 8 a 10 HDD a procentuálně to vychází následovně (2 paritní disky vždy odečteny):
    8 HDD ... 92,98 %
    10 HDD ... 93,61 %
    12 HDD ... 89,31 %

    Varianta s 8 malými vstupními disky (2GiB loopback) pak má 97,41 % očekávané kapacity. A to je zvláštní nepoměr oproti 92,98 % u identicky konfigurovaných 3TB disků. Malé zpooly se od velkých snad nemůžou lišit ničím víc, než hloubkou úrovní indirect block pointerů, ne?

    Jinak všechny oddíly byly prázdné a tudíž způsob a místo obsazené soubory v tuto chvíli neřeším.

    Nejvíc mě ale překvapilo, že se o tomto jevu nikde nepíše.

    13.2.2013 22:15 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Nepracuji ze ZFS tak jen obecnější odhad. ZFS je značně komplexní file system, který provádí významné optimalizace, všechny optimalizace v takových systémech směřují ke spolehlivosti a rychlosti, ne k efektivitě ukládání. Myslím, množství dat, které ZFS ukládá a zpracovává na optimalizaci není lineární s používanou kapacitou, ale mocnina je vyšší než 1, do nějakého poměru. Podobně požadavky na operační paměť jsou pro efektivní běh ZFS také větší než např. u linuxových ext filesystémů. Mimochodem kolik paměti máte pro takového pole?
    14.2.2013 01:09 Vladimír Pilný
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    32 GB, zvažujeme nasazení na dalším 12 diskovém serveru s 16 GB.
    21.2.2013 12:09 Vladimír Pilný
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Na ZoL jsem konečně našel někoho, kdo přehledně popisuje stejný jev https://groups.google.com/a/zfsonlinux.org/forum/?fromgroups=#!topic/zfs-discuss/foHyK7br0Fk

    Vysvětlení je jen částečně, ale bohužel směřuje k domněnce, že ztracená kapacita není v ZFS využita efektivně, ale jako odpad posledního stripu nad velikost ZFS bloku.
    21.2.2013 13:10 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    No to je podle mne dobrá zpráva. Protože když provedete ZFS nad 10 nebo 18 disky pro RAID 6 dostanete 100% využití kapacity bez ztrát. A v podstatě je to jen o tom jaké koupíte řadiče disků. Je to jen informace, nedá se to plácat zcela jakkoliv, ale pravidla jsou pochopitelná.
    21.2.2013 14:05 Vladimír Pilný
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Bohužel to je složitější o to, že nezáleží jen na počtu disků, ale i jejich kapacitě, viz mé testy s menšími loopback zařízeními. Například pro "optimální" počet 10 u 2TB disků nezískáte 100 % kapacity, ale 93,5 %, viz měření Adriana Tsaie.

    Docela by mě zajímala, jaká je mezní (maximální) ztráta kapacity v nejhorším možném případě.

    ZFS se nám dost líbí, ale designování úložišť s ohledem na počet disků = mocnina dvou + redundantní a ještě závislé na kapacitě tedy jako dobrou zprávu nevnímáme, když hloupý mdadm v RAID-6 využívá vždy 100 % kapacity.
    21.2.2013 17:03 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Jednak se omlouvám, že mluvím o něčem, co moc neznám, ale efektivita by měla záviset primárně od velikosti ZFS bloku. Pokud byste definoval ZFS bloky na malou velikost mělo by se využití zlepšit.

    mdadm sice využije 100%, ale moje zkušenosti ukazují, že i na RAID 5 je velmi pomalý ve všech situacích, kdy na file systému se pracuje s čímkoliv menším než je velkost stripu RAIDu a ještě je třeba, aby ten datový objekt byl zarovnaný se stripem. Protože když budu zapisovat jeden 4k blok do raidu 5 tak nejdříve musí načíst ten blok který budu přepisovat, načíst paritní blok, udělat XOR všech tří bloků (starý XOR nový XOR stará parita = nová parita) a zapsat nový blok a paritní. (pokud je v paritním bloku čistá parita), čím více bloků do stripu píšu, tím víc bloků musím číst z různých disků a tím mi to trvá déle, protože všechny disky musí "seekovat" jak čtení tak zápis. Pouze v případě, že zapisuji celý strip nemusím z toho stripu nic dopředu číst, ale čím mám více disků, tím více musím naráz napsat, abych měl plný strip, a taky bych měl začít psát na začátku stripu.

    mdadm stripy nijak neřeší, dokonce ani nedá file systému nad sebou info, že je něco jinak než prostý disk. Takže soubory na začátku stripu nezačínají, file systém bloky nijak neoptimalizuje a náročnější operace celé pole rozdrnčí, ale propustnost je nízká. A RAID 6 je z výkonového pohledu horší než RAID 5.

    Očekával bych vazbu optimalizace ZFS RAIDu přimo na blokovou strukturu filesystému a odtud zdroje ztrát a zase je to otázka výkonu proti efektivitě. Pokud je to zálohovací server tak to asi důležité není, ale pokud tam bude nějaká produkce, tak bych zkoušel testy výkonu. Jen tak mimochodem (je to sice zcela jiná kategorie) pro můj domácí server, kde mám 4x1,5TB v madadm RAID 5, když se spustí zalohovací program BackupPC, který zálohuje ostatní domácí systémy pomocí rsync, tak faktická rychlost je dost nízká pro inkrementální backupy a přitom zobrazení přes atop popisuje vytížení na /dev/sdx skoro na 100%
    21.2.2013 18:45 Vladimír Pilný
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Děkuji za reakci, nicméně já nerozporuji nic z ostatních vlastností ZFS coby spojení FS a RAID vrstvy, která přináší logicky nemálo výhod. Šlo mi skutečně jen o tu užitečnou kapacitu a zda s tím lze něco dělat, nebo ne.

    A stále mi připadá zvláštní, že se o této vlastnosti téměř nikde nemluví. Zřejmě patří ZFS do lepší společnosti, kde se nad promrhanými 10 % kapacity jen velkoryse mávne rukou. ;-)

    Co se týče výkonu, tak jsme dělali základní testy a náhodné i sekvenční zápisy vypadají skutečně lépe než u ext4/jfs; čtení rychlejší není. Nejdůležitější ale bude chování v reálném prostředí na zaplněnějším poli a to se teprve uvidí.
    22.2.2013 11:11 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Jak jsem psal ZFS nepoužívám, tak přímou radu nemohu dát. Ale očekával bych, že když se zeptáte na stav filesystému s nejvyšší úrovní verbosity, tak vyjeví jaké sektory má na co. A dají se posčítat.
    disposable avatar 22.2.2013 11:44 disposable | skóre: 23
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Keďže píšete o zfsonlinux na Debiane, zaujíma ma ako riešite automatický mount. Pokiaľ viem zfs do /etc/fstab dať nemôžete. Ja musím vždy po reštarte môjho home servera ručne zadať "zfs mount -a". Ubuntu má aplikáciu "mountall" ktorá toto obstaráva, ale Debian nič podobné nemá.
    if it ain't broke, don't fix it
    22.2.2013 15:32 Vladimír Pilný
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    ZFS jsme na zkoušku nasadili na 2 servery s Debianem a na každém instalovali zfsonlinux trochu jinak. Na jednom jsem v
    /etc/default/zfs
    změnil
    ZFS_MOUNT='yes'
    a funguje to. Na druhém tam onen soubor není, ale
    /etc/init.d/zfs restart
    zdá se mountování provádí automaticky. Ten druhý server jsme však ještě nemohli restartovat, tak uvidíme.
    27.2.2013 11:43 Vladimír Pilný
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    Tak na druhém serveru bylo potřeba
    update-rc.d zfs enable
    A už se mountuje automaticky také.
    disposable avatar 27.2.2013 17:07 disposable | skóre: 23
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    dakujem za tie informacie
    if it ain't broke, don't fix it
    28.2.2013 18:28 anonym
    Rozbalit Rozbalit vše Re: ZFS kapacita při raidz2
    pripadne v ZFS nastavit property mountpoint=legacy, a resit pomoci fstab jako vzdycky

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.