abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 13:30 | Zajímavý software

Byly uvolněny zdrojové kódy známé rogue-like hry DoomRL. Počátky hry jsou v roce 2002. Je napsána ve FreePascalu a zdrojový kód je nyní k dispozici na GitHubu pod licencí GNU GPL 2.0. Autor pracuje na nové hře Jupiter Hell, která je moderním nástupcem DoomRL a na jejíž vývoj shání peníze prostřednictvím Kickstarteru.

Blaazen | Komentářů: 0
dnes 13:15 | Pozvánky

Přijďte s námi oslavit vydání Fedory 25. Na programu budou přednášky o novinkách, diskuse, neřízený networking atd. Release Party se bude konat 16. prosince v prostorách společnosti Etnetera. Na party budou volně k dispozici také propagační materiály, nová DVD s Fedorou 25 a samozřejmě občerstvení. Přednášky budou probíhat v češtině. Pro více informací se můžete podívat na web MojeFedora.cz. Jen připomínám, že tentokrát jsme zavedli

… více »
frantisekz | Komentářů: 0
včera 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
včera 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 4
včera 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
včera 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
7.12. 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 808 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Pomalé RAID pole

16.9.2011 11:02 tark
Pomalé RAID pole
Přečteno: 652×
Příloha:
Mám problém s příliš pomalými RAID poli na domácím serveru (postaveném na 740G + Sempron 140 + 5 disků - 4x1,5TB + dočasně 1x2TB, některé mají 512B sektory, některé 4K). Na serveru jsou dvě pole:

1) RAID 1, 10GB, /dev/sd[a-e]1

2) RAID 6, 4.5TB, /dev/sd[a-e]2

Čtení je rychlostně naprosto v pořádku (R1-90MB/s, R6-226MB/s), problém je se zápisem, kdy zápis na R1 dosahuje cca 17MB/s a na R6 38MB/s. Na polích je zapnutá 128MB write-indent bitmapa, nicméně i po jejím zkušebním vypnutí na R6 poli byl zápis úplně stejný.

Zpozoroval jsem, že při zápisu je vytížení jednoho disku na 100%, příp. téměř na 100% a cpu má stav wait cca z 70% (viz screenshot, pomocí nástroje atop). Naprosto netuším, čím může být způsoben takový mizerný výkon, sektory na 4K discích by měly být zarovnány správně.

Začínám již uvažovat o vyzkoušení jiného HW z důvodu mizerné výkonnosti integrovaného SATA řadiče (je to postavené na lowend desce atd.).

Výkon byl zkoušen příkazy:
ČTENÍ
dd bs=1M count=1024 if=test.test of=/dev/null

ZÁPIS
dd bs=1M count=1024 if=/dev/zero of=test.test conv=fdatasync

ROZDĚLENÍ DISKŮ (jednotky = sektory)

Disk /dev/sda: 1500.3 GB, 1500300828160 bytes
255 heads, 63 sectors/track, 182401 cylinders, total 2930275055 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x76334c22

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1            2048    19531775     9764864   fd  Linux raid autodetect
/dev/sda2        19531776  2929688575  1455078400   fd  Linux raid autodetect

-----------------------------------------------------------------------------

Disk /dev/sdb: 2000.4 GB, 2000397852160 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907027055 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xd9cd6c6d

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1            2048    19531775     9764864   fd  Linux raid autodetect
/dev/sdb2        19531776  2929688575  1455078400   fd  Linux raid autodetect

-----------------------------------------------------------------------------

Disk /dev/sdc: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders, total 2930277168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00006673

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1            2048    19531775     9764864   fd  Linux raid autodetect
/dev/sdc2        19531776  2929688575  1455078400   fd  Linux raid autodetect

-----------------------------------------------------------------------------

Disk /dev/sdd: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders, total 2930277168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0xe27ff672

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1            2048    19531775     9764864   fd  Linux raid autodetect
/dev/sdd2        19531776  2929688575  1455078400   fd  Linux raid autodetect

-----------------------------------------------------------------------------

Disk /dev/sde: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders, total 2930277168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0xb765ccd8

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1              64    19530608     9765272+  83  Linux
/dev/sde2        19530616  2930277160  1455373272+  83  Linux
Poslední disk má trochu jiné rozdělení, nicméně to by nemělo vadit, stejné problémy se vyskytovaly i v degradované konfiguraci pole (jen nemám otestovanou rychlost). Zajímavé také je, že resync (právě po přidání tohoto posledního disku) běžel ze začátku 1.5-3MB/s a ráno, když jsem se vzbudil, tak jel 35MB/s... Opět nechápu proč.

Dodám ještě, že server není téměř vůbec vytížený, jde vlastně jen o souborový server pro několik uživatelů.

Řešení dotazu:


Odpovědi

16.9.2011 11:10 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Pomalé RAID pole
To vážně vypadá, jako by to sda brzdil (disk, řadič, kabel...). Zkoušel jsi zápisový výkon samostatných disků, tj. vyřadit z pole, testnout bokem, pak jej tam zase vrátit? Měly by mít všechny srovnatelný výkon.
16.9.2011 11:48 tark
Rozbalit Rozbalit vše Re: Pomalé RAID pole
To jsem zapomněl napsat... když jsem to zpozoroval, zkoušel jsem disk vyřadit z pole a během chvíle začal to samé dělat jiný disk, takže to není tímhle :(
16.9.2011 11:52 -
Rozbalit Rozbalit vše Re: Pomalé RAID pole
Zdravim, ak potrebujes vykonne diskove pole tak: 1. nikdy neurobis RAID 6, 2. nemixujes rozne typy poli na jednej sade diskov, 3. pouzijes disky s rovankymi parametrami(nemusi byt rovanky vyrobca ani model), 4. kupis HW radic(pozor na lacne sracky, kde je RAID funkcionalita implementovana na urovni drivera OS). HW radice zacianju na cca 500EUR,
16.9.2011 12:03 tark
Rozbalit Rozbalit vše Re: Pomalé RAID pole
Nejde mi o extra výkonné diskové pole, toto je pouhý domácí souborový server s nějakými dalšími kravinami, které nezabírají téměř žádný výkon. RAID1 pole slouží jen pro systém + ukládání logů, tj. za provozu se na něj téměř nezapisuje a výkon tedy téměř neovlivňuje.

Problém je, že výkon je doslova mizerný (přirovnám to k tomu, jako by normální auto jelo pouze 40km/h) a podle mě nesouvisí s žádným z těchto bodů. Jediné co mě napadá je, že by dělalo takové brutální problémy mixování disků s 512B a 4kB sektory, ale to by nevysvětlovalo obrovské zatížení pouze jednoho disku, když jsou tam se 4kB sektory dva.

Mám také pocit, že dříve to nedělalo, ale úplně jistý si tím nejsem... Je možné, že se stala nějaká změna, ale už bohužel nejsem schopný ji lokalizovat. :(

Systém běží na Debianu Squeeze.
16.9.2011 12:08 -
Rozbalit Rozbalit vše Re: Pomalé RAID pole
ok, dokup este jeden disk a urob z nich vsetkych len 1xR10, kapacita bude rovnaka ako R6 a vykon bude daleko vyssi
18.9.2011 12:18 tark
Rozbalit Rozbalit vše Re: Pomalé RAID pole
Jen pro info... 5 disků, AMD Sempron 140 (= nejlevnější singlecore), RAID 6 = 105MB/s při zápisu. Pro domácí server myslím, že dostatečné.
16.9.2011 12:15 tark
Rozbalit Rozbalit vše Re: Pomalé RAID pole
Příloha:
Problém je v tom, že normální výkon RAID6 byl dostatečný, tuším se tam dostávalo až na nějakých 80MB/s při zápisu přes 1Gbit ethernet, ale prostě teď je něco špatně a něco to brzdí. Vždyť když si to tak vezmu, při zápisu na R1 (když se ve stejné době na R6 nic nezapisuje) je výkon pouhých 17MB/s! To není normální, i když je R-1 pole složené z pěti disků.

V příloze je nějaký screenshot benchmarku po nainstalování serveru, ale i tak mi ty hodnoty přijdou nějaké divné (rychlejší zápis než čtení... wtf?).
16.9.2011 16:26 tark
Rozbalit Rozbalit vše Re: Pomalé RAID pole
Vyzkoušeno na jiném HW (standardní PC na Intel, P31, E7200) pouze se čtyřmi disky (málo SATA) a dělá to to samé...
Dreit avatar 16.9.2011 18:13 Dreit | skóre: 15 | blog: Dreit a jeho dračí postřehy | Lázně Bělohrad
Rozbalit Rozbalit vše Re: Pomalé RAID pole

Třeba jeden disk "pomalu" umírá - v lepšim případě špatný sektory, v horšim....dělaly mi to zatím dva disky, když se dostanou hlavičky do jednoho konkrétního místa tak disk zacvaká, zastaví se, během chvilky se znova roztočí a snaží se pokračovat...někdy se ani nezastaví a hlavičky jen kmitaj třeba pět minut na jednom místě než se odtrhnou a pokračujou dál (Windows umře hned, tučňák se snaží pokračovat, ale jak se disk chytne tak rychle všechno uložit, protože do minuty příjde kernel panic).

Kupodivu S.M.A.R.T. mi na to říkal že je všechno v pořádku, nakonec mi to jeden člověk pořádně projel, našel DVA špatný sektory a bylo jasno - i když nechápu, brácha má na stejnym disku vadných sektorů údajně desetitisíce a nic jako zastavování nebo ty zátuhy se u něj neprojevuje. Mimochodem byly to disky Western Digital Green, už nikdy víc.

 

(nic lepšího mě nenapadlo)

Nope
16.9.2011 19:28 tark
Rozbalit Rozbalit vše Re: Pomalé RAID pole
Zdá se, že jste se trefil naprosto přesně. Vysvětlím situaci - původně jsem napsal:

když jsem to zpozoroval vytížení disku na 100%, zkoušel jsem disk vyřadit z pole a během chvíle začal to samé dělat jiný disk, takže to není tímhle :(

Zdá se, že v poli byly dva pomalu umírající disky - jeden víc umírající a jeden míň umírající. Víc umírající jsem vyhodil z pole a proto začal to samé (= vytížení na 100%) dělat druhý, zřejmě míň umírající disk, který byl přecejen trošku rychlejší než více umírající... bohužel mi nedošlo, že v poli můžou být dva vadné disky naráz a proto jsem celou dobu hledal chybu někde jinde, včetně špatného nastavení mdadm a bůhvíčeho ještě :) Díky za nakopnutí. Po vykopnutí z pole i tohoto disku se výkon RAID 1 zlepšil ze 17MB/s na 90MB/s.
Dreit avatar 16.9.2011 21:14 Dreit | skóre: 15 | blog: Dreit a jeho dračí postřehy | Lázně Bělohrad
Rozbalit Rozbalit vše Re: Pomalé RAID pole

Pokud jsou to disky WD tak bych se trošku bál, co jsem prostřídal několik WD disků, tak bezproblémově funguje jen historický 40GB, ostatní (dva 500GB) umřely až podezřele rychle, po půlroce jsem jeden posílal na reklamaci, když mi přišel zpátky tak vydržel jen pár dalších měsíců a odešel znova....takže jsem ho poslal na reklamaci (kus za kus) a prodal nový disk jen kousek pod cenou :-)  Koupil jsem dva samsungy 500GB, systém na RAID0 (až umře disk, tak to poznám), data na kterých moc nezáleží (muzika, panoramatické fotky, výtvory v GIMPu a swap) taky na RAID0 a jen to na čem opravdu záleží mám na RAID1

 

Snad se moje zkušenost hodila, nikdy bych nevěřil že se disk může zaseknout v jedné pozici a jen tam "tikat" i přes pět minut než se odtrhne a bude pokračovat ve čtení/zápisu.

Nope
16.9.2011 22:49 tark
Rozbalit Rozbalit vše Re: Pomalé RAID pole
Jo, to jsem zažil s tím pětiminutovým tikáním na nějakém stařičkém notebooku. Spíše jsem nezažil zpomalení rychlosti disku cca na 1/5 rychlosti při celkem normální funkci, takže jsem nevěděl, čemu to přisuzovat.

A jinak není lepší mít na systém RAID1 + na zbytek RAID5/6, stejně jako to je na tom serveru? Přijde mi to mnohem lepší... konkrétně na tom serveru jsem dělal, ať systém nabootuje odkudkoliv a data už můžu zachraňovat přes SSH. Na desktopu bych si to asi udělal podobně, pokud bych měl dost disků.
16.9.2011 23:21 x
Rozbalit Rozbalit vše Re: Pomalé RAID pole
To je "feature" tech levnych desktopovych disku a ne bug ;-)

Proto je dobre pouzivat na tyhle levne sestavy neco kde se o tyhle prusery stara poradne alespon filesystem. Realne je na vyber pouze ZFS nebo Hammer. Btrfs ma do produkce jeste hodne daleko a jeho dostupnot v Ubuntu instalatoru opravdu neznamena, ze se tomu daji sverit data ;-)

Taky doporucuju se podivat tady, kde se to popisuje http://openindiana.org/pipermail/openindiana-discuss/2011-August/004914.html

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.