Jak jsem vytvarel, formatoval a montoval oddil vetsi nez 2TR

12.3.2008 10:30 | Přečteno: 1839× | Linux

Pac nam disky sli dolu a dat neustale narusta, zakoupil jsem 8x500 GB WD5000ABYS. Na disky jsem si nechal vyfrezovat plotynky z hliniku a 4mi dirami pro uchyceni sroubku. Tyto drzacky jsem naladoval do sveho Dell PowerEdge 6300, ktery je urcen pro 8xscsi disky. Radic jsem pouzil 3ware 8500s, ktery je defaultne podporovany jadrem.

02:03.0 RAID bus controller: 3ware Inc 9xxx-series SATA-RAID

Po zapnuti jsem jen spokojene popijel kavicku a cekal co se bude dit. Radic se k me spokojenosti nadetekval bez problemu, nalsedne jsem nainstaloval sw pro spravu radice, vytvoril raid5 s jednim hot-spare diskem. Vysledna kapacita je cca 2.7TR.

show

Ctl   Model        (V)Ports  Drives   Units   NotOpt  RRate   VRate  BBU
------------------------------------------------------------------------
c1    9500S-8      8         8        2       0       1       1      -

Spustil jsem svuj oblibeny "fdisk -l" a ejhle nic. Trosku me zamrazilo, rikam si kde sem udela lchybu tak si ctu po ruznu z vysledku Googlu. A zjistuju, ze fdisk nepodporuje oddile vetsi nez 2tr. Pry existuje nejaky program parted, coz me pripomina nejaky film. Nasleduje slackpg install parted.

Cumim jak puk do konzole proramu parted, zkousim prikazy mklabel, mkpart a pote mkfs.reiserfs. Rikam si, ze doposud to slo nak hladce az prilis. No nemylil jsem se, protoze zkusebnim restartu neumoznil namontovani nove vytvoreneho oddlilu. Divam se opet v konzole parted do PRINT a zjistuju ze je vse v olrajtu, vyskakuji ven a zkousim opet namontovat a....

mount /mnt/raid5/
mount: wrong fs type, bad option, bad superblock on /dev/sdb1,
       missing codepage or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

... nic :). Zapinam znovu parted zkousim zmenit jmeno, ukoncuji montuji a pozor, namontovano. Cvicny restart bohuze zpusobil, ze jsem tam kde jsem byl pred tim. No nic du badat kde je krpa. Prikaz print mi ukazuje velikost 3000GB. Tuto velikost jsem zasal i do mkpart. Zkusim ji snizit na skutecnou 2730GB.

Pokracovani priste.. Pozn: kdyz jsem partisnu formatoval pomoci ext3, tak jsem se dostal na velikost 2TR a vic ani prd, pravdepdobne omezeni fs.        

Komentáře

[Michal Kubeček]

Podle zdrojů dostupných na webu by limit velikosti filesystému měl být u ext3 i ReiserFS (3.6) být 16 TB. Stejně bych ale pro takhle velký filesystém zvolil raději XFS nebo JFS.

[Michal Kubeček]

Jinak pokud máte problémy s nástroji pro rozdělování toho pole, co ho nerozdělovat a vytvořit filesystém přímo na něm?

[lowprize]

Xfs a nebo jfs jsem nikdy nezkousel. Jdu to otestovat. Zatim nanem nic neni takze ani nemam co zkazit :)

Zaroven zrusim i partition a fuknu to naprimo

[Jiří (BoodOk) Kadeřávek]

XFS jen pokud máte dobré záložní zdroje. I tak je ale dle mé osobní zkušenosti ext3 stabilnější než XFS. Tím nepopírám, že XFS má jisté výhody (lepší práce s velikými adresáři apod.)

[Heron]

Jaké máš zkušenosti s ext3 na 5TB? Celkem mě děsí zkušenosti s mailling listů, kde si různí lidé stěžují na 5 dnů běžící fsck a následný Out of memory error. Chystám se na 2.7TB raid5, mám to otestováno a ext3 se ma tom vytváří hooodně dlouho a fsck prazdého disku je na hodinu. Kolik tam máš paměti?

[Jirkaehm]

Mam v provozu 5tb pole, ale pouzivam reisera. Nic hrozneho to neni 5x500gb v raid5 + 5x750gb v raid5, spojene dohromady LVM, zasifrovane pomoci dm_crypt ;)

[Heron]

Vím, že to není nic hrozného, ptal jsem se na zkušenosti s ext3 na takto rozměrném oddíle.

Jak dloho trvá mount toho reisera? A fsck?

[:::]

1. vzhledem k tomu ze je to 5tb tak predpokladam, ze tam sou hlavne filmy. A jakej ma proboha smysl sifrovat filmy (krome toho ze treba nevis co s vykonem) ??????

2. a ten disk si pred zasifrovanim prepsal nahodnyma datama?
- Pokud ne, tak se to da lousknout pomoci plain-text attack
- a pokud jo, tak pravdepodobne taky. Nevim sice jakej si pouzil generator nahodnych cisel, ale je dost pravdepodobny, ze se na ty plose zopakoval nekolikrat.

[Non_E]

Zajímalo by mě, jaké máš s takovým polem zkušenosti. Sám o něčem takovém uvažuji (LVM & dmcrypt, jeden nikdy neví) a docela se bojím ztráty výkonu. Máš hw řadič nebo softraid?

[Jirkaehm]

hdparm -tT /dev/mapper/zasifrovano: Timing cached reads: 2732 MB in 2.00 seconds = 1366.67 MB/sec Timing buffered disk reads: 124 MB in 3.00 seconds = 41.29 MB/sec

Je to ale zasifrovane AES256, a cele to beha na nejakem sempronu 2000+.

Raid je samozrejme software, je to pohodlnejsi a o xxxxx kc levnejsi :)

[Michal Kubeček]

Ještě by byl zajímavý údaj o zátěži procesoru při tom čtení.

[Jirkaehm]

100% jak jinak :)

[Michal Kubeček]

Pokud je to jen fileserver, tak to moc nevadí. Jakmile by na tom stroji ale běželo něco dalšího, co je náročné na procesor, už to bude trochu problém. V každém případě ale 100% zátěž procesoru téměř jistě znamená, že procesor je úzkým hrdlem, takže by šlo výkon zvýšit buď posílením procesoru(-ů) nebo volbou jiného řešení.

[Jirkaehm]

Je to jen fileserver, pri budovani pred 2ma roky jsem si blahove myslel ze bude stacit levny pomaly pentium D procesor :) Ted spise resim jiny orisek, jak dale rozsirovat? Momentalne mam desku s integrovanym 8xs-ata, 2pcie 2x-sata radice, a 1pci 2xsata radic. Tzn 14 portu, a momentalne tam je 14 disku. Volny je uz jen pcie16x slot (deska ma sice 2pci, ale v tom druhem je grafika s3, 2mb ram ;) ), co jsem zatim koukal tak 4 a vice portove radice do pcie jsou drahe jako blazen, nevi nekdo o nejake levnejsi alternative s minimalne 5ti porty?

[Jimmy]

Vzhledem k ceně nový disků nebude nejlevnější rozšíření vyměnit některé disky za větší ? Maximální kapacita 14 TB by u takovéhoto low cost řešení mohlo stačit (nebo lepší poměr cena/výkon u 750 GB disků - 10,5 TB).

Jinak 5x500gb + 5x750gb dává 10 portů, pokud vezmu raid1 na systém, tak pořád zbývají 2 volné porty, kam lze přidat např. 1 TB v raid1.

[Jirkaehm]

Zbyle 4 disky jsou jeden systemovy, a 3 zalohovaci, casem asi bude reseni je vyhodit do jineho stroje.

Ale nevim jak jste vypocital kapacitu 10.5tb? i pri pouziti 10ks 1tb disku po 5ks v raid5, mame "jen" 8tb :) navic nejvetsi problem pri vymene mensi disku za velke je to ze se vsechny tyto disky musi pripojit do systemu zaroven, aby byla moznost premigrovat obsah z mensich disku na vetsi...

Slo me spise o to jestli nekdo nema zkusenosti s nejakym funkcnim levnym pcie radicem s aspon 4 porty :)

[Non_E]

Dík za info, to abych si na to pořídil čtyřjádro Zkusím udělat víc partition a snad si je kcryptd nějak rozeberou

[Jirkaehm]

Zalezi na tom jake sifrovani pouzijete, a hlavne jestli preferujete spise vice klientu najednou (4jadro) nebo potrebujete pro mene klientu co nejrychlejsi cteni (sem bych spise doporucil co nejrychlejsi 2jadro)...

[zdenek-hbr]

velikost nezadavej

mkpart primary reiserfs 0 -0

to musi jit

jinak dal bych XFS

[lowprize]

gud si to nekam zapisu

Naformatoval jsem to na xfs, ted testuju jadro esi me to sezere

[andree]

sed s%TR%TB% =)

[Archman]

Ach jo.. S diakritikou by se to četlo tak 100x lépe!

[hele]

na vetsi nez 2TB je treba davat ten jiny typ partition tabulky GPT tusim(v jadre advanced partition typy), co ten parted udajne umi. ja mam 5TB prostor, ale mam to nakonec bez partitiony, primo na zarizeni na xfs a jsme spokojeni, i zvetsovali jsme nekolikrat a vse v poradku.

[Kvakor]

Ja se osobne docela divim, ze to vubec nejakou partition udelalo. Klasicka 'DOSovska' partiton totiz vypada takto :

0x00 - 1 byte - stav, 0x80 - bootvatelna, 0x00 - nebootovatela

0x01 - 3 byty - CHS adresa prvniho sektoru

0x04 - 1 byte - Typ (Linux ma 0x82 a 0x83, NTFS 0x07, FAT32 0x0C)

0x05 - 3 byty - CHS adresa posledniho sektoru

0x08 - 4 byty - LBA adresa prvniho sektoru

0x0C - 4 byty - velikost partition v sektorech

Cela tabulka zacina na ofsetu 0x1BE a jednotlive zaznamy jsou 16 bytu dlouhe. Jsou tam celkem ctyri. Posledi dva byte je boot signatura 0x55 0xAA (podle ni BIOS pozna platnou partition), kdezto vse pred tabulkou je v dispozici pro bootloadery a bootovaci viry .

Kdyz se podivame na jednotlive zaznamy, tak je jasne, ze CHS (cylynder-head-sector) adresy na takovemto monstru pozbyvaji jakehokoliv smyslu. A do LBA adres se vejde jen 4^32 sektoru, coz je 4 giga binarni * 512 bytu na sektor, coz je 2048 GiB, tedy 2 TiB. Pokud radic ci ovladac neprovedli nejake kouzla s velikosti sektoru, neni mozne jit nad onu hranici.

Takze pokud se udelala partition skoro 3 TiB velka, musel se rozhodne pouzit jiny typ partiton nez klasicka 'DOSovska'.

Osobne bych se na partiton vykaslal a jak uz bylo vyse nekolikrat doporuceno, pouzival cele zarizeni najednou.

[jazz]

Presne tak. Na to se pouziva treba tzv. GUID Partition Table (GPT) - viz vyse. U GTP se vyuziva adresovani logickych bloku misto cylinder-head-sector u klasicke DOS MBR. GTP je soucasti specifikace Extensible Firmware Interface (EFI).

[Michal Kubeček]

U GTP se vyuziva adresovani logickych bloku misto cylinder-head-sector u klasicke DOS MBR.

Ale no tak… Trojice stopa-hlava-sektor už se dávno nepoužívají ani u klasické PC-tabulky, s těmi odadresujete jen asi půl gigabytu. Problém je, jak už tady v diskusi padlo, že se sice používá LBA, ale položky pro začátek a konec oddílu jsou 32-bitové, takže přesně u 2 TB se dostanete do problémů.

Jinak bych zvážil, jestli místo jiných schémat rozdělování (pokud to vůbec někdo chce rozdělovat) rovnou nepoužít LVM.

[al-Quaknaa]

Na takovéto operace bych asi doporučil nějaké přívětivější UI, mě se osvědčil (ncurses) evmsn (z balíku evms, snad se tak jmenuje i jinde, já mám gentoo), popřípadě grafický gparted (ale teď už je to prý zas něco jiného .. visparted nebo cožeto?). Neříkám, že je chyba tam, ale věřím, že ti to určitě pomůže :)

[Kvakor]

Z tech konzolovych je tu na samotne rozdelovani jeste cfdisk, ktery take pouziva ncurses. Mne osobne vzdycky stacil, az na opravdu drsne operace typu manualni rekonstrukce pozkozene partition, kde jsem zase pouzivam sfdisk.

[al-Quaknaa]

Ale to je zase jen ksicht na fdisk, který je pro popsané použití už nevhodný, jinak ho mám taky rád.

[disorder]

fdisk je samostatny program, ktory napriek jeho pohodlnosti nie je odporucane pouzivat (ani ked sa nejedna o pole)