Dotaz: Sitovy File system

[Jirkaehm]

Zdravim,

resim takovy delikatni problem :)

potreboval bych postavit tak zhruba 40TB velke diskove pole, pro kamerovy system, takze ne moc velke naroky na rychlost (jenom cca 100mbit/s zapis).

me pozadavky od toho jsou logicky aby fungoval po siti, tzn ze postavim x pc kazde s 16x750gb disk na gbit siti. a pak aby v sobe mel nejaky raid.

muzete nekdo doporucit nejaky software ktery toto dovede, pripadne nejake prakticke zkusenosti?

nedavno jsem u jednoho manualu na lvm zahlidl ze doporucuji neco podobneho jako lvm akorat v sitovem prostredi, bohuzel to nejak nemuzu nikde najit :(

predem diky

Odpovědi

[Aldagautr]

DRBD?

[Jirkaehm]

vypada to ze to je ono, ale hned na uvodni strance pisou o currently up to 4TB, mate nejake prakticke zkusenosti s vetsim polem? potrebuju totiz zhruba 20TB oddil ... :)

[Zdeněk Burda]

Co si pořídit Sun Fire X4500 a naplnit ho diskama podle potřeby? Asi bude spolehlivější než pospojování více pecek po síti a bude zabírat docela málo místa...

[Jirkaehm]

1) cena :) 2) malo prostoru 3) hure upgradovatelne 4) chcipne jeden server a je to cele dole :)

[Zdeněk Burda]

1) cena je otázka spíš na obchodníka, kdyžtak mi pošli email, něco vymyslíme

2) to jako že se tam nevejde víc než 48 disků?

3) on vůbec upgrade takto velkého diskového prostoru nebude triviální ať použiješ jakékoliv řešení a jestli si myslíš, že to s více strojema bude lepší, tak jsem zvědavej...

4) tak si pořiď dva a postav nfs cluster...

jak chceš takový objem dat zálohovat?

[rpajik]

Osobne bych to resil rozhodne na HW urovni .... FibreChannel. Ale pokud to chces opravdu resit SW, tak pomoci NBD muzes zpristupnit pres sit disky z jineho serveru. Mimochodem na trhu jsou uz 1TB disky, podobna kapacita by se s tim skladala lepe

[Jirkaehm]

FibreChannel je silene drahy, ja potrebuju spousty dat a maly vykon, takze naprosto nevhodny :) vyhledove se ma totiz pocitat az s 500TB dat. rozesetych po "malych" clusterech s 40TB :)

[platYpus]

EMC Centera ... ?

[AraxoN]

Andrew File System

[Messa]

Co třeba mít každé PC připojené přes NFS? Akorát se bude muset aplikační logika naučit ukládat do různých adresářů (kam budou připojeny ty NFS disky), ale to mi přijde lepší než stavět nějakou obludu...

[Jirkaehm]

hm, tam se obavam ze by to ta aplikace nezvladla.

[Josef Kufner]

Předpokládám, že ta aplikace to ukládá do spousty malých souborů (třeba jeden za 10 minut). Pokud ano, tak by stačilo vedle spustit démona, který by kompletní soubory přesunul na cílové místo a nahradil symlinkem.

[ch-in-A]

a co GFS z redhatu?

[Jakub Suchy]

GFS funguje naopak. Jedno uloziste umoznuje sdilet vice strojum, on potrebuje vice ulozist na jednom stroji. Mozna max. GFS over GNBD, kde by si mountoval jednotlive stroje na jeden centralni. ale to by nebylo 40TB pole, ale vice malinkych poli

[Pindal]

Pouzil bych GFS over GNBD na obycejnych PC, rady typu FiberChannel nebo Sun bych nebral vazne, panove at se zajedou podivat jak se pracuje s daty u Google, nic takoveho tam nenajdou. PC budou levnejsi, zvyseni prostoru trivialni a celek spolehlivejsi. Vse potrebne je obsazeno v Centosu 5.

[ivan]

Nojo, ale google ma tym lidi, kteri jim vyviji jejich vlastni system. Nejspis nepouzivaji nic z toho co se v teto diskusi zminuje. FibreChannel je v tomto pripade standartni reseni. Osobne mam s SW raidy na linuxu divne zkusenosti. Linux se napr. nedokaze poradne rozhodnout, ze disk je mrtvy. Jeste o stupen horsi je SW RAID + NFS. Za normalnich okolnosti to funguje jako bezny disk, ale nekdy se dejou hodne divne veci a vy nevite proc. Reseni FibreChannel+iSCSI mi prijde jako dobry kompromis. Popr. kdyz uz chcete usetrit pri ukladani vasich dat tak misto SW raidu pouzijte treba 12-ti kanalovy 3-ware.

[Jirkaehm]

diky za info, to asi bude nejschudnejsi reseni.
FibreChannel nebo sun jsou vazne predrazena korporatni reseni kde je potreba vykon a stabilita :) to co stavim ja prevazne na zalohovani videi z kamerovych systemu. takze kdyz se neco sem tam ztrati tak se nic nedeje :)

[*]

ja slysel, ze u google maji cely cluster pres ramdisky.

[*]

vcelku slusny prehled existujicich technologii.

http://www.debian-administration.org/articles/348

[*]

a jedno z moznych reseni je mit cLVM (lvm zkompilovany s podporou clusterovyho zamykani) a k tomu "hafol" dalsich podpurnych drobnosti... neco z toho jsou jen zbytecny rozhranni pro liny lidi. neco z toho jsou celkem zasadni veci.

http://sources.redhat.com/cluster/

[*]

jeste me tak napada... jak vlastne funguje plan9 filesystem?

[*]

hmm. Teda zorientovat se v tomdle tematu na wikipedii looool.

Nejvic relevantne vypada asi sekkce distributed filesystems v http://en.wikipedia.org/wiki/Network_file_system

[*]

pokud bych o tom mel uvazovat - ata over ethernet a gfs + clvm.

takze bych zacal zjistenim ceny http://www.coraid.com/ a pripadne alternativy...

[*]

a bez shared storage asi cLVM pres GNBD vypada jako nejkratsi cesta.

[*]

http://www.gridvm.org/drbd-lvm-gnbd-and-xen-for-free-and-reliable-san.html

tak ne.

# Brandon Says: March 21st, 2007 at 5:16 pm

Just wanted to clarify that this really requires 3 nodes to avoid a deadlock.

“You MUST NOT use gnbd to import devices on the machine that they are being exported from. This will deadlock your machine.”

http://sources.redhat.com/cluster/gnbd/gnbd_usage.txt

[rabi shem]

drbd / nbd / iscsi

co jineho

napis pomuzu

homonuculus zavinac volny tecka cz

[eh]

lustre?

[Jurek]

viem ze to nieje odpoved na otazku, ale zase nieje az tak odveci.

Viem asi preco ti treba taky priestor, skus sa pozret po kamerach s MPEG4 a budes potrebovat aj menej miesta a tym padom ucetris aj salat za disky, ja som pred nedavnom riesil tiez podobny problem, a tak som skorej zvolil drahsie kamery s MPEG4.