Dotaz: Bonding, 802.3ad, bridge .... jak optimalne propojit 3 zarizeni s dualport kartama?

[pentaxxx]

Mam nasledujici problem:

Snazim se propojit tri zarizeni QNAP TS-451, Ubuntu a Windows 7x64, pricemz stredem tohoto malovesmiru by mel byt prave Ubuntu desktopo-server. Idealni by bylo docilit !!!teoretickou!!! propustnost 2Gbps v interni siti s 1Gbps linkem ven do internetu. WiFi je "jen" 802.11ac, ale i ta dokaze ukousnout kus z propustnosti, kdyz ma dobrej den.

Cil je takovy aby bylo mozne vyuzit maximalni propustnosti ve vsech smerech hlavne mezi temito tremi "pocitaci", bez pouziti switche (s podporou LinkAagg) nebo nejakeho dalsiho zarizeni. Tzn. ze UBUNTU by byl jedinym switchem/routerem/WiFIrouterem (bezi nonstop).

QNAP: ma v sobe linux s podporou bonding jak RR, tak vsechny bezne mody co umi Ubuntu. (QNAP - v podstate je to x86 linux masina s Intel Celeron J1800 s dvema 1Gbps sitovakama, XBMC/KODI, DLNA a QEMU) W7x64: ma v sobe onboard 1Gbps (killer E2200), jeden kus HP NC360T = Intel 1000 dualport 1Gbps, bohuzel co vim, tak Team od Intelu podporuje jen Dynamic nebo Static Layer aggregation Ubuntu: ma v sobe jeden kus onboard Intel 1000, dva kusy HP NC360T = 4x Intel 1000, jeden kus Atheros 1Gbps a jednu WiFi Intel AC7260

Zakladni klasicke zapojeni pomoci dvou portu na kazdem stroji proti jendomu portu na kazdem stroji je OK, ale neni to nejspis to nej reseni.

Mam doma velmi!!! rychly Internet (vyuzivam pracovne a na jeho rychlosti mi taky hodne zalezi) a je skoda blokovat si jeho provoz lokalni komunikaci.

           INTERNET                                                 Android+NOTEBOOK (jen obcas)
              |                                                            |
              |                                                            |
              |                                                            |
            E1000     HPNC360T.1   HPNC360T.2  HPNC360T.3 HPNC360T.4    ATHEROS     WiFiAC7260         porty na UBUNTU
                          |                                  |
                          |                                  |
                          |                                  |
            E2200     HPNC360T.1   HPNC360T.2                |                                         porty na W7x64
              |                         |                    |
              |                         |                    |
              |                         |                    |
              |                       IGB.1                IGB.2                                       porty na QNAP
              |
              |
  zalozni pripojeni internetu

Pokud potrebuji pracovat soucasne s daty na QNAP, UBUNTU a jeste pri tom byt pripojen do prace pres internet, tak se mi uz tahaji o propustnost UBUNTU a INTERNET, nehlede na to, ze by bylo fajn vyuzit pripadne v dobrych konstalacich moznost mit 2Gbps link sdileny internetem, kopirovanim dat na UBUNTU a rychlou sambou do QNAPu (ano vim, ze nepojede jeden jediny down/upload 2Gbps).

Muzete nekdo poradit jake by bylo idealni schema teto site a pripadne jak nastavit UBUNTU proti W7x64 teamu?

Nabizi se logicky tahnout dve linky z QNAPu do Ubuntu na jednu dualsitovku, dalsi dva linky z W7x64 dualsitovky na druhou Ubuntu dualsitovku, zalozni pripojeni ponecha na E2200 a v pripade potreby ho aktivovat, notebook pripojit misto na ATHEROS skrze WiFi AC7260 (otazka jestli se podari rochodit hostapd - teoreticky to jit na tomhle chipu ma) a idealne ten ATHEROS vytahnout ze PCIe slotu a hodit do supliku a zlepsit tim chlazeni ve skrini. Nasledne pak udelat z UBUNTU Wireless+Ethernet router. Jeho 4 porty na HP NC360T dat do bridge s WiFi AC760 a je to.

Jenze jak s tema W7x64???

Nechci porizovat managovatelny switch s 802.3ad podporou, coz by byl dalsi kram o ktery se musim starat, napajet ho, nekam umistit a pripadne chladit, jen kvuli tomu, ze chci mit rychly link z W7x64 Cilem je aby bylo mozne rychle kopirovat a zalohovat data mezi W7x64 a QNAPem a zaroven tahat vetsi baliky dat (ISO image, fotky v Nikon RAW = bezne 35-50MB x 500ks apod) mezi W7x64 a UBUNTU, pricems nektera data by sem tam bylo dobre tahat rychle i mezi QNAPem a UBUNTU.

Tato alternativa by asi jela, ale bude urcite vykonostne horsi nez ta puvodni ..... jedine plus je zbaveni se jedne dualport sitovky (coz uspori jen par wattu a mraky casu rozcilovani se s IntelPROSet)

           INTERNET               NOTEBOOK (jen obcas)                  Android
              |                        |                                   |
              |                        |                                   |
              |                        |                                   |
            E1000     HPNC360T.1   HPNC360T.2  HPNC360T.3 HPNC360T.4    WiFiAC7260         porty na UBUNTU
                          |                       |          |
                          |                       |          |
                          |                       |          |
          (ATHEROS)     E2200                     |          |                             porty na W7x64
              |                                   |          |
              |                                   |          |
              |                                   |          |
              |                                 IGB.1       IGB.2                          porty na QNAP
              |
              |
  zalozni pripojeni internetu  

Odpovědi

[pentaxxx]

Přílohy:

• varianta 1.png (4026 bytů)
• varianta 2.png (4915 bytů)

Formatovani se rozbilo, tak pridavam schema ve forme obrazku

[Max]

Formátování jsem opravil.
Zdar Max

[pentaxxx]

Tak jen pro doplneni zajimava informace o praktickych zkusenostech s QNAP 10GBE kartama.

Koupil jsem QNAP LAN-10G1T-D, ale sly by pouzit i LAN-10G1T-U (lisi se to jen bracketem a stejne je treba ho upravit pro PC)

Celkove tohle reseni je skvele pro muj pripad. Nakonec sem hodil BOND LACP mezi UBUNTU a QNAP. A mezi UBUNTU a PC WIN7x64 mam tyhle dve karty natvrdo proti sobe.

Realne vysledky jsou dokonale, i z klasickeho WD 4TB GREEN neni problem tahat pres SCP data rychlosti 120MB/s, kdy limitem je prave onen disk. Z RAIDu a SSD je to jeste mnohem lepsi. Jeste jdu ladit SAMBU s MTU, JUMBO apod. a pak uvidime.

Nicmene dulezita informace je ze tyhle karty se vejdou do 4000Kc za kus bez DPH a drivery funguji jak na Windows, tak Linux a podpora vypada i na novejsi OS jako Win10. Drivery jsem pouzil primo z Tehuti, ale videl sem vice variant od Planet a dalsich. Ted uz jen najit levny 10GbE switch , aby bylo mozne spojit vice jak dve zarizeni. Jasne slo by dat do UBUNTU dve 10GbE karty, ale to uz trosku leze do penez.

[pentaxxx]

Tak otestovan ramdisk (vycleneno volnych 16GB pres tmpfs) na UBUNTU serveru a prenos cca 380 MB/s mezi W7x64 a UBUNTU 15.10 skrze SAMBU, pri soucasne downloadu z internetu.
Skoda jen, ze deska+cpu nezvlada vice jak 32GB RAM, vali se mi tu dalsich 2x8GB a ten RAMDISK mi zni jako velmi zajimave reseni pro nektere typy cinnosti (treba zpracovani fotek a videa do doby nez je ulozim hotove do NASu. V desktopu totiz na vetsi RAMDISK uz jaksi nezbyva volna pamet.

To vubec neni spatny vysledek upgradu, vzhledem k tomu, ze tam zbyva jeste dost pasma pro dalsi sitovou komunikaci.

[MP]

Nechapu smysl ramdisku v dobe tmpfs resp. primo cache FS v RAM.

Jinak k tem 10Gbe: napr. http://www.ebay.com/itm/671798-001-HP-10GB-MELLANOX-CONNECTX-2-PCIe-10GBe-ETHERNET-NIC-/350983607686 - otazka funkcnosti z hlediska ovladacu.

Nejlevnejsi (novy) switch je zrejme stale 8port Netgear.

[Michal Kubeček]

Nechapu smysl ramdisku v dobe tmpfs resp. primo cache FS v RAM.

Ehm…

Tak otestovan ramdisk (vycleneno volnych 16GB pres tmpfs)

[j]

Resis ptakoviny, ten NAS ti stejne da v nejlepsim pripade (podle benchmarku) prave to jedno gigo. A to v pripade linearniho cteni, pri random praci to bude o poznani min.

Uz vubec nemluve o tom, ze si laskave uvedom, ze at uz ti to blbuntu bude delat bridge nebo router, je to SW vec, a tudiz to jede pres CPU a tudiz to nemuze stihat. Rozhodne to neda 10Gbit, coz je tvoje predstava ...

Respektive (aby sis udelal predstavu) specielne vyladeny distro da na 4jadre pri 100% zatezi neco kolem 20Gbit "prumernych" paketu. Bridge samo, ale ty chces zaroven routovat, takze ...

BTW:

"rychle kopirovat a zalohovat data mezi W7x64 a QNAPem" "zaroven tahat vetsi baliky dat (ISO image, fotky v Nikon RAW = bezne 35-50MB x 500ks apod) mezi W7x64 a UBUNTU"

A na tech widlich mas v PCI-E zrcadlo nejakych profi SSDcek? ... Jinak zapomen na to, ze budes v tomhle rezimu vubec schopen saturovat gbit.

[pentaxxx]

Kdybych nemel problem, ze brzdou je ethernet, tak takovou otazku vubec nezadavam ....

Chci se dostat k hranici 1.7 az 2Gbps mezi stroji. To by ve vysledku znamenalo, ze by UBUNTU melo podavat vykon pod 4Gbps nikoliv 10Gbps + prichozi pripojeni z internetu, ktere bude(je) mimo bridge ma aktualne maximum 0.2Gbps - ale do konce roku bude upgradovano na 1Gbps (coz je zatim ale jen teoreticka hodnota, ale vzhledem k tomu, ze pripojeni na optice utahne uz ted 200Mbps, bude to minimalne nekde na urovni 500+ Mbps).

Ano resenim by bylo sehnat 10Gbps karty, ale tam bych musel vymenit NAS za vyssi model s moznosti rozsireni pres PCIe slot. To znamena poridit QNAP rady TS-x71 (cca 30 tisic v podobne konfiguraci jako mam ted). Navic jaksi toto reseni vyzaduje dost vysoke naklady = minimalne 3 nove 10Gbps karty po 4 tisic Kc, predelat kabelaz na CAT6, vymenit QNAP NAS za

QNAP mi v pohode jede 93MB/s v sambe proti W7x64 pri pouziti 1Gbps naprimo, pri bondu pak 190 MB/s oproti UBUNTU s pujcenym switchem pri dvou soucasnych kopirovani/Rsync na ruznych discich (nepouzivam a nikdy nebudu pouzivat mirror, protoze to je pro muj pripad vyuziti uplne ta nejhorsi varianta, ktera zadna data neochrani a naopak jen degraduje vykon). Tim Rsync chci nahradit prave ten mirror, kdy mym pozadavkem je rychle synchronizovat vybrane casti disku mezi UBUNTU (kde mam originaly s kteryma pracuju idealne online) a QNAPem QNAP uvadi, ze ta masinka dokaze pri dobre konstalaci i neco malo pres 210MB/s

Ano v QNAPu jsou 2 disky o kapacite 6TB a dva 4TB Ano v Ubuntu je I7-4790 na 3.8GHz (pro jistotu stazeny vykon aby tolik netopil) s 4 jadrama / 8 threadama a 8GB RAM s disky SSD na system, 2x4TB v RAID0 a 1x3TB bezRAIDu. Ano v W7x64 mam I7-4790K na 4.8GHz s 32GB RAM, 10GB je vyhrazeno na RAMdisk !!! na kterem se snazim delat vetsinu operaci + tam jsou rychla SSDcka + M.2 NVME disk zatim v M.2 slotu (omezeni na 10Gbps), ale uz sem si objednal na eBay redukci do PCIe (tady to samostatne moc sehnat nejde).

Problem resim, protoze se mi navzajem tlucou komunikace mezi sebou a snizuji tak zbytecne rychlost. A kdyz uz mam dostatek portu, tak je skoda toho nevyuzit.

Jen priklad jak to funguje ted: Kopiruju na pozadi data (RAW fotky, 4K videa, z kamery, FHD videa z fotaku, ISO image, nebo tyto veci konvertovane DVD) z W7x64 do UBUNTU rychlosti 90-93 MB/s (SAMBA). Pritom sem vzdalene pripojen pres internet a VPN na server v kancelari a pretahuji nejake zalohy databazi a obecne dalsi data mezi timto serverem a pocitacem doma. Krome toho se na UBUNTU stahuje nove ISO distribuce (samozrejme na jiny disk), Windows si tahaji aktualizace, do toho se dela zaloha a presun dulezitych dat (mimo jine i zpracovane fotky a videa) pres Rsync mezi UBUNTU a QNAP. A tu a tam do toho jeste chci koukat na TV pres DLNA na ta FHD / 4K videa na velke obrazovce. Proste tam toho tece soucasne strasne moc.

Druha vec je, ze by samozrejme slo vzit obe SDXC 64GB karty (mimochodem tech 120MB/s a 95MB/s read co uvadi vyrobce neni zase tak prehnane)co sem prave dofotil, strcit je do dvou USB3.0!!! ctecek primo na UBUNTU, pripojit se pres VNC na UBUNTU, stahnout nejaky free editor na NIKON RAW a videa (asi tezko to ale nahradi Nikon Capture NX), protridit to a kopirovat a zalohovat uz jen mezi UBUNTU a QNAP, kde by byl bonding a vynechat tak uplne pocitac W7x64. Stejne tak pri potrebe presouvat data to delat primo na Ubuntu pres MC apod. Jenze UBUNTU ma "jen" 8GB RAM a upgradovat ho by stalo zase dalsi penize, nema potrebny software a musel bych nejak vyresit pripojeni monitoru a klavesnice s mysi misto toho VNC (coz neni uplne vzdy idealni). A to nemluvim o tom, ze UBUNTU by bylo idealni mit jako stabilni nonstop bezici server na vse a nejlepe na nej nesahat.

Ale muzu byt skromnejsi ... staci mi abych pri kopirovani/presouvani primo mezi UBUNTU a QNAP skrze file manager bezici na W7x64 to jelo aspon tema 95MB/s pres SAMBU (a ja pri tom mohl delat dal vse ostatni), tak jak kdyz to kopiruju mezi W7x64 & UBUNTU nebo mezi W7x64 & QNAP a ne cca 48MB/s jako nyni, kdyz jsou oba protejsky pripojene do ruznych siti na dvou portech te W7x64 masiny. Z realu nekdy je rychlejsi (ale jen o trosku) zkopirovat data z UBUNTU do RAMdisku a nasledne data nakopirovat z RAMdisku na QNAP. Jinak podobne se to chova pokud kopiruju z jednoho disku na UBUNTU na druhy disk na UBUNTU skrze dve ruzne site na pocitaci s W7x64. Zvlastni, ale vytizenim CPU ani na jednom stroji to neni. A kazda z karet ukazuje vyuziti na 60% pri prenosu tech cca 50MB/s. Co to brzdi netusim. .... atd.... proste slevit z puvodnich pozadavku.

Jako mozna by to resila i kombinace ... dokoupit dve 10Gbps karty do PCIe sbernice. Jednu dat do W7x64 a druhou misto jedne HP NC360T do UBUNTU a QNAP nechat propojeny pres bond tou druhou kartou se dvema portama na 1Gbps. Ale to je i tak investice kolem 10 tisic Kc a nejsem si jist, zda sezenu funkcni ovladace do W7x64/Win10 pro ty 10Gbps karty.

[Max]

Já bych si nejdříve lokálně otestoval, kolik ten QNAP dá proti Win na lokálu, zda zvládne 1Gbit, nebo ne. Chlubí se, že zvládá 224MiB/s sekvenční zápis a 216MiB/s sekvenční čtení (to je v případě zápisu teoretické maximum 1,8Gbit). To bude zřejmě případ, kdy tam bude RAID10 (a pak je ještě otázka fragmentace do budoucna).
Otázka je, zda to dá ta win stanice, ubuntu stanice, zda to dají jejich síťovky apod.
Až to budeš mít otestováno, tak pak bych kdyžtak začal řešit nějaké tunění.
Zdar Max

[pentaxxx]

Ano QNAP je rychly dost a disky jsou vyrazne rychlejsi. Klidne by teoreticky mohly vsechny ctyri jet naraz a davat data. V realu ale jedou spolem vetsinou jen 3 a se 4 nepracuju. A kdyz sem mel ty dva 3TB v RAID0 tak to stejne nebylo rychlejsi, protoze sit proste neda vic jak cca 110MB/s a SAMBA to jeste malinko zpomaluje. RAID10 bude urcite pomalejsi, protoze kazdy protikus bude tahat jina data a to klasicky disk neda. Spis to testujou na 2 x RAID0, ale ty disky fakt davaj bez problemu kolem 130MB/s kazdy sam o sobe.

Proto pisu, ze realne neni problem tahat soucasne ze dvou stroju ze dvou ruznych poli/disku na kazdem kolem 90MB/s = v souctu mezi 180-200 MB/s (podle typu dat, lokace na disku atd.)

Nejpomalejsi CPU ma prave onen NAS, je to Celeron J1800 cize dvoujadro na max 2.41GHz.

Bohuzel jak sem psal, tento model ma pevne sitove karty onboard a ani nema moznost vlozit treti kartu.

Ano jeste mam doma v supliku USB3.0 1Gbps sitovku, ktera by sla do toho QNAPu dat, ale to si moc nepomuzu. Urcite nebude tak rychla jak kdyby to bylo primo v PCIe slotu a navic to urcite bude zrat vykon QNAPu.

Takze varianta bond mezi QNAP a UBUNTU a pak pripojit W7x64 jednou GLAN do UBUNTU a jednou do USB sitovky QNAPu asi moc ovoce neprinese.

V podstate uvazujme jako bych byl v prostredi s vice uzivateli. Protoze cinnosti ktere delam se deji paralelne na oddelenych castech. Tzn. kopirovani na pozadi zatimco pracuji s fotkama a videama a zaroven do toho jeste bezi vypocty, ktere si ukladaji mezivysledky zase na jine disky. Pak ruzne presuny a zalohy dat mezi UBUNTU a QNAPem, ktere jdou pres automatiku a do toho se jeste muzu dalsi obyvatel domacnosti rozhodnout z QNAP tahat data do TV (tam to mozna vyresim presunem QNAPu do obyvaku a pripojenim primo pres HDMI a poustenim vestavenym KODI prehravacem - funguje to relativne slusne a ani to moc nezere co do vykonu pri prehravani klasickeho videa nebo prohlizeni JPG fotek - asi nejlepsi mediaplayer co sem zatim videl )

[JuraHlavacek]

Jeste takovej blbej napad. Ma nekdo realne zkusenosti s Infiniband (uvazujme DDR=20Gbps verzi) mezi UBUNTU a W7x64?

Karty vychazi mnohem lepe nez 10GbE s optikou nebo draty a kabel taky nestoji pulku vyplaty. Navic ja to potrebuju tak 5 metru od sebe a nepotrebuju zadny switch.

Nasel jsem jen par clanku a realna zkusenost na SDR=10Gbps je neco kolem 135 MB/s pri kopirovani dat z RAID pole s maximem 350 MB/s(ale to mohlo byt i vyladenim SAMBY) mezi Windows a Linux strojem.

[j]

Ono ti to Gbit da, i vic, ale jen pokud to budes pouzivat jen pro cteni a jen hodne velky nefragmentovany soubory. A samo jeden proces. Jakmile spustis dalsi ... padne rychlost na pulku vpohode.

Protoze a jelikoz ... 15k HDD da neco kolem 200IOps max. Pomalejsi samo min. A to je limit, se kterym neudelas vubec nic.

Jen tak pro zajimavost, 4diskovej nas, R5, sifrovani ... pri cistym cteni saturuje Gbit (CPU na 100%). Jakmile tam ovsem bezi nejaky dalsi akce, byt radove jednotky Mbit prenosu a zadny velky IO, tak cteni padne nekam na 65-70MB/s. V tuhle chvili uz limituje proste IO fyzickych disku - jsou 4, takze 400MB/s daji zcela urcite (realne bych to videl ze raw read bude dokupy spis tak 600MB/s).

Jinak by me fakt zajimalo, co tazatel nechape na tom, ze switch za litr uswitchuje to, co PC za 50k.

[pentaxxx]

Asi nechapu? Muzes to napsat srozumitelne?

Pokusim se odpovedet na ty uryvky:

, ale jen pokud to budes pouzivat jen pro cteni a jen hodne velky nefragmentovany soubory. A samo jeden proces. Jakmile spustis dalsi ... padne rychlost na pulku vpohode.

Ano kopiruji/presouvam velke baliky dat = bezne cca 100 GB dat z SDXC karet, ktere samy o sobe vystaci s 1Gbps (teoreticke maximum maj na 120MB/s) jsou to bud videa cca 20 minut v max rozliseni fotaku a prumerne tak 700 az 1500 fotek v RAW z Nikon D810 = 35 az 45MB na kus. Nebo presouvam sestrihana videa mezi diskem ve Win7x64 a disky bud v UBUNTU nebo QNAPu. A chci pri tom delat i jinou praci a ne cekat az se to dokopiruje, abych mohl pracovat s CAD daty, prohlizet dalsi videa a fotky, ktere v tu danou chvili neskutecne brzdi sit, delat s internetem vzdalene, nechat na pozadi stahnout nejaky ISO nebo drivery atd. Do toho mu muze jeste vlitnout naplanovane zalohovani apod.

Jestlize neni problem se dvema sitovyma kartama tahat zaroven data z DISKU A ve Win7x64 na DISK C v QNAPu a zaroven pres druhou kartu data z DISKU B v QNAPu na DISK D v UBUNTU a oboji bezi minimalne 90MB/s, coz dohromady dava tech 180 MB/s, tak nevidim duvod proc by to same nemelo fungovat kdyz budou ty same karty v bondu a budu kopirovat ty sama data. Jedine ceho se chci zbavit je prave to abych nemusel resit jestli kopiruju v jednom filemanageru pres jednu kartu a v druhem pres druhou kartu. Doted sem to mel tak, ze nektere disky mam namapovane pres IP prvniho portu a dalsi disky pres IP druheho portu, takze pokud sem kopiroval/presouval/prohlizel/editoval/strihal soucasne dva ruzne typy dat (fotky na jinem disku nez videa a jsou na jinem disku nez data, downloady, instalacky apod.) tak to fungovalo. V podstate jakoby to chodilo zcastence v jedne siti a castecne druhe siti. Samozrejme pokud bych tahal sice pres ruzne karty ale stejny typ dat = napr. fotky z lokalniho SSD a zaroven fotky z SDXC karet na stejny disk v UBUNTU, tak je jasne ze to neni v danou chvili k nicemu. Druha vec je, ze by nevyuzity zbytek propustnosti pri kopirovani na obou kartach mensi rychlosti (treba z tech) slo vyuzit pro dalsi tok dat - napr. internet, RDP, VNC ... atd.

Takto sem na to mel moznost vyuzit treti onboard kartu = 1 karta do UBUNTU, 2 karta do QNAPu, 3 karta do INTERNETU Tim se dosahl toho, ze celkove pripojeni mohlo bez problemu davat dohromady pres 2Gbps.

15k HDD da neco kolem 200IOps max. Pomalejsi samo min. A to je limit, se kterym neudelas vubec nic.

Proc resime IO/s ??? castecne jde o SSD, castecne o SDXC karty, castecne i INET traffic a realne nemam problem tahat necelych 200MB/s z QNAPu po dvou kartach ze dvou oddelenych disku (presneji VOLUME, protoze jde o 4HDD v kombinace D1+D2=RAID0 + D3 bez raidu + D4 bez raidu a jeste jeden pomocny disk pres USB3.0 v ramecku, ale ten ignorujme)

4diskovej nas, R5, sifrovani ... pri cistym cteni saturuje Gbit (CPU na 100%).

Co mam zkusenost tak sou NASy ktery v RAID5 daji stezi 50MB/s v klidu, ale to je otazka CPU atd. ..... Pokud jde o muj pripad, tak i kdyby slo kopirovani misto tech 180MB/s co umim ted na 140MB/s + nejakej traffic kolem 15MB/s smerem k UBUNTU nebo TV, tak furt je to lepsi nez mit pouhy 1Gbps na vse.

Jinak by me fakt zajimalo, co tazatel nechape na tom, ze switch za litr uswitchuje to, co PC za 50k.

Nerozumim otazce - nechapu souvislosti. Kazdopadne switch ktery bude umet Link aggregation, Web Management a mit vic jak 4 porty za litr nesezenu ani omylem. Navic sem jasne psal ze nechci dalsi kram, ktery neni kam dat a musim vyresit jeho napajeni a kabelaz a starat se o to jestli jede.

Mozna by to chtelo obrazky. Treba by pak nevznikaly zbytecne dotazy.

Ja zatim dokazu udelat jen variantu kdy UBUNTU a QNAP propojim bondem a do W7x64 natahnu jen jeden kabel z UBUNTU a jeden z INTERNETu at alespon oddelim interni a externi traffic. Ono pri tech objemech co tu taham je kazdych 10MB/s fakt znat. Berme v potaz ze kopirovani fotek a videa z jednoho foceni trva minimalne pul hodiny, kdyz pres sit netece vubec nic jineho a to nekdy ty karty mam plne i tri.

Druha moznost je zkusit pujcit dve 10GbE karty a propojit tim UBUNTU proti W7x64 a zkusit jestli to pomuze i na prenosy do QNAPu (soucasne tahani z vice zdroju). Tzn. v UBUNTU mit softwarovy ethernet router pro INTERNET a zbytek vsech LANu dat do bridge. Nicmene to je investice kolem 12 tisic vcetne kabelaze.

Ja hledam proste nejake lepsi reseni nez nazval bych to 'zapojeni do trojuhelniku', ktere za urcitych podminek skutecne poskytuje rychlost blizici se onem 2Gbps v souctu a je lepsi nez zapojeni vsech tri stroju do jednoho 1000Mbps switche/wifirouteru

[pentaxxx]

Ono ti to Gbit da, i vic

Jako vic nez 125MB/s na gigabitu???

Pokud vim tak Infiniband neni primarne jen pro ethernet, ba naopak a IP over Infiniband je v podstate uvnitr ostatni komunikace a je otazka jak je to v soucasnosti vyladene. Navic SDR uz dnes asi ani nejde koupit, videl jsem jen 20Gbps a 40Gbps, pricemz se to vetsinou jeste linkuje protoze vetsina karet ma 2 porty.

Pocitam ze tech 135MB/s co uvadel klucina, bylo minimum bez jakehokoliv dalsiho nastavovani a mozna mel jeste SAMBU defaultni bez optimalizace (coz ma snad kazdy druhy uzivatel a divi se ze mu jede SAMBA po 1Gbps max tak 45MB/s)

[j]

Chjo ...

1) ctes v JEDNOM threadu linearne z disku. Tomu se rika raw read. To je taky to cisilko, ktery se u disku udava - marketingovej krasozvast. Protoze v REALU takhle z disku NIKDY cist nebudes. Blizi se tomu cteni nefragmentovanych (nebo velmi malo fragmentovanych) velkych souboru.

2) pri takovymhle cteni muze uloziste dosahovat pomerne velkych rychlosti cteni, odpovidajicich poctu disku ktery ctou. Na (priklad) R5 ctou vzdy vsechny disky, takze rychlost se (teoreticky) jednoduse nasobi poctem disku.

3) jakmile ale budes cist dva soubory najednou ... tak to padne nahubu, protoze hlavicky litaji tam a sem. Pak se zacne uplatnovat jedinej skutecne realne parametr a to je IOps. Jak sem psal, nejrychlejsi existujici disky se dostanou nekam k hranici 200. Neboli, zvladnou 200 Input/Output operaci za sekundu. Ten limit je danej fyzikou.

4) a protoze jak sam pises, hodlas zaroven cist a zaroven zapisovat (a navic jeste ve vic lidech), tak jednoduse zapomen na to, ze dokazes bez diskovyho pole s SSD nebo desitkama disku saturovat Gbit. To neni fyzikalne mozny.

A pro predstavu, mam tu pole s 48x 15k diskama, a v provozu, kdy na to leze rekneme kolem 30 lidi to da, pokud z toho budu neco velkyho nasavat, kolem 250MB/s. Ty lidi tam negenerujou zadnou silenou zatez, ale bohate to staci na to, aby to pole ani zdaleka neatakovalo ty hyperteorii, ktera je rekneme nekde kolem 8GB/s. Ve skutecnosti to da mozna tu 1/10. Ostatne, ani technologie ktera se na to pouziva s necim takovym vubec nepocita, fiber ma totiz max 8Gbit podle verze.

BTW: Nevim co chces optimalizovat na sambe, ta neni limitujicim faktorem prenosu, na "levnych" kramech je to prakticky vzdy CPU pripadne uzasne zapojeni ala USB.

Jo, ty se radsi budes starat o 10 sitovek ktery budou kazdej pes jina ves... a spotrebu budou jen ty sitovky mit jako 4 switche.

http://www.czc.cz/d-link-dgs-1100-08/153228/produkt

Hmm, 1k3 s dani ... chci videt, jak delas PC bridge, kterej da tech 16Gbit ...

[pentaxxx]

Dobre napisu to cesky:

1) Ano muj zpusob vyuziti se velmi blizi RAW READ. O tom celou dobu pisu. Nevim proc mi tu je vnucovano neco jineho. Zapomenme na datasheet vyrobce. Proste realne mam vyzkousene rychlosti cteni a zapisu, kopirovani atd. RAMdisk je rychly vic nez dost, disk NVME zvlada kolem cca 900MB/s (po upgradu na PCIe adapter to bude lepsi), SSD pole R0 2x495MB/s, SSD bez pole 480MB/s a klasicke disky mezi 120-160MB/s na kus (takze v RAID0 necely dvojnasobek) v syntetickych testech. V realnem provozu je to o par MB/s min, ale rozhodne zadny z disku neklesne na polovicni rychlost ani v soucasnem zapojeni!!!

Zkusim jeste kopirovat dva ruzne adresare z toho NVME disku pres dva thready na jinych portech karet na SSD disk(single s maximem 480MB/s) do UBUNTU jestli to pojede rychlosti odpovidajici dvojnasobku maxima SAMBY, pripadne o kolik MB/s to spadne dolu. Ale rozhodne nepocitam, ze to pojede jen 2x57MB/s tak aby to zvladla jedna gigabitova karta. Urcite to bude rychlejsi.

2) Nekolikrat sem napsal ze nemam R5 ani R10 ani R1, disky jsou oddelene a soucasne cteni z jednoho disku=volume (at uz RAID0, ktery je jen ve dvou pripadech, tak fyzickeho disku) se deje vyjimecne proc se o tom vlastne bavime??? KOPIROVANI, SYNCHRONIZACE, ZALOHOVANI atd. JEDE SOUBEZNE Z RUZNYCH STROJU A Z RUZNYCH DISKU(POLI) tzn. rychlost disku ani seek nejsou limitujici. 3) asi viz bod 2 Jak sem psal, z praxe se skutecne deje to ze jede 90MB/s jednim smerem, 85MB/s druhym smerem (pripadne stejnym smerem ale jinou kartou) a jeste nejakych 20MB/s skrze internet = se trema kartama uz ted jeden stroj zvlada 195MB/s soubezne komunikace a na 1Gbps karte by toto nebylo realne. Mam vyzkousene ze podobna cinnost skrze 1 kartu da maximalne nejakych 110MB/s (teoreticky strop 125MB/s neni realne dosahnout) 4) Jak sem psal moje vyuziti je vyrazne odlisne od pristupu vice lidi k jednomu diskovemu poli a to jeste navic k ruznym castem disku. Toto sem vubec nemotejme. 3 kusy HP NC360T (dual INTEL PRO/1000PT), 1 kus INTEL PRO/1000PT a dva kusy neceho od INTELu v QNAPu. To mi neprijde jako kazdej pes jina ves.

Nevim co znamena starat se o karty??? Jako ze muzou odejit a budu muset vymenit kus za kus a opravit MAC adresu v konfiguracich?

SAMBA je hodne limitujici faktor. V defaultu by byl zbytecny i gigabit a i USB3 by bylo v danou chvili rychlejsi.

Nejlevnejsi pouzitelny switch s podporou 802.3ad jsem videl TP-LINK TL-SG3210 za cca 4 tisice. Dalsi velky kram, ktery budu muset privrtat na zed a napajet ho nejspis pres PoE nebo jak, protoze v mistnosti je jedina zasuvka o patro niz. kabelaz je tahana pudou = male dirky skrz sadrokartonovy strop pro kabely. Navic mi urcite bude stacit vyrazne mene nez 16gbit, kdyz bude tect maximum nekde pod 3Gbps soubezne (= 2x 1Gbps trasnfery + zpetna komunikace + Internet a nejake dalsi drobnosti). On ten switch taky realne pojede 8Gbps jednim smerem a druhym smerem to budou spis desitky kbps a to pri zapojeni vsech portu, coz ja jich obsadim asi jen 7.

[JuraHlavacek]

Ano po switchich, ktere by sly napajet pres PoE, nebo to nejak poresit amatersky sem se uz dival. A vsechno ma nejake problemy

Treba 8 portove CISCO vypadalo slibne za cca 3 tisice Kc, ale dle vyrobce:

Link aggregation: Link aggregation using IEEE 802.3ad LACP • Up to 8 ports in up to 2 groups

Takze bych musel jit minimalne do SG200-10FP za necelych 10 tisic Kc a doufat, ze ten uz je na tom lip. Ostatni switche uz jsou vetsinou minimalne 16 portove, napajene 230V a povetsinou s aktivnim chlazenim (ktere si muzete jit poslechnout po roce pouzivani u nas v servrovne nebo i na chodbe skrz zavrene dvere ), pokud maji potrebne parametry.

Ten doporucovany 8 portovy D-Link 802.3ad a tudiz ani LACP neumi a umi jen Static LAgg a to jeste max 2 skupiny po max 4 portech, takze je na tom jeste hur nez to CISCO. Ja potrebuju 3x2 nebo 3x3, pokud by to melo k necemu byt

Nebo ma snad DLINK na vsech webech a datasheetech blbe specifikace???

Fakt nejsem debil co neumi pouzivat nastroje jako Google ...

[MP]

Co Zyxel 1900-8(HP)?

[JuraHlavacek]

Ten ZYXEL by to castecne resil. Napajen adapterem, neni moc velky, 8 portu by stacilo, kdyz vyresim privod internetu zbylou dualkartou v UBUNTU bridgem. Problem ale vidim v tom, ze nikde nemuzu dohledat jestli nema stejne pitome omezeni co do skupin. U vyssiho modelu ZYXELU pisou 6 skupin, pricemz normalne mivaji 16 a 20 portove switche 8 skupin. Logicky clovek nejcasteji paruje dva porty z kazdeho serveru/stanice takze 2x8 portu v 802.3ad + treba jeste uplink pomoci GBIC portu je idealni.

[Michal Kubeček]

Treba 8 portove CISCO vypadalo slibne za cca 3 tisice Kc, ale dle vyrobce:

Link aggregation: Link aggregation using IEEE 802.3ad LACP • Up to 8 ports in up to 2 groups

Takze bych musel jit minimalne do SG200-10FP za necelych 10 tisic Kc a doufat, ze ten uz je na tom lip.

Asi mi něco uniká, v čem je problém? Propojujete tři zařízení po dvou portech, to je 6, takže se vejdete.

[JuraHlavacek]

Jestli ctu dobre, umi dve skupiny po maximalne 8 portech. Tzn. ja potrebuji 3 skupiny po dvou (pripadne trech portech pokud bych jeste pridal link vyhrazeny pro komunikaci na internet)

[Vantomas]

Lze vyrobit pouze dvě skupiny do kterých se dávají bondované porty. Lze tedy udělat pouze kombinace (skupina x port) 2x2, 2x3, 2x4.

Takže tam sice může připojit 3 zařízení a každé po dvou portech, ale zbondovat tyto páry už může pouze dva.

[JuraHlavacek]

Neumim zeditovat prispevek ...

V podstate by mi stacilo propojit 3 skupiny po 2 portech a pak mit jeste 3 oddelene porty (UBUNTU + W7x64 + INTERNET) pro pripojeni do Internetu, ktere uz nemusi byt nutne soucasti 802.3ad. Tam mi staci 0.5Gbps, takze jeden port na kazdy stroj je uplne v poho.

Takze by mohl stacit nejaky switch s 8+2 porty. Jenze ten dokonce stoji vic nez 16 portovy, ktery je jak uz sem psal zase velky a s vetrakem. A uz se nebavim o terminech dodani. Chapu, tenhle typ se asi moc neprodava ....

Tomuto reseni sem se ale chtel prave vyhnout (kram navic), protoze u nej musim vyresit napajeni, pokud to bude switch se zabudovanym zdrojem a nebude napajen adapterem.

[Michal Kubeček]

Pořád se míjíme. Podle popisu máte tři stroje, na každém dva porty, to je šest. Nebo snad do těch počítačů chcete dávat po čtyřech síťových kartách, abyste potřeboval víc aggregation groups?

[JuraHlavacek]

Tri stroje ale potrebuji 3 skupiny jestli to chapu dobre. Ne nepotrebuji 4 porty pro kazdy stroj. Hlavne mi to prijde postavene na hlavu tohle omezeni. Verim ze HW toho switche by urcite zvladl uplne stejne 4 skupiny po dvou portech, kdyz zvladne 2 skupiny po 4 portech.

[Michal Kubeček]

Nepotřebují. Abyste tam měl (smysluplně) tři aggregation groups, musel by ten switch mít aspoň dvanáct portů.

[JuraHlavacek]

Usuzuji dle toho, ze 16 portovy switch ma max 8 skupin, 28 portovy max 14 skupin a 52 portovy max 26 skupin, ze se davaji do skupiny porty stejneho zdroje.

Inspiroval sem se manualy a timto zdrojem

http://www.samuraj-cz.com/clanek/cisco-ios-21-etherchannel-link-agregation-pagp-lacp-nic-teaming/

[Michal Kubeček]

No, jestli tu terminologii mají takhle, tak mi trochu uniká smysl toho switche. Ale asi to pořád dává víc smyslu než možnost, že by Cisco za 3000 Kč prodávalo prakticky použitelný switch s 802.3ad. :-)

[pentaxxx]

Oni neprodavaji zas tak spatne veci. Treba s routerama Linksys (starsima), coz je v podstate rada CISCO pro domacnosti, sem mel dobre zkusenosti a cena byla velmi prizniva.

[Michal Kubeček]

Linksys ano (sám mám legendární WRT54GL a jednu wi-fi kartu ze stejné série, na označení si z hlavy nevzpomenu). Ale aby pod značkou Cisco něco prodávali za rozumnou cenu, to by bylo hodně překvapivé.

[JuraHlavacek]

Tak mozna sem vyhral v loterii
Nasel sem ve vyprodeji za necely 3 tisice Lynksis 8-Port Smart Gigabit Switch (LGS308)
IEEE 802.3ad LACP, up to 4 groups with up to 8 ports per group

[Michal Kubeček]

Já jsem ale psal, že Linksys je něco jiného. Jak je ale na nějakém zařízení napsáno "Cisco", bude to drahé už z principu, přesně v duchu starého tvrzení, že nejdražší tři písmena v abecedě jsou I, B a M (které už ale dávno není pravda).

[pentaxxx]

Jinak jen pro doplneni, aby bylo jasno, ze pri cteni pres SAMBU je mozne skutecne vyuzit potencial propojeni dvou karet pri dvou soucasnych nezavislych komunikacich:

https://www.qnap.com/i/en/product_x_performance/product.php?II=143
https://www.techpowerup.com/reviews/QNAP/TS-451/27.html
http://www.anandtech.com/show/8298/qnap-ts451-bay-trail-nas-performance-review/3

Je tu i krasne videt, ze limitujici je provoz prave po jedne sitove karte a to uz pri prenosu stredne velkych (nefragmentovanych) souboru, kdy rychlost prestane narustat pres cca 118000 kB/s.
Samozrejme budou rozdily pri pouziti ruznych variant NTFS, EXT4, iSCSI, NFS, CIFS atd.
Skutecne to neni zadna shitova krabicka ala levne ZYXEL nebo Synology s nejvic ocesanym ARMem a minimem RAM, co jede tak rychlosti USB2.0

Ja mam tu vyhodu ze mam oddelene disky na oddelene veci. Zvlast video, data, fotky, zalohy, image. Takze tu druhou kartu skutecne chci vyuzit.

[zigi]

Příloha:

• pentaxxx-silenost.pdf (48240 bytů)

Ahoj,

dala by se vymyslet silenost dle prilozenoho schematu. Nevim, zda to bude fungovat a jak moc to bude brzdit ten softwarovy bridge. Dalsi variantou by bylo misto bridge pouzit 4 subnety a mezi nimi routovat.

Pokud QNAP umi Round-Robin bonding, tak by mohl Ubuntu stroj s QNAPem komunikovat rychlosti 2Gbps. Bond RR pouzivam pro prime propojeni dvou stroju - pres switch to radeji nehonim, pak by totiz mohl nastat problem s dorucovanim paketu ve spravnem poradi.

Jestli Windows/Intel umi pouze bonding 802.3ad, tak pak zalezi na tom, dle ceho se provoz rozdeluje (hash funkce) - zdroj/cil mac-adresa, zdroj/cil IP, popr. zdroj/cil IP+port. Tedy pokud to jsou jen mac-adresy ci IP, tak jakakoliv komunikace mezi Windowsama a dalsim zarizenim potece vzdy potom samem a jednom kabelu, tedy limit 1Gbps - pokud budes komunikovat se dvema ruznymi zarizenimi, tak s kazdym pojedes po 1Gbps. U 802.3ad doporucuji pouzit LACP = Dynamic LAG.

[JuraHlavacek]

Příloha:

• sit.png (155717 bytů)

Ano, tak nejak sem si to predstavoval.

QNAP umi jak 802.3ad (akorat nevim jestli Dynamic i LACP, ale urcite neumi Static LAG). Prave mam obavy ho davat do switche, protoze RR s tim urcite bude mit problem, ale asi by slo prepnout vsechny tri stroje na 802.3ad. UBUNTU je v pohode, QNAP je v podstate x86 desktop s debian-based linuxem a existuje k velke casti systemu GPL zdrojovy kod, takze ani tam neni problem pripadne neco udelat s kernelem, dokompilovat drivery apod. V nejhorsim pripade neni problem na QNAP hodit standardni debian, ale clovek by tak prisel o pomerne pohodlnou zpravu systemu na dalku, kterou bych musel resit pres SSH a Webmin.

Cele to ale znamena poridit switch ktery bude mit podporu 802.3ad, ktery

 

Dalsi varianta je poridit aspon dva kusy LAN-10G1T-D (v podstate asi uplne stejna karta jako prodava Startech a Thecus pod oznacenim C10GTR, nakladove 3800 bez DPH za kus) a propojit tim W7x64 s UBUNTU, pricemz by mezi QNAPem a UBUNTU zustal bond v RR modu. QNAP sice pise, ze karta neni urcena pro desktop pocitace, ale cekal bych, ze kdyz se prodava se stejny PCB dalsich x karet, tak se pro to nejaky ovladac bude dat sehnat. 10metru CAT6a kabelu neni pro me problem (tahame po firme tyhle draty bezne), zatimco SFP+ bych musel nekde sehnat. Jinak by to zapojeni mohlo v podstate zustat. Toto by treba melo vyznam i pokud bych upgradoval casem QNAP na model s moznosti nahradit 2xGLAN za 10GbE i v QNAPu.

Zvlastni je, ze 10GbE at uz s RJ45 nebo SFP vychazi nakladove draz nez Infiniband, ktery co sem zatim koukal nabizi mnohem vice nez jen sitovou komunikaci a uz nyni se nabizi 40Gbps karty za relativne male penize.

 

 

Jeste by to slo trochu zkomplikovat, kdyby byl problem s vykonem a internet presunout uplne bokem. Zase by sla udelat varianta jak s Bond1 mode 4, tak 10GbE pomoci dvou QNAP karet ... viz moje schema v priloze.

 

Uplne nejhorsi varianta je poridit switch s dvema SFP+ porty, QNAP pripojit pres 802.3ad (dva porty) do standardnich portu a do UBUNTU i do W7x64 koupit po jednom kuse nejakych PCIe 10GbE sitovych karet se SFP+ a sehnat nekde levne 2 kratke hotove SFP+ kabely a predelat sit tak, aby switch lecez nekde na pul cesty mezi UBUNTU a W7x64. Nicmene na tuto varinatu nemam skoro zadne komponenty.

[JuraHlavacek]

Nebude softwaroy routing jeste narocnejsi a pomalejsi nez softwarovy bridge?

Ty oddelene podsite v podstate mam uz ted, akorat si je holt ridim sam, tim ze rucne prideluju jednotlivym cinnostem (ne vzdy je to mozne, zalezi na povaze danne cinnosti)konkretni kartu pro komunikaci. Tzn. treba pri kopirovani dat z W7x64 jsem schopen po jedne podsiti kopirovat data na SAMBA server UBUNTU a zaroven na druhe podsiti delat zalohu fotek na diskove pole v QNAPu. A internet muzu mit zapojeni pres treti podsit do onboard karty. Akorat je to nepohodlne a clovek se musi rozmyslet co kam tece.