abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 17:00 | Nová verze

Vývojáři Ubuntu informují, že od snapd verze 2.36 lze paralelně instalovat různé verze daného snap balíčku. Lze tak mít nainstalovaný například multimediální přehrávač VLC současně ve verzích stable, candidate, beta i edge.

Ladislav Hagara | Komentářů: 0
dnes 16:11 | Nová verze

Byla vydána nová stabilní verze 2.6 (2.6.1566.40) webového prohlížeče Vivaldi (Wikipedie). Z novinek vývojáři zdůrazňují možnost blokování reklam s obtěžujícím chováním, vylepšenou podporu uživatelských profilů nebo zobrazení počtu nepřečtených listů na postranní liště. Nejnovější Vivaldi je postaveno na Chromiu 75.0.3770.94.

Ladislav Hagara | Komentářů: 0
dnes 14:22 | Nová verze

Byla vydána nová verze 1.0.0 open source virtuálního modulárního syntezátoru VCV Rack. Přehled novinek v oznámení o vydání a na GitHubu. K dispozici jsou také open source pluginy. Ukázka práce s VCV Rack na YouTube.

Ladislav Hagara | Komentářů: 0
včera 23:11 | Nová verze

Bylo vydáno Eclipse IDE 2019-06 aneb Eclipse 4.12. Nově vychází toto vývojové prostředí čtvrtletně. Představení novinek na YouTube.

Ladislav Hagara | Komentářů: 0
včera 22:55 | Nová verze

Byla vydána nová stabilní verze 3.10.0, tj. první z nové řady 3.10, minimalistické linuxové distribuce zaměřené na bezpečnost Alpine Linux (Wikipedie) postavené na standardní knihovně jazyka C musl libc a BusyBoxu. Z novinek lze zmínit například iwd, tj. alternativu k wpa_supplicant.

Ladislav Hagara | Komentářů: 1
včera 15:55 | Nová verze

Byla vydána nová stabilní verze 5.13 multiplatformního toolkitu Qt. Přehled novinek v příspěvku na blogu a na wiki stránce.

Ladislav Hagara | Komentářů: 1
včera 09:00 | Bezpečnostní upozornění

Mozilla vydala bezpečnostní varování MFSA2019-18 upozorňující na aktuálně zneužívanou kritickou bezpečnostní chybu CVE-2019-11707 ve Firefoxu v Array.pop. Chyba je opravena ve Firefoxu 67.0.3 a Firefoxu ESR 60.7.1.

Ladislav Hagara | Komentářů: 0
včera 00:44 | Komunita

Konference LinuxDays 2019 proběhne o víkendu 5. a 6. října v Praze v Dejvicích v prostorách FIT ČVUT. Konference OpenAlt 2019 proběhne o víkendu 2. a 3. listopadu na FIT VUT v Brně. Organizátoři konferencí vyhlásili CFP (LinuxDays, OpenAlt). Přihlaste svou přednášku nebo doporučte konference známým.

Ladislav Hagara | Komentářů: 0
včera 00:22 | Komunita

Vývojáři Ubuntu oznámili, že Ubuntu počínaje verzí 19.10 nebude podporovat architekturu i386. Pro poslední verze Ubuntu nejsou k dispozici instalační média pro architekturu i386. Od verze 19.10 už nebudou k dispozici ani balíčky přeložené pro tuto architekturu.

Ladislav Hagara | Komentářů: 11
18.6. 22:55 | Pozvánky

Červnový pražský sraz spolku OpenAlt zahájí Jaroslav Tulach z Oracle Labs přednáškou na téma Úvod do GraalVM – nejrychlejšího virtuálního stroje na světě. Následovat bude neformální setkání a diskuse na téma GraalVM. Sraz se koná již tento čtvrtek 20. června od 18:00 v restauraci NaJedli (Radlická 608/2, Praha 5). Akce je volně přístupná (i Go nebo Rust programátorům), ale z kapacitních důvodů prosíme, abyste nám dali vědět, že přijdete –

… více »
xkucf03 | Komentářů: 0
Jakou verzi jádra Linux typicky používáte na osobním počítači?
 (18%)
 (21%)
 (54%)
 (3%)
 (5%)
Celkem 305 hlasů
 Komentářů: 8, poslední 15.6. 18:14
Rozcestník

Dotaz: NFS - lak pri kopirovani velkych suborov

21.8.2018 10:22 Milan
NFS - lak pri kopirovani velkych suborov
Přečteno: 683×
Zdravim,

mam debian server a na nom zvielam NFSv4 disk. Na druhom PC dam kopirovat z NFS velky subor (50 GB). Ked zacnem paralelne prechadzat v mc NFS disk tak je tam velky lag. Vyzera ze cela siet je pouzita na to kopirovanie. Da sa to nejak limitovat ?

Odpovědi

21.8.2018 10:36 debian
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
nie cela siet, ale trafik ...

pouzi iny file-manager s moznostou nastavit limit rychlosti pri kopirovani.
21.8.2018 11:25 Milan
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
ked tam bude viac uzivatelov ako sa to potom bude spravat ? Budu navzajom lagovat ?
21.8.2018 11:44 debian
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Ak pretazis pocitac, tak bude spomaleny. ...

Ak chces obmedzit NFS4, tak kukni https://serverfault.com/a/510225

Na nahravanie nepouzivaj NFS, ale pouzi (s)ftp. Ma mensiu systemovu narocnost.

Totiz, nie je prikaz ako prikaz. Preniest 50MB sa da 2 sposobmi: dd if=in_file of=out_file bs=1M count=50 dd if=in_file of=out_file bs=10M count=5

Ale druhy sposob menej zozerie systemovych prostriedkov (vykon). Pri druhom sposobe menej dochadza prepinani jadro/system. Lepsie sa pouzije cache. Lebo plati, cim vecsie bloku presuvas, tym je mensia rezia dat. Pokial NFS pracuje na rezime malych bloko 500k, tak nestihne nieco to tak rychlo spracovat (lebo aj system musi nechat cas na vykonanie ukonu napr. zapis realne na disk, ostatny musia cakat).

Pri nts je dotazovanie client-server vecsie. ....

Pri nfp vies nastavit rychlost na servere/client aby nevytazoval az tak system, ze by brzdil druhych.
21.8.2018 11:46 debian
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Totiz, nie je prikaz ako prikaz. Preniest 50MB sa da 2 sposobmi:
dd if=in_file of=out_file bs=1M count=50
dd if=in_file of=out_file bs=10M count=5
21.8.2018 21:49 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Na nahravanie nepouzivaj NFS, ale pouzi (s)ftp. Ma mensiu systemovu narocnost.

SFTP? To myslíte vážně?

Pri druhom sposobe menej dochadza prepinani jadro/system.

Kdybyste používal třeba 4KB bloky tak neřeknu. Ale takhle musím přemýšlet, jak asi máte rychlou síť a disky, aby těch 45 context switchů hrálo nějak významnou roli.

21.8.2018 22:11 debian
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
SFTP ak chce, aby nikto nevidel, co prenasa. (aj ked existuje nejaka alternativa - sifrovovane prenasa rychlo subory, len neviem ako sa vola).

Pri sftp je viac narocnejsia na vypoctovy vykon .... a ked servery vecsinou nerobia nic, mozno to problem nie je ...
21.8.2018 23:55 lertimir | skóre: 62 | blog: Par_slov
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
SFTP v domácí lokální gigabitové sítí? To fakt myslíte vážně?
22.8.2018 07:32 Michal Kubeček | skóre: 71 | Luštěnice
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Což o to, já běžně používám scp na kopírování i mezi dvěma počítači propojenými přímo kabelem, obvykle proto, že je s tím nejméně práce (tedy pro mne). Ale určitě bych si netroufl to zdůvodňovat "menší systémovou náročností". :-)
22.8.2018 10:55 lertimir | skóre: 62 | blog: Par_slov
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
To já také, ale je to pak jednorázové kopírování, a NFS je zpřístupnění filesystému.
22.8.2018 12:08 Peter Golis | skóre: 58 | Bratislava
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Ohľadne scp, ešte existuje sshfs. Ale ten nerieši pôvodný požiadavku na nastavenie priority toku.

21.8.2018 12:11 Peter Golis | skóre: 58 | Bratislava
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
To, že ti prenos NFS dokáže využiť pásmo celej sieťovky je fajn. To, že si si nenastavil QoS pre NFS už nemusí byť fajn. Cez QoS si to môžeš kľudne limitovať.

Teda za predpokladu že nemáš domácu sieť založenú na WiFi 2.4GHz spolu s BT audiotechnikou. Vtedy je problém niekde inde.

PS: To QoS sa dá aj naklikať na domácom routeri.
21.8.2018 12:30 Milan
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
ja mam PC1 <- gigabit -> PC2

problem mam ze ak dam sucasne kopirovat jeden 50 gb subor a potom vela malych suborov tak ta rychlost sa nerozlozi rovnomerne.... Toto by som chcel na strane servera. Ak kopirujem cez vsftpd tak ziaden problem...
21.8.2018 18:20 lertimir | skóre: 62 | blog: Par_slov
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
No nenapsal jsi jaké parametry máš okolo. Mohlo by to bý i něco zcela jiného. zkus si na obou stranách nainstalovat atom a zjistit, co se děje. To co mě napadá při pohledu křištálové koule je:
  1. Utopíš disk na serveru. Vzhledem k tomu, že sít má cca 100MB/s a disk má tak 130MB/s při seriovém čtení zápisu a mnohem méně při random, tak když dáš "vela malých souborov" bude to "vela random" a pomalé.
  2. Máš příkazy v bufferech. Nejsem odborník na interní strukturu NFS, ale očekávám následující: NFS je FS na souborovém levelu. Po sítí běhají příkazy které něco po serveru chtějí. V okamžiku kdy zadáš požadavek na výpis adresáře tak se zařadí do fronty, která je plná požadavků na přenos. Jestli NFS nemá nějakou specifickou prioritizaci požadavku na adresář, který by ve frontě předbíhal, musíš počkat až se vyřídí všechny požadavky ve frontě.
  3. Velikost dirty_pages. viz NFS operací se to týká také.
21.8.2018 18:22 lertimir | skóre: 62 | blog: Par_slov
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
překlep. máš nainstalovat atop
21.8.2018 19:58 Milan
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
1. ten disk je SSD t.j. 500MB/s
2. to mam aj pri ftp a tam tento problem nemam. ak kopirujem v 2 threadoch rychlost sa medzi ne rozdeli. Cakal som ze nieco taketo dokaze aj NFS - je to nativny network filesystem. Mam taky pocit ze asi aj samba/cifs je na tom lepsie ako NFS
3. na to sa pozriem vdaka. Kazdopadne FTP to pouziva asi tiez a ziaden problem
23.8.2018 12:45 MP
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Aby 50GB a XX souboru melo 1:1 sirku pasma je nesmysl uz by default (rezie metadat). Neni ten vsftpd nahodou single thread?
21.8.2018 14:47 Kit | skóre: 43 | Brno
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Nejsem si jist, zda je použití NFS pro takové účely vhodné. Hodně záleží na povaze toho 50GB souboru. Pro video bych použil jiný typ sdílení než pro databázi, ale NFS se nehodí ani pro jedno z toho.

Přimluvil bych se za FTP, ale skutečně záleží na tom, co se přenáší.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Max avatar 21.8.2018 15:44 Max | skóre: 67 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
...ale NFS se nehodí ani pro jedno z toho.

Nesouhlasím, produkční db (Oracle 12.2) jedeme přes NFS4.1 (2x10Gbit) pro cca 1k klientských procesů. IOPS nám na poli u DB leze na 5000
Pole je z ssd disků a celé je to rychlejší, jak předchozí pole s 24x15K SAS přes FC 8Gbit.
Zdar Max
Měl jsem sen ... :(
21.8.2018 15:58 Kit | skóre: 43 | Brno
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Oracle to má vyřešeno, ale nedovedu si představit, že by jiné dva databázové stroje sdílely úložiště přes NFS.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Max avatar 22.8.2018 07:59 Max | skóre: 67 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Pokud jsi narážel na sdílení db souborů, tak to ok, já myslel, že narážíš na používání db s datovými soubory uloženými na NFS. V tom totiž problém také nevidím.
Zdar Max
Měl jsem sen ... :(
29.8.2018 14:01 Odpadlik
Rozbalit Rozbalit vše Re: NFS - lak pri kopirovani velkych suborov
Pouzij mensi bloky. Defaultne ma totiz NFS tendenci jit po velkych jumbo paketech coz pak zpomaluje odezvu jinde.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.