abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 17:55 | Nová verze

Byla vydána betaverze Fedory 33, tj. o poslední zastávce před vydáním finální verze, která je momentálně naplánována na 20. října. Výchozí souborový systému byl změněn z Ext4 na Btrfs. Výchozí prostředí GNOME bylo aktualizováno na verzi 3.38. Mezi oficiální edice přibyla Fedora IoT.

Ladislav Hagara | Komentářů: 0
dnes 14:22 | Zajímavý článek

David Revoy se před rokem rozhodl, že vydá svůj open source webový komiks Pepper&Carrot také knižně a ve vlastní režii. Použije k tomu pouze open source software. Nemá to jednoduché. V několika příspěvcích na svém blogu popsal problémy a jejich postupné řešení. Po roce testování je ale konečně s výsledkem spokojen.

Ladislav Hagara | Komentářů: 0
dnes 14:00 | Komunita

Lukáš Bařinka oznámil vydávání série video cvičení Programování v shellu na YouTube.

Ladislav Hagara | Komentářů: 1
dnes 11:11 | Zajímavý článek

Nová čísla časopisů od nakladatelství Raspberry Pi: MagPi 98 (pdf), HackSpace 35 (pdf), Wireframe 42 (pdf) a Hello World 14 (pdf).

Ladislav Hagara | Komentářů: 0
dnes 08:00 | Nová verze

Byla vydána verze 8.4 OpenSSH. Blíží se ohlášený zákaz algoritmu „ssh-rsa“ kvůli zranitelnosti SHA-1.

Fluttershy, yay! | Komentářů: 0
včera 13:22 | Zajímavý projekt

Více než 60 moderních telefonů má díky práci týmu dobrovolníků SOMainline šanci na zařazení do oficiálního linuxového jádra. Patche pro podporu chipsetu SD630 a SD660, kterým jsou tyto telefony poháněny, jsou postupně začleňovány. Tým se soustředí na zprovoznění klasických linuxových distribucí pro telefony, ale věnuje se i zprovoznění běžného AOSP. Další tým vývojářů postmarketOS již delší dobu pracuje na podpoře chipsetu MSM8953, který umožňuje vdechnout život dalším nejméně 30 telefonům vydaných v letech 2017 a 2018.

David Heidelberg | Komentářů: 22
včera 08:00 | Komunita

Svobodný kancelářský balík LibreOffice slaví 10 let od svého vzniku. Projekt byl představen 28. září 2010.

Ladislav Hagara | Komentářů: 20
včera 07:00 | Pozvánky

Ve dnech 15. až 17. října 2020 se bude konat společná openSUSE + LibreOffice konference. Původně měla konference probíhat v Norimberku, ale vzhledem k situaci bude probíhat online. Konference již zveřejnila program. Naplánováno je několik desítek přednášek. Registrace a podrobnosti naleznete na stránce konference.

Zdeněk Crhonek | Komentářů: 1
27.9. 18:11 | Zajímavý software

SimulIDE je realtimový simulátor elektronických obvodů. Podporuje také PIC, AVR a Arduino. K dispozici je verze 0.4.13. Vývojáře lze podpořit na Patreonu.

Ladislav Hagara | Komentářů: 0
27.9. 14:11 | Nová verze

Virtual Machine Manager aneb virt-manager (Wikipedie), tj. GUI pro správu virtuálních strojů podporovaných knihovnou libvirt, byl vydán ve verzi 3.0.0. Přehled novinek v příspěvku na blogu. Zdůrazněna je nová volba --cloud-init.

Ladislav Hagara | Komentářů: 4
Používáte aplikaci eRouška?
 (19%)
 (3%)
 (2%)
 (12%)
 (50%)
 (8%)
 (6%)
Celkem 469 hlasů
 Komentářů: 35, poslední 20.9. 21:50
Rozcestník

Dotaz: Pomaly upload veľkých súborov v SAMBE

6.5.2019 09:54 /dev/null
Pomaly upload veľkých súborov v SAMBE
Přečteno: 439×
Pri veľkých súboroch (cca 10 a viac GB) sa mi stáva nasledovné:
- začiatok kopírovania cca 90 - 100MB/s
- akonáhle sa naplní RAMkou kopírovacia cache (na stroji na ktorý kopírujem - pekne to vidieť na htop) dochádza k spadnutiu rýchosti na cca 50-70MB/s
- po čase sa rýchlosť postupne dostane na cca 25 - 30MB/s čo je pre mňa už neprijateľné

Otázka do pléna - ako to riešiť? Server na ktorý kopírujem ma 4GB RAM (využitá RAM je asi 200MB pri idle je tam len SSH, SAMBA a nič viac) a disky musia stihat zapisovat 100 MB v kuse - neverim ze je to v rychlosti diskov.

Ešte prikladám [global] sekciu zo smb.conf
[global]
 workgroup = XXXXX
 server string = XXXXXX
 netbios name = XXXXXXX
 name resolve order = lmhosts bcast wins host
 dns proxy = no
 log file = /var/log/samba/%m.log
 create mask = 0664
 directory mask = 0775
 force create mode = 0664
 force directory mode = 0775
 read raw = Yes
 server signing = No
 write raw = Yes
 strict locking = No
 socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=131072 SO_SNDBUF=131072
 min receivefile size = 16384
 use sendfile = Yes
 aio read size = 16384
 aio write size = 16384

Odpovědi

6.5.2019 10:12 rastos | skóre: 62 | blog: rastos
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Kedysi som niečo čítal, že to závisí na verzii SMB protokolu, ktorý si tie stroje dohodnú. Pátranie po detailoch som nedotiahol, vykašlal som sa na to a prenášam cez ssh (resp. scp alebo rsync).
6.5.2019 11:06 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Co je klientem Linux/Win (pouziva klient antivirus)? Jaky je pouzity filesystem? (moznost fragmentace na jedne ci druhe strane, u HDD to muze hrat roli)? Jake je vytizeni CPU procesem smbd dle top pri zapisu? Jaka je pruchodnost sitoveho spojeni (napr. iperf3)?
6.5.2019 11:18 /dev/null
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Klient1: Win 7
Klient2: Ubuntu 19.04
Server: Debian Linux 9.9, JFS, 2 x 4TB HDD RAID1, cpu vytazenie do 25 percent, iperf3 som neskusal ale linka ma 920Mbps upload/download
6.5.2019 11:43 PetrLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Jde o zatez primo konkretniho procesu (v topu), 25% vytizeni z celeho CPU(quad-core) muze klidne znamenat zastropovani vykonu procesu o silu jednoho jadra. Pokud bude mit proces u sebe 100% znamena to, ze byl schopen plne vytizit jedno jadro (u singlethread zateze).
Max avatar 6.5.2019 11:39 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
RAID1 - zapisuji rychlostí jednoho disku. Nevím, jak přesně funguje mdadm, ale pokud čeká na potvrzení zápisu z obou disků a jeden bude vadný, nebo bude zlobit, bude degradovaná rychlost celého pole.
Takže bych nejdříve zkontroloval SMART obou disků a přes noc na ně pustil long test.
Zkontroloval bych dmesg, zda tam nebudou nějaké chyby s ATA.
Pokud vše ok a CPU opravdu při kopírování neleze nahoru ke 100%, bych otestoval rychlost pole jako takového. Záleží totiž, co je to za disky. Pokud jsou to nějaké greeny a fragmentace je ve větší míře, může být problém. Rychlost pole můžeš do začátku otestovat hloupým zapisováním nul :
dd if=/dev/zero of=/mnt/datastore/test.img bs=4096 count=1048576
Při tom sleduj jednak vytížení CPU, dále i IO pomocí iotop

Jinak osobně nevěřím, že by jeden SATA disk zvládl kontinuálně 100MiB/s.
Zdar Max
Měl jsem sen ... :(
6.5.2019 13:36 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Dnešní slušné 3,5" 7200 ot/min dají na vnějších stopách snad i přes 200MB/s (na vnitřeních >100MB/s). https://www.alza.cz/seagate-exos-7e8-3tb-d5283784.htm
Max avatar 6.5.2019 13:57 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Výkonné pro 24/7 za nějakých podmínek ano. Ale disky alá WD Green apod., to je smutnější písnička. Obzvláště, když se k tomu přidá i nějaká ta fragmentace, nebo nedejbože požadavek na více operací.
Zdar Max
Měl jsem sen ... :(
6.5.2019 15:37 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Samozrejme jsem mel na mysli low-cost FS, či dd. Tazatel zmiňuje JFS, tam patrně bude režie větší než u "čisté" sekvenční write zátěže. Nedávno jsem si pořídil jeden z levnějších 4TB modelů a při zálohování SSD/NVMe ddckem na něj se k těm 200MB/s docela přiblížil.
6.5.2019 15:39 Robert Kupka | skóre: 15
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Rovnake chovanie ma aj Samba 3.6 na Turris NAS routroch, normalne 50-90 Mb/s, ale po zaplneni bufferov pada aj na pár stoviek kB/s. Spolahlive riesenie (nemam odskusane, ale vraj sa problem vyriesi) je upgrade Samby na verziu 4.x Inak funguje len flushovanie cache a odporucane nastavenie smb.conf:

socket options = IPTOS_LOWDELAY TCP_NODELAY SO_KEEPALIVE

Babrem sa s tym uz rok a pre Sambu 3.6 nikdo ziaden rozumny fix nevymyslel.
Max avatar 6.5.2019 16:37 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
V Debianu 9.9 je snad samba 4.5.16, ne?
Zdar Max
Měl jsem sen ... :(
6.5.2019 19:20 Zaphod | skóre: 37
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Chovanie zodpovedá zapojeniu SMR (Shingled Magnetic Recording) diskov do raidu.

Starý ale dobrý článok je na diit. Hlavne kapitola "Zahlcení disku do bezvědomí" je dobrá.

Ak sú disky Seagate je pravdepodobné použitie SMR.
6.5.2019 19:44 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
A to SMR se dostalo do menších kapacit (4TB v tomto případě), měl jsem za to že pokud tak je záležitostí předevších vyšších kapacit HDD 8/10/..TB?
k3dAR avatar 6.5.2019 20:36 k3dAR | skóre: 59
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
dostalo, minimalne u 2.5" pro 3TB a vyse (tusim ze nektere vyrobce/modely uz od 2TB), vyjimkou u 3TB je "Toshiba MQ03ABB300", vsichni ostatni jsou SMR... pred casem sem to resil tady, nakonec poridil prave 2x tu Toshibu... (btw: jedno z indicii ze jde o SMR, je kdyz ma disk cache 128MB)
porad nemam telo, ale uz mam hlavu... nobody
6.5.2019 21:35 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
O těch 2,5" jsem se dočetl, tady si z neznámého důvodu sugeruji že jde o 4TB 3,5" HDD. Zkusil jsem dd proti cca 5let+ starému 3TB modelu Seagate 7200 ot/min (ST3000DM001), a při i 75% zaplneni jeste dáva ~150MB/s trvalého zapisu (ext4).
6.5.2019 21:49 Zaphod | skóre: 37
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Mám ST1000LM035 - 2,5" 1TB externý Seagate. Je SMR. Aby som to zistil musel som stiahnuť Product Manual k diskom. Je to skryté v texte, krátka poznámka. Zápis <55TB za rok, inak padne záruka. Celá rada 500GB až 2TB je SMR.

Disk mal pomalý zápis pod NTFS aj ext4. Pomohol btrfs. Montujú ho do notebookov ako systémový disk. Update Win10 na SMR disku musí byť zážitok.
k3dAR avatar 6.5.2019 20:40 k3dAR | skóre: 59
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
over zda nejde o "klasiku" nevhodne automaticky nastavene cache, viz(btw: problem neni/nebyl jen s USB Flash ale i s HDD)...
echo 104857600 | sudo tee /proc/sys/vm/dirty_background_bytes
echo 209715200 | sudo tee /proc/sys/vm/dirty_bytes
pokud by to resilo problem, pridej do /etc/rc.local:
echo 104857600 > /proc/sys/vm/dirty_background_bytes
echo 209715200 > /proc/sys/vm/dirty_bytes
porad nemam telo, ale uz mam hlavu... nobody
7.5.2019 10:18 /dev/null
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
zlepšilo sa to - minimálna rýchlosť je cca 75-80MB/s. Ďakujem
7.5.2019 08:29 j
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Places na spatnym hrobe, mas proste pomalej disk. Jak bylo receno, bud mas disk spatnej (= vcetne ty frikulinsky technologie), nebo ti tam hrabe jeste neco dalsiho (a je jedno jesli dalsi uzivatel pres sambu nebo nejakej dalsi proces).

Samba da naprosto vpohode bez jakyhokoli ladeni stovky MB/s. Ostatne to ze neni problem v sambe naprosto jasne indikuje stav, kdy ti do zaplneni cache saturuje sit.

Pokud by ti tam generovalo provoz neco dalsiho, pocitej s tim, ze je uplne jedno kolik toho zapisuje nebo cte, podstatny je, kolik generuje IO. Tvuj disk se 100% jistotou neda vic nez +- 150 IOps (a ty SMR kramy spis tak ctvrtinu).

Pro predstavu, jen torrenti klient generujici radove jednotky MB/s je schopen zblajznout cca 30% rychlosti.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.