abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 05:00 | Nová verze

    Byla vydána beta verze Linux Mintu 22.3 s kódovým jménem Zena. Podrobnosti v přehledu novinek a poznámkách k vydání. Vypíchnout lze, že nástroj Systémová hlášení (System Reports) získal mnoho nových funkcí a byl přejmenován na Informace o systému (System Information). Linux Mint 22.3 bude podporován do roku 2029.

    Ladislav Hagara | Komentářů: 1
    dnes 01:55 | Nová verze

    GNU Project Debugger aneb GDB byl vydán ve verzi 17.1. Podrobný přehled novinek v souboru NEWS.

    Ladislav Hagara | Komentářů: 0
    19.12. 17:22 | IT novinky

    Josef Průša oznámil zveřejnění kompletních CAD souborů rámů tiskáren Prusa CORE One a CORE One L. Nejsou vydány pod obecnou veřejnou licenci GNU ani Creative Commons ale pod novou licencí OCL neboli Open Community License. Ta nepovoluje prodávat kompletní tiskárny či remixy založené na těchto zdrojích.

    Ladislav Hagara | Komentářů: 2
    19.12. 17:00 | Komunita

    Nový CEO Mozilla Corporation Anthony Enzor-DeMeo tento týden prohlásil, že by se Firefox měl vyvinout v moderní AI prohlížeč. Po bouřlivých diskusích na redditu ujistil, že v nastavení Firefoxu bude existovat volba pro zakázání všech AI funkcí.

    Ladislav Hagara | Komentářů: 0
    19.12. 10:11 | IT novinky

    V pořadí šestou knihou autora Martina Malého, která vychází v Edici CZ.NIC, správce české národní domény, je titul Kity, bity, neurony. Kniha s podtitulem Moderní technologie pro hobby elektroniku přináší ucelený pohled na svět současných technologií a jejich praktické využití v domácích elektronických projektech. Tento knižní průvodce je ideální pro každého, kdo se chce podívat na současné trendy v oblasti hobby elektroniky, od

    … více »
    Ladislav Hagara | Komentářů: 3
    19.12. 03:11 | Komunita

    Linux Foundation zveřejnila Výroční zprávu za rok 2025 (pdf). Příjmy Linux Foundation byly 311 miliónů dolarů. Výdaje 285 miliónů dolarů. Na podporu linuxového jádra (Linux Kernel Project) šlo 8,4 miliónu dolarů. Linux Foundation podporuje téměř 1 500 open source projektů.

    Ladislav Hagara | Komentářů: 0
    19.12. 02:11 | Zajímavý článek

    Jean-Baptiste Mardelle se v příspěvku na blogu rozepsal o novinkám v nejnovější verzi 25.12.0 editoru videa Kdenlive (Wikipedie). Ke stažení také na Flathubu.

    Ladislav Hagara | Komentářů: 0
    19.12. 02:00 | Nová verze

    OpenZFS (Wikipedie), tj. implementace souborového systému ZFS pro Linux a FreeBSD, byl vydán ve verzi 2.4.0.

    Ladislav Hagara | Komentářů: 0
    19.12. 01:00 | IT novinky

    Kriminalisté z NCTEKK společně s českými i zahraničními kolegy objasnili mimořádně rozsáhlou trestnou činnost z oblasti kybernetické kriminality. V rámci operací OCTOPUS a CONNECT ukončili činnost čtyř call center na Ukrajině. V prvním případě se jednalo o podvodné investice, v případě druhém o podvodné telefonáty, při kterých se zločinci vydávali za policisty a pod legendou napadeného bankovního účtu okrádali své oběti o vysoké finanční částky.

    Ladislav Hagara | Komentářů: 6
    18.12. 14:44 | IT novinky

    Na lepší pokrytí mobilním signálem a dostupnější mobilní internet se mohou těšit cestující v Pendolinech, railjetech a InterPanterech Českých drah. Konsorcium firem ČD - Telematika a.s. a Kontron Transportation s.r.o. dokončilo instalaci 5G opakovačů mobilního signálu do jednotek Pendolino a InterPanter. Tento krok navazuje na zavedení této technologie v jednotkách Railjet z letošního jara.

    Ladislav Hagara | Komentářů: 7
    Kdo vám letos nadělí dárek?
     (26%)
     (3%)
     (10%)
     (3%)
     (3%)
     (3%)
     (13%)
     (26%)
     (15%)
    Celkem 39 hlasů
     Komentářů: 14, poslední dnes 19:13
    Rozcestník

    Dotaz: Pomaly upload veľkých súborov v SAMBE

    6.5.2019 09:54 /dev/null
    Pomaly upload veľkých súborov v SAMBE
    Přečteno: 604×
    Pri veľkých súboroch (cca 10 a viac GB) sa mi stáva nasledovné:
    - začiatok kopírovania cca 90 - 100MB/s
    - akonáhle sa naplní RAMkou kopírovacia cache (na stroji na ktorý kopírujem - pekne to vidieť na htop) dochádza k spadnutiu rýchosti na cca 50-70MB/s
    - po čase sa rýchlosť postupne dostane na cca 25 - 30MB/s čo je pre mňa už neprijateľné

    Otázka do pléna - ako to riešiť? Server na ktorý kopírujem ma 4GB RAM (využitá RAM je asi 200MB pri idle je tam len SSH, SAMBA a nič viac) a disky musia stihat zapisovat 100 MB v kuse - neverim ze je to v rychlosti diskov.

    Ešte prikladám [global] sekciu zo smb.conf
    [global]
     workgroup = XXXXX
     server string = XXXXXX
     netbios name = XXXXXXX
     name resolve order = lmhosts bcast wins host
     dns proxy = no
     log file = /var/log/samba/%m.log
     create mask = 0664
     directory mask = 0775
     force create mode = 0664
     force directory mode = 0775
     read raw = Yes
     server signing = No
     write raw = Yes
     strict locking = No
     socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=131072 SO_SNDBUF=131072
     min receivefile size = 16384
     use sendfile = Yes
     aio read size = 16384
     aio write size = 16384
    

    Odpovědi

    6.5.2019 10:12 rastos | skóre: 63 | blog: rastos
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Kedysi som niečo čítal, že to závisí na verzii SMB protokolu, ktorý si tie stroje dohodnú. Pátranie po detailoch som nedotiahol, vykašlal som sa na to a prenášam cez ssh (resp. scp alebo rsync).
    6.5.2019 11:06 PetebLazar
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Co je klientem Linux/Win (pouziva klient antivirus)? Jaky je pouzity filesystem? (moznost fragmentace na jedne ci druhe strane, u HDD to muze hrat roli)? Jake je vytizeni CPU procesem smbd dle top pri zapisu? Jaka je pruchodnost sitoveho spojeni (napr. iperf3)?
    6.5.2019 11:18 /dev/null
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Klient1: Win 7
    Klient2: Ubuntu 19.04
    Server: Debian Linux 9.9, JFS, 2 x 4TB HDD RAID1, cpu vytazenie do 25 percent, iperf3 som neskusal ale linka ma 920Mbps upload/download
    6.5.2019 11:43 PetrLazar
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Jde o zatez primo konkretniho procesu (v topu), 25% vytizeni z celeho CPU(quad-core) muze klidne znamenat zastropovani vykonu procesu o silu jednoho jadra. Pokud bude mit proces u sebe 100% znamena to, ze byl schopen plne vytizit jedno jadro (u singlethread zateze).
    Max avatar 6.5.2019 11:39 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    RAID1 - zapisuji rychlostí jednoho disku. Nevím, jak přesně funguje mdadm, ale pokud čeká na potvrzení zápisu z obou disků a jeden bude vadný, nebo bude zlobit, bude degradovaná rychlost celého pole.
    Takže bych nejdříve zkontroloval SMART obou disků a přes noc na ně pustil long test.
    Zkontroloval bych dmesg, zda tam nebudou nějaké chyby s ATA.
    Pokud vše ok a CPU opravdu při kopírování neleze nahoru ke 100%, bych otestoval rychlost pole jako takového. Záleží totiž, co je to za disky. Pokud jsou to nějaké greeny a fragmentace je ve větší míře, může být problém. Rychlost pole můžeš do začátku otestovat hloupým zapisováním nul :
    dd if=/dev/zero of=/mnt/datastore/test.img bs=4096 count=1048576
    
    Při tom sleduj jednak vytížení CPU, dále i IO pomocí iotop

    Jinak osobně nevěřím, že by jeden SATA disk zvládl kontinuálně 100MiB/s.
    Zdar Max
    Měl jsem sen ... :(
    6.5.2019 13:36 PetebLazar
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Dnešní slušné 3,5" 7200 ot/min dají na vnějších stopách snad i přes 200MB/s (na vnitřeních >100MB/s). https://www.alza.cz/seagate-exos-7e8-3tb-d5283784.htm
    Max avatar 6.5.2019 13:57 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Výkonné pro 24/7 za nějakých podmínek ano. Ale disky alá WD Green apod., to je smutnější písnička. Obzvláště, když se k tomu přidá i nějaká ta fragmentace, nebo nedejbože požadavek na více operací.
    Zdar Max
    Měl jsem sen ... :(
    6.5.2019 15:37 PetebLazar
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Samozrejme jsem mel na mysli low-cost FS, či dd. Tazatel zmiňuje JFS, tam patrně bude režie větší než u "čisté" sekvenční write zátěže. Nedávno jsem si pořídil jeden z levnějších 4TB modelů a při zálohování SSD/NVMe ddckem na něj se k těm 200MB/s docela přiblížil.
    6.5.2019 15:39 Robert Kupka | skóre: 15
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Rovnake chovanie ma aj Samba 3.6 na Turris NAS routroch, normalne 50-90 Mb/s, ale po zaplneni bufferov pada aj na pár stoviek kB/s. Spolahlive riesenie (nemam odskusane, ale vraj sa problem vyriesi) je upgrade Samby na verziu 4.x Inak funguje len flushovanie cache a odporucane nastavenie smb.conf:

    socket options = IPTOS_LOWDELAY TCP_NODELAY SO_KEEPALIVE

    Babrem sa s tym uz rok a pre Sambu 3.6 nikdo ziaden rozumny fix nevymyslel.
    Max avatar 6.5.2019 16:37 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    V Debianu 9.9 je snad samba 4.5.16, ne?
    Zdar Max
    Měl jsem sen ... :(
    6.5.2019 19:20 Zaphod | skóre: 37 | blog: zaphod_blog
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Chovanie zodpovedá zapojeniu SMR (Shingled Magnetic Recording) diskov do raidu.

    Starý ale dobrý článok je na diit. Hlavne kapitola "Zahlcení disku do bezvědomí" je dobrá.

    Ak sú disky Seagate je pravdepodobné použitie SMR.
    6.5.2019 19:44 PetebLazar
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    A to SMR se dostalo do menších kapacit (4TB v tomto případě), měl jsem za to že pokud tak je záležitostí předevších vyšších kapacit HDD 8/10/..TB?
    k3dAR avatar 6.5.2019 20:36 k3dAR | skóre: 63
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    dostalo, minimalne u 2.5" pro 3TB a vyse (tusim ze nektere vyrobce/modely uz od 2TB), vyjimkou u 3TB je "Toshiba MQ03ABB300", vsichni ostatni jsou SMR... pred casem sem to resil tady, nakonec poridil prave 2x tu Toshibu... (btw: jedno z indicii ze jde o SMR, je kdyz ma disk cache 128MB)
    porad nemam telo, ale uz mam hlavu... nobody
    6.5.2019 21:35 PetebLazar
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    O těch 2,5" jsem se dočetl, tady si z neznámého důvodu sugeruji že jde o 4TB 3,5" HDD. Zkusil jsem dd proti cca 5let+ starému 3TB modelu Seagate 7200 ot/min (ST3000DM001), a při i 75% zaplneni jeste dáva ~150MB/s trvalého zapisu (ext4).
    6.5.2019 21:49 Zaphod | skóre: 37 | blog: zaphod_blog
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Mám ST1000LM035 - 2,5" 1TB externý Seagate. Je SMR. Aby som to zistil musel som stiahnuť Product Manual k diskom. Je to skryté v texte, krátka poznámka. Zápis <55TB za rok, inak padne záruka. Celá rada 500GB až 2TB je SMR.

    Disk mal pomalý zápis pod NTFS aj ext4. Pomohol btrfs. Montujú ho do notebookov ako systémový disk. Update Win10 na SMR disku musí byť zážitok.
    k3dAR avatar 6.5.2019 20:40 k3dAR | skóre: 63
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    over zda nejde o "klasiku" nevhodne automaticky nastavene cache, viz(btw: problem neni/nebyl jen s USB Flash ale i s HDD)...
    echo 104857600 | sudo tee /proc/sys/vm/dirty_background_bytes
    echo 209715200 | sudo tee /proc/sys/vm/dirty_bytes
    
    pokud by to resilo problem, pridej do /etc/rc.local:
    echo 104857600 > /proc/sys/vm/dirty_background_bytes
    echo 209715200 > /proc/sys/vm/dirty_bytes
    
    porad nemam telo, ale uz mam hlavu... nobody
    7.5.2019 10:18 /dev/null
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    zlepšilo sa to - minimálna rýchlosť je cca 75-80MB/s. Ďakujem
    7.5.2019 08:29 j
    Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
    Places na spatnym hrobe, mas proste pomalej disk. Jak bylo receno, bud mas disk spatnej (= vcetne ty frikulinsky technologie), nebo ti tam hrabe jeste neco dalsiho (a je jedno jesli dalsi uzivatel pres sambu nebo nejakej dalsi proces).

    Samba da naprosto vpohode bez jakyhokoli ladeni stovky MB/s. Ostatne to ze neni problem v sambe naprosto jasne indikuje stav, kdy ti do zaplneni cache saturuje sit.

    Pokud by ti tam generovalo provoz neco dalsiho, pocitej s tim, ze je uplne jedno kolik toho zapisuje nebo cte, podstatny je, kolik generuje IO. Tvuj disk se 100% jistotou neda vic nez +- 150 IOps (a ty SMR kramy spis tak ctvrtinu).

    Pro predstavu, jen torrenti klient generujici radove jednotky MB/s je schopen zblajznout cca 30% rychlosti.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.