abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 15:22 | Komunita

Daniel Vetter ve zprávě rozeslané do vícero e-mailových konferencí shrnuje situaci kolem financování služeb poskytovaných projektům Freedesktop.org, zvláště spojeným s X.Org (grafické knihovny atp.). Vzhledem k rostoucí popularitě služeb jako CI (Continuous Integration) rostou také náklady na hosting (očekávané výdaje od 75 tisíc dolarů za rok), a proto se hledá sponzor, nebo bude nutné služby v horizontu několika měsíců omezit.

Fluttershy, yay! | Komentářů: 1
dnes 14:55 | Zajímavý článek

Knot DNS slaví deset let své existence. Projekt autoritativního DNS serveru Knot DNS patří mezi nejstarší projekty Laboratoří CZ.NIC. Dnes je tomu právě deset let od uložení prvotního prototypu serveru commitem 2da03d5da do veřejného repozitáře Git.

Ladislav Hagara | Komentářů: 0
dnes 14:11 | Nová verze

Byla vydána nová verze 2.53.1 svobodného multiplatformního balíku internetových aplikací SeaMonkey (Wikipedie). Přehled novinek v poznámkách k vydání. Hlavní změny jsou pod kapotou. Nová hlavní verze 2.53 používá základ z Firefoxu a Thunderbirdu 60.

Ladislav Hagara | Komentářů: 0
dnes 07:00 | Zajímavý software

Budou to tři roky, co Canonical ukončil vývoj mj. grafického prostředí Unity8 a souvisejících projektů jako smartphone s Ubuntu Touch. Toho se ujala komunita UBports a vedle toho vznikl fork Yunit, který již neexistuje, zatímco Unity8 se dostane do Debianu. Nebude se však jmenovat Unity8, nýbrž Lomiri, jak bylo nyní oznámeno.

Fluttershy, yay! | Komentářů: 0
dnes 06:00 | Zajímavý projekt

Úrad podpredsedu vlády SR pre investície a informatizáciu vyhlásil výzvu na podporu migrácie na open source a podporu budovania inteligentných miest a regiónov. Dátum uzavretia 1. hodnotiaceho kola je 21.04.2020. Žiadatelia môžu získať od 200 000 do 1 000 000 eur.

atirage21 | Komentářů: 0
dnes 05:00 | IT novinky

Otevřená certifikační autorita Let's Encrypt oznámila, že vydala již miliardu certifikátů. Při spuštění veřejné bety Let's Encrypt, v prosinci 2015, bylo celosvětově pomocí HTTPS stahováno cca 40 % webových stránek. Dnes je to 81 %. V USA dokonce 91 %. Podrobnosti na stránce se statistikami. Let's Encrypt má aktuálně 13 zaměstnanců na plný úvazek a roční rozpočet přibližně 3,35 milionu dolarů.

Ladislav Hagara | Komentářů: 7
včera 15:33 | Komunita

Fedora stále hledá nové logo. První návrhy byly představeny již před rokem. Designérka Fedory Máirín Duffy ukázala na Twitteru aktuální verzi a žádá uživatele o zpětnou vazbu.

Ladislav Hagara | Komentářů: 17
včera 13:55 | Nová verze

Android-x86, tj. port mobilního operačního systému Android na standardní PC s architekturou x86, byl vydán v nové stabilní verze 9.0-r1. Přehled novinek v oficiálním oznámení.

Ladislav Hagara | Komentářů: 14
včera 13:11 | Komunita

Mozilla definitivně opouští IRC. Vloni začala hledat novou veřejnou komunikační platformu. Dosud používala IRC (plus interně neveřejný Slack a po nějakou dobu i Mattermost). Nicméně IRC i servery zastarávaly a zejména použitelnost na mobilních zařízeních byla často problematická. Po zvažování a zkoušení různých alternativ se Mozilla přiklonila k otevřenému protokolu Matrix (můžete také znát referenčního klienta Riot) a na konci února IRC vypne.

Ladislav Hagara | Komentářů: 20
včera 13:00 | IT novinky

Raspberry Pi slaví 8 let. Při této příležitosti bylo Raspberry Pi 4 s 2 GB RAM zlevněno o 10 dolarů. Napořád.

Ladislav Hagara | Komentářů: 2
Vydržela vám novoroční předsevzetí?
 (11%)
 (6%)
 (3%)
 (80%)
Celkem 210 hlasů
 Komentářů: 0
Rozcestník

www.AutoDoc.Cz

Dotaz: Pomaly upload veľkých súborov v SAMBE

6.5.2019 09:54 /dev/null
Pomaly upload veľkých súborov v SAMBE
Přečteno: 419×
Pri veľkých súboroch (cca 10 a viac GB) sa mi stáva nasledovné:
- začiatok kopírovania cca 90 - 100MB/s
- akonáhle sa naplní RAMkou kopírovacia cache (na stroji na ktorý kopírujem - pekne to vidieť na htop) dochádza k spadnutiu rýchosti na cca 50-70MB/s
- po čase sa rýchlosť postupne dostane na cca 25 - 30MB/s čo je pre mňa už neprijateľné

Otázka do pléna - ako to riešiť? Server na ktorý kopírujem ma 4GB RAM (využitá RAM je asi 200MB pri idle je tam len SSH, SAMBA a nič viac) a disky musia stihat zapisovat 100 MB v kuse - neverim ze je to v rychlosti diskov.

Ešte prikladám [global] sekciu zo smb.conf
[global]
 workgroup = XXXXX
 server string = XXXXXX
 netbios name = XXXXXXX
 name resolve order = lmhosts bcast wins host
 dns proxy = no
 log file = /var/log/samba/%m.log
 create mask = 0664
 directory mask = 0775
 force create mode = 0664
 force directory mode = 0775
 read raw = Yes
 server signing = No
 write raw = Yes
 strict locking = No
 socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=131072 SO_SNDBUF=131072
 min receivefile size = 16384
 use sendfile = Yes
 aio read size = 16384
 aio write size = 16384

Odpovědi

6.5.2019 10:12 rastos | skóre: 61 | blog: rastos
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Kedysi som niečo čítal, že to závisí na verzii SMB protokolu, ktorý si tie stroje dohodnú. Pátranie po detailoch som nedotiahol, vykašlal som sa na to a prenášam cez ssh (resp. scp alebo rsync).
6.5.2019 11:06 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Co je klientem Linux/Win (pouziva klient antivirus)? Jaky je pouzity filesystem? (moznost fragmentace na jedne ci druhe strane, u HDD to muze hrat roli)? Jake je vytizeni CPU procesem smbd dle top pri zapisu? Jaka je pruchodnost sitoveho spojeni (napr. iperf3)?
6.5.2019 11:18 /dev/null
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Klient1: Win 7
Klient2: Ubuntu 19.04
Server: Debian Linux 9.9, JFS, 2 x 4TB HDD RAID1, cpu vytazenie do 25 percent, iperf3 som neskusal ale linka ma 920Mbps upload/download
6.5.2019 11:43 PetrLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Jde o zatez primo konkretniho procesu (v topu), 25% vytizeni z celeho CPU(quad-core) muze klidne znamenat zastropovani vykonu procesu o silu jednoho jadra. Pokud bude mit proces u sebe 100% znamena to, ze byl schopen plne vytizit jedno jadro (u singlethread zateze).
Max avatar 6.5.2019 11:39 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
RAID1 - zapisuji rychlostí jednoho disku. Nevím, jak přesně funguje mdadm, ale pokud čeká na potvrzení zápisu z obou disků a jeden bude vadný, nebo bude zlobit, bude degradovaná rychlost celého pole.
Takže bych nejdříve zkontroloval SMART obou disků a přes noc na ně pustil long test.
Zkontroloval bych dmesg, zda tam nebudou nějaké chyby s ATA.
Pokud vše ok a CPU opravdu při kopírování neleze nahoru ke 100%, bych otestoval rychlost pole jako takového. Záleží totiž, co je to za disky. Pokud jsou to nějaké greeny a fragmentace je ve větší míře, může být problém. Rychlost pole můžeš do začátku otestovat hloupým zapisováním nul :
dd if=/dev/zero of=/mnt/datastore/test.img bs=4096 count=1048576
Při tom sleduj jednak vytížení CPU, dále i IO pomocí iotop

Jinak osobně nevěřím, že by jeden SATA disk zvládl kontinuálně 100MiB/s.
Zdar Max
Měl jsem sen ... :(
6.5.2019 13:36 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Dnešní slušné 3,5" 7200 ot/min dají na vnějších stopách snad i přes 200MB/s (na vnitřeních >100MB/s). https://www.alza.cz/seagate-exos-7e8-3tb-d5283784.htm
Max avatar 6.5.2019 13:57 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Výkonné pro 24/7 za nějakých podmínek ano. Ale disky alá WD Green apod., to je smutnější písnička. Obzvláště, když se k tomu přidá i nějaká ta fragmentace, nebo nedejbože požadavek na více operací.
Zdar Max
Měl jsem sen ... :(
6.5.2019 15:37 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Samozrejme jsem mel na mysli low-cost FS, či dd. Tazatel zmiňuje JFS, tam patrně bude režie větší než u "čisté" sekvenční write zátěže. Nedávno jsem si pořídil jeden z levnějších 4TB modelů a při zálohování SSD/NVMe ddckem na něj se k těm 200MB/s docela přiblížil.
6.5.2019 15:39 Robert Kupka | skóre: 15
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Rovnake chovanie ma aj Samba 3.6 na Turris NAS routroch, normalne 50-90 Mb/s, ale po zaplneni bufferov pada aj na pár stoviek kB/s. Spolahlive riesenie (nemam odskusane, ale vraj sa problem vyriesi) je upgrade Samby na verziu 4.x Inak funguje len flushovanie cache a odporucane nastavenie smb.conf:

socket options = IPTOS_LOWDELAY TCP_NODELAY SO_KEEPALIVE

Babrem sa s tym uz rok a pre Sambu 3.6 nikdo ziaden rozumny fix nevymyslel.
Max avatar 6.5.2019 16:37 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
V Debianu 9.9 je snad samba 4.5.16, ne?
Zdar Max
Měl jsem sen ... :(
6.5.2019 19:20 Zaphod | skóre: 37
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Chovanie zodpovedá zapojeniu SMR (Shingled Magnetic Recording) diskov do raidu.

Starý ale dobrý článok je na diit. Hlavne kapitola "Zahlcení disku do bezvědomí" je dobrá.

Ak sú disky Seagate je pravdepodobné použitie SMR.
6.5.2019 19:44 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
A to SMR se dostalo do menších kapacit (4TB v tomto případě), měl jsem za to že pokud tak je záležitostí předevších vyšších kapacit HDD 8/10/..TB?
k3dAR avatar 6.5.2019 20:36 k3dAR | skóre: 58
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
dostalo, minimalne u 2.5" pro 3TB a vyse (tusim ze nektere vyrobce/modely uz od 2TB), vyjimkou u 3TB je "Toshiba MQ03ABB300", vsichni ostatni jsou SMR... pred casem sem to resil tady, nakonec poridil prave 2x tu Toshibu... (btw: jedno z indicii ze jde o SMR, je kdyz ma disk cache 128MB)
porad nemam telo, ale uz mam hlavu... nobody
6.5.2019 21:35 PetebLazar
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
O těch 2,5" jsem se dočetl, tady si z neznámého důvodu sugeruji že jde o 4TB 3,5" HDD. Zkusil jsem dd proti cca 5let+ starému 3TB modelu Seagate 7200 ot/min (ST3000DM001), a při i 75% zaplneni jeste dáva ~150MB/s trvalého zapisu (ext4).
6.5.2019 21:49 Zaphod | skóre: 37
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Mám ST1000LM035 - 2,5" 1TB externý Seagate. Je SMR. Aby som to zistil musel som stiahnuť Product Manual k diskom. Je to skryté v texte, krátka poznámka. Zápis <55TB za rok, inak padne záruka. Celá rada 500GB až 2TB je SMR.

Disk mal pomalý zápis pod NTFS aj ext4. Pomohol btrfs. Montujú ho do notebookov ako systémový disk. Update Win10 na SMR disku musí byť zážitok.
k3dAR avatar 6.5.2019 20:40 k3dAR | skóre: 58
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
over zda nejde o "klasiku" nevhodne automaticky nastavene cache, viz(btw: problem neni/nebyl jen s USB Flash ale i s HDD)...
echo 104857600 | sudo tee /proc/sys/vm/dirty_background_bytes
echo 209715200 | sudo tee /proc/sys/vm/dirty_bytes
pokud by to resilo problem, pridej do /etc/rc.local:
echo 104857600 > /proc/sys/vm/dirty_background_bytes
echo 209715200 > /proc/sys/vm/dirty_bytes
porad nemam telo, ale uz mam hlavu... nobody
7.5.2019 10:18 /dev/null
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
zlepšilo sa to - minimálna rýchlosť je cca 75-80MB/s. Ďakujem
7.5.2019 08:29 j
Rozbalit Rozbalit vše Re: Pomaly upload veľkých súborov v SAMBE
Places na spatnym hrobe, mas proste pomalej disk. Jak bylo receno, bud mas disk spatnej (= vcetne ty frikulinsky technologie), nebo ti tam hrabe jeste neco dalsiho (a je jedno jesli dalsi uzivatel pres sambu nebo nejakej dalsi proces).

Samba da naprosto vpohode bez jakyhokoli ladeni stovky MB/s. Ostatne to ze neni problem v sambe naprosto jasne indikuje stav, kdy ti do zaplneni cache saturuje sit.

Pokud by ti tam generovalo provoz neco dalsiho, pocitej s tim, ze je uplne jedno kolik toho zapisuje nebo cte, podstatny je, kolik generuje IO. Tvuj disk se 100% jistotou neda vic nez +- 150 IOps (a ty SMR kramy spis tak ctvrtinu).

Pro predstavu, jen torrenti klient generujici radove jednotky MB/s je schopen zblajznout cca 30% rychlosti.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.