abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 17:55 | Nová verze

Byl vydán LineageOS ve verzi 17.1. LineageOS (Wikipedie) je svobodný operační systém pro chytré telefony, tablety a set-top boxy založený na Androidu. Jedná se o nástupce CyanogenModu. LineageOS 17.1 je založený na Androidu 10.

Ladislav Hagara | Komentářů: 1
včera 17:22 | Zajímavý projekt

Lukasz Erecinski na blogu Pine64 oznámil možnost předobjednání telefonu PinePhone v edici UBports Community Edition. Telefon bude mít speciální kryt s logem a nápisem UBports Edition. Základní deska bude podle nového schématu (v1.2) vylepšená podle zpětné vazby od majitelů BraveHeart edice. Bude mít FCC i CE certifikace.

joejoe | Komentářů: 1
včera 15:33 | IT novinky

Společnost Cloudflare před dvěma lety spustila DNS resolver 1.1.1.1. Včera spustila 1.1.1.1 pro rodiny aneb nové resolvery 1.1.1.2 (2606:4700:4700::1112) a 1.1.1.3 (2606:4700:4700::1113) blokující stránky s malwarem a obsahem pro dospělé. Dnes se omluvila, že nechtěně blokovala také LGBTQIA+ stránky.

Ladislav Hagara | Komentářů: 26
včera 14:55 | Nová verze

Společnost Red Hat oznámila vydání Red Hat Enterprise Linuxu 7.8, který přináší vedle nových vlastností a oprav chyb také aktualizaci ovladačů a předběžné ukázky budoucích technologií. Podrobnosti v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
včera 14:33 | Nová verze

V pondělí vyšel Linux 5.6. Dnes vyšla jeho 2. opravná verze 5.6.2 (git). Opravena byla mimo jiné diskutovaná chyba v ovladači iwlwifi.

Ladislav Hagara | Komentářů: 0
1.4. 19:55 | Nová verze

Po dvou letech od vydání verze 3.0 byla vydána nová major verze 4.0 nástrojů LXC, LXD a LXCFS pro kontejnerovou virtualizaci LXC (LinuX Containers). Jedná se o verzi s dlouhodobou podporou (LTS). Ta končí v červnu 2025. Přehled novinek v jednotlivých oznámeních o vydání: LXC, LXD a LXCFS.

Ladislav Hagara | Komentářů: 3
1.4. 16:11 | Humor

Řada firem své letošní již připravené aprílové žertíky kvůli SARS-CoV-2 a COVID-19 nezveřejnila. Přehled zveřejněných například na April Fools' Day On The Web. Na CoinMarketCapu byla přidána nová kryptoměna: toaleťáky. Ve hře World of Tanks jsou vylepšené tanky, v PUBG nový herní mód Fantasy Battle Royale, …

Ladislav Hagara | Komentářů: 3
1.4. 15:22 | Humor

Komunity KDE a GNOME, které doposud vyvíjely příslušná desktopová prostředí, se rozhodly přestat tříštit síly a představují společný projekt KNOME, který nabídne konfigurovatelnost GNOME a jednoduchost KDE v jednom balíčku. Staví na technologiích QTK3 a Kutter.

Fluttershy, yay! | Komentářů: 26
1.4. 14:11 | Nová verze

Tradičně na apríla byla vydána nová stabilní verze OpenTTD (Wikipedie), tj. open source klonu hry Transport Tycoon Deluxe. Přehled novinek v nejnovější verzi 1.10.0 v seznamu změn. Starší verzi OpenTTD lze vyzkoušet také v prohlížeči.

Ladislav Hagara | Komentářů: 0
1.4. 06:00 | Nová verze

Po čtyřech a půl měsících vývoje od vydání verze 5.3 byla vydána nová verze 5.4 svobodného open source redakčního systému WordPress. Kódové označení Adderley bylo vybráno na počest amerického jazzového trumpetisty Nata Adderleyho.

Ladislav Hagara | Komentářů: 0
Chodíte do práce?
 (25%)
 (0%)
 (8%)
 (0%)
 (49%)
 (15%)
 (3%)
Celkem 61 hlasů
 Komentářů: 4, poslední včera 14:20
Rozcestník

www.AutoDoc.Cz

Dotaz: samba a mnoho malých souborů = špatný výkon

18.3. 11:00 Hrabin
samba a mnoho malých souborů = špatný výkon
Přečteno: 373×
Ahoj,

prosím o radu ohledně nízké propustnosti samby:

Debian 10, 2x SSD v raidu, samba 4.9.5, 1G síť, i5-9600KF.

Když kopíruju velké soubory, jede to OK (cca 100MB/s). Když kopíruju velké množství malých souborů (1GB v 50000 souborech), rychlost klesá pod 10MB/s. Když namountuju sambu přes cifs lokálně přímo na serveru, tak velké soubory valí přes 1GB/s ale malé opět řádově kolem těch 10MB/s :(

FS je EXT4, a lokálně ssd/ssd těch 50k souborů zkopíruju za cca 1.5s, ale přes sambu (mount lokálně) za cca 60s, jakto ?

Tento problém s výkonem jsem vygooglil ve více diskusích, ale nikde nebylo vyřešení nebo vysvětlení.

Má to nějaké řešení ?

Předem díky za odpovědi.

Jarda

Odpovědi

18.3. 15:40 debian+
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
EXT4 - Linux cachuje. Skus si po takom skopirovany dat prikaz sync. Program sync, kym zapise vsetky subory ktore ma v cache na zapis. Pri cache to rozlozi zapis vtedy, ked je menej vytazeni. Preto sa caka pri odpajani media. Este pri cache dokonca napr. 2 zmeny nasledne zluci do 1 a zapise ako 1 zmenu (tj. usetri 1 zapis) napriklad.

Kazdy disk ma limit IO - trebars 500. Je jedno ci menis 1B alebo 50B vzdy je to menej ako 1 maximalny blok dat, takze to bude stat 1 zapis.

A teraz sa pozrieme, aky to ma dopad na rychlost. Takze na disk sa zapisuje po (max.) 1MB bloku (resp. najvecsi blok, ak cez siet). Ak zapisujem 10M-ove subory tak sa subor potrebujeme (zjednodusene) 1 zapis na nazov noveho suboru (name file) a 10 zapisovov dat. Co znaci ze rychlost zapisania suborov je najviac 500/11≃45 suborov. Ak mam ze subory su 1M, tak na zapis 1 nazov suboru a 1 blok vychadza, ze pri 500 IO zapise najviac 500/2=250 subor.

Co znaci ze rychlost na disk pri velkosti 1 subor 10MB rychlost 45*10M=450MB/s. A pri 1M suboroch to da 250*1=250MB/s.

Co dostaneme tabulku, ktora vysv:
size_one_file count/s speed/s
           1k 500 500k
          10k 500 5M
         100k 500 50M
           1M 250 250M
          10M  45 455M
         100M  ~5 495MB
Source na vypocet:
#include <stdio.h>
#include <stdlib.h>

#define IO 500
#define BLOCK_SIZE 1000000 /* 1MB */

typedef struct {
	double max_files_in_minute;
	double max_data_speed;
}writed_t;

writed_t writed_in_one_s(long int size_one_file)
{
	double count_blocks_of_file;
	writed_t ret;

	count_blocks_of_file=size_one_file/BLOCK_SIZE;
	ret.max_files_in_minute=IO/(count_blocks_of_file+1); /* plus name */
	ret.max_data_speed=ret.max_files_in_minute*size_one_file;
	
	return ret;
}

int main(void)
{
	writed_t speed;
	long int size_file;
	puts("size_one_file count/s speed/s");
	for(size_file=1000; size_file<1000000000; size_file*=10)
	{
		speed=writed_in_one_s(size_file);
		printf("%15ld %5.2f %5.2f\n", size_file, speed.max_files_in_minute, speed.max_data_speed);
	}
	
	return 0;
}
18.3. 16:54 debian+
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
Opravene:
size_one_file count/s   speed
           1k  250.00   250k/s
          10k  250.00   2,5M/s
         100k  250.00    25M/s
           1M  250.00   250M/s
          10M   45.45 ~455MB/s
         100M    4.95 ~495MB/s
writed_t writed_in_one_s(long int size_one_file)
{
	double count_blocks_of_file;
	writed_t ret;

	if(size_one_file<=BLOCK_SIZE)
		count_blocks_of_file=1;
	else
		count_blocks_of_file=size_one_file/BLOCK_SIZE;

	ret.max_files_in_minute=((double)IO)/(count_blocks_of_file+1); /* plus name */
	ret.max_data_speed=ret.max_files_in_minute*size_one_file;
	
	return ret;
}
18.3. 18:33 bigBRAMBOR | skóre: 34
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
A jak ti do toho zapada rozdil v kopirovani lokalnim a lokalne moutnutym CIFS?
18.3. 23:09 debian+
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
Odpoved mas v texto, co pisal:
Když kopíruju velké soubory, jede to OK (cca 100MB/s). Když kopíruju velké množství malých souborů (1GB v 50000 souborech), rychlost klesá pod 10MB/s.
19.3. 07:33 bigBRAMBOR | skóre: 34
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
jenze to se tyka kopirovani pres sit a sambu, nasleduje upresneni - viz cituji dotaz - lokálně ssd/ssd těch 50k souborů zkopíruju za cca 1.5s, ale přes sambu (mount lokálně) za cca 60s, jakto i to ukazuje ze problem je v Sambe a ne v rychlosti disku. Cely tvuj obr komentar se bohuzel mota kolem neco co tam neni.
19.3. 08:51 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
Lokálně si to řeší VFS. Subjektivně se to zdá rychle, protože nečeká na to, až mu nějaká samba potvrdí že může jít na další operaci.

Mraky malých souborů jsou pro síťové souborové systémy největší mor.
18.3. 16:47 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
18.3. 18:26 PetebLazar | skóre: 10
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
Pohled na htop naznačuje, že limitovaný výkon této úlohy je pravděpodobně dán CPU režií samotné SMB(při mých testech cca 75%core). Kopírování takovéto droboti (50000x 20KB) mezi dvěma NVMe mi také "trvalo" cca 1,5sec.
18.3. 19:02 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
V jedné z těch linkovaných diskusí píšou, že samba při kontrole existence souboru neustále dokola prochází seznam souborů v adresářích, což je údajně pro velký počet souborů v adresáři pro její implementaci poměrně výpočetně náročně. Proto doporučují vypnout case insensitive a také všechny možné hrátky s názvy souborů. To by snad mělo náročnost výrazně snížit.
18.3. 21:57 PetebLazar | skóre: 10
Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
To určitě stojí za prověření.

Také pokud je na jedné ze stran Windows, pak mezi významné brzdy může patřit i real-time antivirová ochrana. Při pokousech i když jsem přenášel soubory bez přípony, byla to na straně Windows největší CPU zátěž (Defender?).

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.