abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 21:00 | Zajímavý projekt

    Microsoft na GitHubu zveřejnil zdrojový kód projektu LiteBox, jedná se o 'knihovní operační systém' (library OS) zaměřený na bezpečnost, využívající systémovou architekturu LVBS k ochraně jádra před útoky z uživatelského prostoru. LiteBox je napsán v Rustu a uvolněný pod licencí MIT. Projekt je teprve v rané fázi vývoje.

    NUKE GAZA! 🎆 | Komentářů: 0
    včera 16:11 | Zajímavý software

    BreezyBox je open-source shell a virtuální terminál pro populární jednočip ESP32. Nabízí základní unixové příkazy, sledování aktuálního pracovního adresáře (CWD), jednoduchý instalátor a spouštěč aplikací v podobě ELF binárních souborů, zabudovaný HTTP server nebo třeba ovládání WiFi - ukázka použití coby 'malého osobního počítače'. Ačkoliv je BreezyBox inspirovaný BusyBoxem, oproti němu má tento projekt několik externích závislostí, zejména na ESP-IDF SDK. BreezyBox je dostupný pod licencí MIT.

    NUKE GAZA! 🎆 | Komentářů: 0
    včera 16:00 | Humor

    Byl představen cross-assembler xa.sh, napsaný čistě v Bourne shell skriptu. Tento nástroj umožňuje zpracovávat assemblerový kód pro Intel 8080, přičemž je možné snadno přidat podporu i pro další architektury, například 6502 a 6809. Skript využívá pouze různé běžné unixové příkazy jako jsou awk, sed nebo printf. Skript si lze stáhnout z GitHubového repozitáře projektu.

    NUKE GAZA! 🎆 | Komentářů: 3
    6.2. 17:22 | IT novinky

    Byla představena nová verze modelu Claude Opus 4.6 od společnosti Anthropic. Jako demonstraci možností Anthropic využil 16 agentů Claude Opus 4.6 k vytvoření kompilátoru jazyka C, napsaného v programovacím jazyce Rust. Claude pracoval téměř autonomně, projekt trval zhruba dva týdny a náklady činily přibližně 20 000 dolarů. Výsledkem je fungující kompilátor o 100 000 řádcích kódu, jehož zdrojový kód je volně dostupný na GitHubu pod licencí Creative Commons.

    NUKE GAZA! 🎆 | Komentářů: 17
    6.2. 16:44 | Komunita

    Kultovní britský seriál The IT Crowd (Ajťáci) oslavil dvacáté výročí svého prvního vysílání. Sitcom o dvou sociálně nemotorných pracovnících a jejich nadřízené zaujal diváky svým humorem a ikonickými hláškami. Seriál, který debutoval v roce 2006, si i po dvou dekádách udržuje silnou fanouškovskou základnu a pravidelně se objevuje v seznamech nejlepších komedií své doby. Nedávné zatčení autora seriálu Grahama Linehana za hatecrime však vyvolává otázku, jestli by tento sitcom v současné Velké Británii vůbec vznikl.

    NUKE GAZA! 🎆 | Komentářů: 10
    6.2. 13:33 | IT novinky

    Společnost JetBrains oznámila, že počínaje verzí 2026.1 budou IDE založená na IntelliJ ve výchozím nastavení používat Wayland.

    Ladislav Hagara | Komentářů: 4
    6.2. 11:22 | IT novinky

    Společnost SpaceX amerického miliardáře Elona Muska podala žádost o vypuštění jednoho milionu satelitů na oběžnou dráhu kolem Země, odkud by pomohly zajistit provoz umělé inteligence (AI) a zároveň šetřily pozemské zdroje. Zatím se ale neví, kdy by se tak mělo stát. V žádosti Federální komisi pro spoje (FCC) se píše, že orbitální datová centra jsou nejúspornějším a energeticky nejúčinnějším způsobem, jak uspokojit rostoucí poptávku po

    … více »
    Ladislav Hagara | Komentářů: 26
    6.2. 11:11 | Nová verze

    Byla vydána nová verze 2.53.0 distribuovaného systému správy verzí Git. Přispělo 70 vývojářů, z toho 21 nových. Přehled novinek v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    6.2. 04:22 | Komunita

    Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 216. sraz, který proběhne v pátek 20. února od 18:00 v Red Hat Labu (místnost Q304) na Fakultě informačních technologií VUT v Brně na ulici Božetěchova 1/2. Tématem srazu bude komunitní komunikační síť MeshCore. Jindřich Skácel představí, co je to MeshCore, předvede nejrůznější klientské zařízení a ukáže, jak v praxi vypadá nasazení vlastního repeateru.

    Ladislav Hagara | Komentářů: 0
    6.2. 03:33 | Nová verze

    Byla vydána nová major verze 9.0 multiplatformní digitální pracovní stanice pro práci s audiem (DAW) Ardour. Přehled novinek, vylepšení a oprav v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    Které desktopové prostředí na Linuxu používáte?
     (19%)
     (6%)
     (0%)
     (10%)
     (25%)
     (3%)
     (5%)
     (2%)
     (12%)
     (29%)
    Celkem 795 hlasů
     Komentářů: 25, poslední 3.2. 19:50
    Rozcestník

    Dotaz: samba a mnoho malých souborů = špatný výkon

    18.3.2020 11:00 Hrabin
    samba a mnoho malých souborů = špatný výkon
    Přečteno: 537×
    Ahoj,

    prosím o radu ohledně nízké propustnosti samby:

    Debian 10, 2x SSD v raidu, samba 4.9.5, 1G síť, i5-9600KF.

    Když kopíruju velké soubory, jede to OK (cca 100MB/s). Když kopíruju velké množství malých souborů (1GB v 50000 souborech), rychlost klesá pod 10MB/s. Když namountuju sambu přes cifs lokálně přímo na serveru, tak velké soubory valí přes 1GB/s ale malé opět řádově kolem těch 10MB/s :(

    FS je EXT4, a lokálně ssd/ssd těch 50k souborů zkopíruju za cca 1.5s, ale přes sambu (mount lokálně) za cca 60s, jakto ?

    Tento problém s výkonem jsem vygooglil ve více diskusích, ale nikde nebylo vyřešení nebo vysvětlení.

    Má to nějaké řešení ?

    Předem díky za odpovědi.

    Jarda

    Odpovědi

    18.3.2020 15:40 debian+
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    EXT4 - Linux cachuje. Skus si po takom skopirovany dat prikaz sync. Program sync, kym zapise vsetky subory ktore ma v cache na zapis. Pri cache to rozlozi zapis vtedy, ked je menej vytazeni. Preto sa caka pri odpajani media. Este pri cache dokonca napr. 2 zmeny nasledne zluci do 1 a zapise ako 1 zmenu (tj. usetri 1 zapis) napriklad.

    Kazdy disk ma limit IO - trebars 500. Je jedno ci menis 1B alebo 50B vzdy je to menej ako 1 maximalny blok dat, takze to bude stat 1 zapis.

    A teraz sa pozrieme, aky to ma dopad na rychlost. Takze na disk sa zapisuje po (max.) 1MB bloku (resp. najvecsi blok, ak cez siet). Ak zapisujem 10M-ove subory tak sa subor potrebujeme (zjednodusene) 1 zapis na nazov noveho suboru (name file) a 10 zapisovov dat. Co znaci ze rychlost zapisania suborov je najviac 500/11≃45 suborov. Ak mam ze subory su 1M, tak na zapis 1 nazov suboru a 1 blok vychadza, ze pri 500 IO zapise najviac 500/2=250 subor.

    Co znaci ze rychlost na disk pri velkosti 1 subor 10MB rychlost 45*10M=450MB/s. A pri 1M suboroch to da 250*1=250MB/s.

    Co dostaneme tabulku, ktora vysv:
    size_one_file count/s speed/s
               1k 500 500k
              10k 500 5M
             100k 500 50M
               1M 250 250M
              10M  45 455M
             100M  ~5 495MB
    
    Source na vypocet:
    #include <stdio.h>
    #include <stdlib.h>
    
    #define IO 500
    #define BLOCK_SIZE 1000000 /* 1MB */
    
    typedef struct {
    	double max_files_in_minute;
    	double max_data_speed;
    }writed_t;
    
    writed_t writed_in_one_s(long int size_one_file)
    {
    	double count_blocks_of_file;
    	writed_t ret;
    
    	count_blocks_of_file=size_one_file/BLOCK_SIZE;
    	ret.max_files_in_minute=IO/(count_blocks_of_file+1); /* plus name */
    	ret.max_data_speed=ret.max_files_in_minute*size_one_file;
    	
    	return ret;
    }
    
    int main(void)
    {
    	writed_t speed;
    	long int size_file;
    	puts("size_one_file count/s speed/s");
    	for(size_file=1000; size_file<1000000000; size_file*=10)
    	{
    		speed=writed_in_one_s(size_file);
    		printf("%15ld %5.2f %5.2f\n", size_file, speed.max_files_in_minute, speed.max_data_speed);
    	}
    	
    	return 0;
    }
    
    18.3.2020 16:54 debian+
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    Opravene:
    size_one_file count/s   speed
               1k  250.00   250k/s
              10k  250.00   2,5M/s
             100k  250.00    25M/s
               1M  250.00   250M/s
              10M   45.45 ~455MB/s
             100M    4.95 ~495MB/s
    
    writed_t writed_in_one_s(long int size_one_file)
    {
    	double count_blocks_of_file;
    	writed_t ret;
    
    	if(size_one_file<=BLOCK_SIZE)
    		count_blocks_of_file=1;
    	else
    		count_blocks_of_file=size_one_file/BLOCK_SIZE;
    
    	ret.max_files_in_minute=((double)IO)/(count_blocks_of_file+1); /* plus name */
    	ret.max_data_speed=ret.max_files_in_minute*size_one_file;
    	
    	return ret;
    }
    18.3.2020 18:33 bigBRAMBOR | skóre: 36
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    A jak ti do toho zapada rozdil v kopirovani lokalnim a lokalne moutnutym CIFS?
    18.3.2020 23:09 debian+
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    Odpoved mas v texto, co pisal:
    Když kopíruju velké soubory, jede to OK (cca 100MB/s). Když kopíruju velké množství malých souborů (1GB v 50000 souborech), rychlost klesá pod 10MB/s.
    19.3.2020 07:33 bigBRAMBOR | skóre: 36
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    jenze to se tyka kopirovani pres sit a sambu, nasleduje upresneni - viz cituji dotaz - lokálně ssd/ssd těch 50k souborů zkopíruju za cca 1.5s, ale přes sambu (mount lokálně) za cca 60s, jakto i to ukazuje ze problem je v Sambe a ne v rychlosti disku. Cely tvuj obr komentar se bohuzel mota kolem neco co tam neni.
    19.3.2020 08:51 Aleš Kapica | skóre: 52 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    Lokálně si to řeší VFS. Subjektivně se to zdá rychle, protože nečeká na to, až mu nějaká samba potvrdí že může jít na další operaci.

    Mraky malých souborů jsou pro síťové souborové systémy největší mor.
    18.3.2020 16:47 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    18.3.2020 18:26 PetebLazar | skóre: 35 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    Pohled na htop naznačuje, že limitovaný výkon této úlohy je pravděpodobně dán CPU režií samotné SMB(při mých testech cca 75%core). Kopírování takovéto droboti (50000x 20KB) mezi dvěma NVMe mi také "trvalo" cca 1,5sec.
    18.3.2020 19:02 dustin | skóre: 63 | blog: dustin
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    V jedné z těch linkovaných diskusí píšou, že samba při kontrole existence souboru neustále dokola prochází seznam souborů v adresářích, což je údajně pro velký počet souborů v adresáři pro její implementaci poměrně výpočetně náročně. Proto doporučují vypnout case insensitive a také všechny možné hrátky s názvy souborů. To by snad mělo náročnost výrazně snížit.
    18.3.2020 21:57 PetebLazar | skóre: 35 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: samba a mnoho malých souborů = špatný výkon
    To určitě stojí za prověření.

    Také pokud je na jedné ze stran Windows, pak mezi významné brzdy může patřit i real-time antivirová ochrana. Při pokousech i když jsem přenášel soubory bez přípony, byla to na straně Windows největší CPU zátěž (Defender?).

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.