abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 01:44 | Pozvánky

    Přemýšlíte, jak začít prázdniny? Už v úterý 1. července se bude konat Virtuální Bastlírna, tedy online setkání bastlířů, techniků, vědců i akademiků, kde se ve volné diskuzi probírají novinky ze světa techniky, ale i jiných zajímavých témat.

    Za poslední měsíc jsme byli svědky plamenů několika raket. Zatímco malá raketa od Hondy se úspěšně vznesla a opět přistála, raketa od SpaceX se rozhodla letět všemi směry najednou. Díkybohu méně … více »
    Uprdkávač | Komentářů: 0
    včera 23:44 | Komunita

    Linus Torvalds zmínil, že souborový systém Bcachefs zřejmě odstraní z mainline Linuxu v začleňovacím okně pro vydání 6.17. Kent Overstreet mu totiž posílá kód s novou funkcionalitou i pro začlenění do kandidátů na vydání, kdy očekává pouze opravy chyb. Ken Overstreet byl již dříve z vývoje vyloučen kvůli konfliktní komunikaci.

    Fluttershy, yay! | Komentářů: 7
    27.6. 11:55 | IT novinky

    Ministerstvo průmyslu a obchodu propaguje Microsoft. Ten ve spolupráci s Ministerstvem průmyslu a obchodu spouští AI National Skilling Plan v ČR. "Iniciativa Microsoftu přináší konkrétní a praktickou podporu právě tam, kde ji nejvíc potřebujeme – do škol, firem i veřejné správy.", říká ministr průmyslu a obchodu Lukáš Vlček.

    Ladislav Hagara | Komentářů: 28
    27.6. 10:55 | Zajímavý projekt

    Jste český ISP? Vyplněním krátkého dotazníku můžete pomoci nasměrovat vývoj nové generace routerů Turris Omnia [𝕏].

    Ladislav Hagara | Komentářů: 4
    27.6. 01:33 | IT novinky

    Celkové tržby společnosti Canonical za rok 2024 byly 292 milionů dolarů (pdf). Za rok 2023 to bylo 251 milionů dolarů.

    Ladislav Hagara | Komentářů: 1
    27.6. 01:22 | Nová verze

    Byla vydána verze 1.88.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

    Ladislav Hagara | Komentářů: 0
    27.6. 01:11 | Nová verze

    Distribuce Tails specializující se ochranu online soukromí uživatele byla vydána ve verzi 6.17. Mimo jiné aktualizuje Tor Browser (14.5.4) a opravuje několik chyb.

    Fluttershy, yay! | Komentářů: 0
    26.6. 21:11 | Nová verze Ladislav Hagara | Komentářů: 0
    26.6. 13:11 | IT novinky

    Město Lyon posiluje svou digitální suverenitu a postupně nahrazuje software od společnosti Microsoft bezplatnými alternativami, zejména OnlyOffice pro kancelářské aplikace a Linux a PostgreSQL pro systémy a databáze.

    Ladislav Hagara | Komentářů: 9
    26.6. 11:44 | Zajímavý projekt

    Evropská občanská iniciativa Stop Destroying Videogames se snaží o to, aby vydavatelé, kteří spotřebitelům v Evropské unii prodávají videohry nebo na ně udělují licence, měli povinnost tyto hry ponechat ve funkčním (hratelném) stavu i po ukončení podpory ze své strany. Podpořit podpisem tuto iniciativu můžete v Systému pro online sběr podpisů.

    trekker.dk | Komentářů: 5
    Jaký je váš oblíbený skriptovací jazyk?
     (59%)
     (28%)
     (7%)
     (2%)
     (0%)
     (1%)
     (3%)
    Celkem 331 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    Dotaz: Write cache pre Sambu

    19.7.2019 10:51 /dev/random
    Write cache pre Sambu
    Přečteno: 273×
    Asi to bude blbost ale neexistuje nieco ako write cache pre SAMBU ? Priklad: kopirujem na samba server 50GB súbor a zacina na 100MB/s po case klesne na 80MB/s a skonci to na 50MB/s a prisiel som na to ze to bude chyba diskov na serverovej strane, proste nestihaju zapisovat poziadavky SAMBA serveru. A chcelo by to napr. dat 500GB SSD ako cache pre zapis/citanie z ktoreho by si brala udaje SAMBA podla potreby. Je to mozne ? Alebo proste dat SSD ako cisto UPLOAD share ?

    Odpovědi

    Max avatar 19.7.2019 10:56 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Write cache pre Sambu
    Asi jedině přes bcache, lvmcache apod.
    Zdar Max
    Měl jsem sen ... :(
    21.7.2019 10:01 frr | skóre: 34
    Rozbalit Rozbalit vše Re: Write cache pre Sambu
    To se Max skromně zapomněl pochlubit, že se o tom na Ábíčku minimálně jednou dost výživně debatilo. Já to čtu až teď zpětně a musím smeknout.

    Vnímám rozdíl mezi perzistentní cache na SSD, a případně volatilní cache v RAMce. Oni SSDčka jsou IMO taky dodnes docela svině, jejich schopnost pobrat náhodný zápis je omezená a jejich životnost při random write zátěži není zrovna hvězdná.

    V té debatě padl taky názor, ke kterému jsem nezávisle došel i sám, že rozdrobené náhodné zápisy v podstatě moc nejde zrekombinovat do "skoro sekvenčního" zápisu tak, aby to mělo vliv na průchodnost při zápisu na točivý disk. Prostě ten náhodný traffic bude i po setřídění natolik rozházený, že to disku reálně moc nepomůže optimalizovat seeky. Další věc jsou zápisové bariéry (které možná ani nejde v konfiguraci vypnout) a tu rekombinaci v případě RAM-based cache zrovna bariéry dost hatí. Podotýkám, že u točivých disků má na účinnost rekombinace dost zásadní vliv, jestli jsou vespod točivé disky "desktopové" (za starých časů PMR Barracuda) nebo "serverové" (Cheetah). Serverové disky totiž škálují IOps při před-třídění náhodných seeků o něco líp. Běžný desktopový disk umí cca 75 random IOps, při před-třídění náhodných zápisů jsem pozoroval něco pod 180 IOps. Enterprise disk začíná na 170 IOps, ale pokud mu frontu před-třídíte, dostanete se někam na 600 IOps. Ta horní čísla jsou při hodně dlouhých frontách (10k náhodných transakcí napříč celou plotnou). Per spindle, na točivý disk. Je to zajímavé škálování, ale pořád je to žalostně málo, žeano... Ale může to být nakonec i víc, než kolik dává SSDčko, kterému jste už udávili volné místo v interní flash-based write-back frontě.

    Tzn. závěr pro mě je, že pokud řešíte ustálený tok skutečně náhodných zápisů, kdy si storage subsystém ani na chvilku neoddechne, tak Vám write-back cache nijak výrazně nepomůže - protože reálně nemá možnost, "odložit zápis na později, až přijde hluchá chvilka". Prostě potřebujete přiměřeně velký počet jednotlivých disků a nejlíp se vyhnout RAIDu, snad kromě RAID 1 nebo 10, pokud lze zároveň splnit kvalitní rozložení IOps zátěže mezi jednotlivé disky. Nakolik se to dá v dnešní době řešit SSDčky, to už nedokážu posoudit. A jakými SSDčky. SLC se v mainstreamu už prakticky nevyskytuje, vyskytují se MLC našponovaná všelijakými triky, nově je k dispozici 3D-Xpoint...

    Pokud se nebojíte žít na hraně, a potřebujete tu a tam zapsat sekvenčních 50 GB opravdu střelhbitě, zkuste si pořídit hodně RAMky (64 GB se dá dneska nacpat i do desktopového motherboardu) a poladit parametry dirty/writeback proměnných v /proc/sys/vm. Defaulty jsou totiž nastavené tak, že se RAMka pro write-back cache prakticky nevyužívá. Historicky jsem k tomu něco ublognul... už na to trochu sedá prach. Každopádně závěr tehdy byl, že ani při absenci bariér (syntetická zátěž; reálný zápis souborů tohoto luxusu nepožívá) se v Linuxu nejde obejít bez nějakého timeoutu, kdy nakonec přece jenom "spadne klec, pohár trpělivosti scheduleru přeteče, tříděná fronta degraduje na FIFO a všecko to jde do háje". Přestože típnete generátor zátěže, počkáte si třeba několik desítek minut / hodin / dní, než se velká RAM-based WB cache zapíše na plotny...
    [:wq]
    21.7.2019 10:18 frr | skóre: 34
    Rozbalit Rozbalit vše Re: Write cache pre Sambu
    Hergot... zmotal jsem toho trochu moc dohromady. Motám do toho náhodný zápis, což není Vaše situace. O tom se debatilo na uvedeném odkazu v abíčkovém blogu...

    Samozřejmě že pokud do RAM-based WB cache nasypete 50 GB sekvenčně, tak se pak téměř sekvenčně nasypou na disk, to je ještě velmi příjemná situace - vlastně ideální scénář. Dobře by se to uplatnilo např. v situaci, kdy server se většinu času nudí, má 10Gb Ethernet a jenom jeden točivý disk (nebo mirror) takže úzké hrdlo je v přístupu na disk.
    [:wq]
    19.7.2019 12:35 NN
    Rozbalit Rozbalit vše Re: Write cache pre Sambu
    write cache size = 2097152
    
    19.7.2019 13:24 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Write cache pre Sambu
    Ako, že by nastavil v konfigurácii samby 50GB pre každý súbor? To znie dobre, ale išlo by to na úkor Disk Cache v RAM ktorej toľko nemá.
    21.7.2019 10:09 frr | skóre: 34
    Rozbalit Rozbalit vše Re: Write cache pre Sambu
    BTW o jak rychlém Ethernetu se tady bavíme, a o jakých discích? Pokud to je výsledek pro 1Gb Ethernet a jeden točivý disk (nebo mirror), tak jsou to ještě docela důstojné hodnoty. Fakt je, že dnešní levné disky začínají na začátku plotny sekvenčně řádově okolo 200 MBps, ale to je bez režie filesystému. A ke konci plotny (na vnitřním okraji) sleze sekvenční rychlost klidně na 40 %, na blokové vrstvě, bez "odskoků mimo pořadí" kvůli metadatům.

    Pro jednoho klienta, který má celý server pro sebe, mi to přijde jako ještě docela zdravý výsledek. Pokud byste měl takových klientů současně několik, půjdou ta čísla klidně ještě citelně dolů.

    Schválně zkuste nástroje jako top, iostat, latencytop. Nejspíš zjistíte, že smbd se fláká ve stavu "waiting" (čeká na dokončení IO), celý CPU je převážně idle, jenom disk se točí co může.
    [:wq]

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.