abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

    dnes 19:46 | Zajímavý software
    Projekt llama-modchip je sada úprav a nástrojů pro llama.cpp, které mají umožnit spouštět rozsáhlé jazykové modely lokálně na běžných domácích počítačích, a to bez použití grafické karty. Například čínský model DeepSeek-V4-Flash o 284 miliardách parametrů se díky kompresi vleze do 64GB RAM. Háček je v agresivní kvantizaci (v uvedeném příkladu průměrně 1,71 bitu na parametr), která výrazně snižuje kvalitu výstupů. Zdrojové kódy projektu jsou dostupné pod licencí Apache‑2.0.
    👻 | Komentářů: 0
    dnes 19:45 | IT novinky

    Turecko-americká vycházející matematická hvězda Levent Alpöge ze společnosti Anthropic vyvolal pozdvižení oznámením (PDF), že s pomocí superinteligence Claude od Antropicu dokázal vyřešit jeden ze sedmi největších matematických problémů tisíciletí, slavnou Riemannovu hypotézu (prvočísla se mezi čísly objevují zdánlivě nepravidelně, hypotéza tvrdí, že za jejich rozmístěním je určitý řád). Svůj důkaz uvolnil jako open-source

    … více »
    👻 | Komentářů: 0
    20.11. 23:36 | Nová verze
    Student kyberbezpečnosti na SSPŠ vydal verzi 1.0.1 distribuce LuxOS, která stojí na Arch Linuxu a pod povrchem používá Xfce upravené do podoby macOS. … více »
    Luxopes | Komentářů: 10
    20.11. 21:02 | Zajímavý software
    Open source projekt BUI zpřístupňuje legendární, bleskurychlé a optimalizované uživatelské rozhraní 3D editoru Blender coby samostatnou GUI knihovnu pro jazyky Python, Rust, JavaScript a C/C++, případně pro knihovnu Dear ImGui. … více »
    👻 | Komentářů: 0
    20.11. 20:31 | Zajímavý software
    Vývoj je pomalý, ale desktopové prostředí MATE je stále živé. Podľa správy z OSNews.com tu máme nový správca okien pre MATE. Viac informácií nájdeš na GitHub stránke Polo od autora KeremSoke. Je to naozaj skvelá správa pre používateľov MATE a aj vybrané meno Polo podľa Marca Pola je cool.
    lukve | Komentářů: 0
    20.11. 08:57 | Komunita

    Skotský vývojář Mike Lothian pozastavil vývoj svého otevřeného ovladače Vino (nedostupné) pro dokovací stanice DisplayLink poté, co mu Synaptics v reakci na žádost o pomoc pohrozil žalobou kvůli údajnému porušování patentů. Firma nejprve předložila seznam 125 patentů bez specifikace, které konkrétně měl ovladač porušovat, a následně požadovala 25 tisíc dolarů za náklady na jejich přiřazení ke kódu s hrozbou, že se tato částka bude

    … více »
    👻 | Komentářů: 10
    19.11. 20:14 | Zajímavý software
    RunWisp je jedna Go binárka, ktorá spúšťa crony aj udržiava dlho bežiace procesy z jedného TOML súboru. Pri každom behu si uloží logy, exit code, trvanie, využitie CPU a RAM a všetko sa dá pozrieť vo webovom rozhraní alebo v TUI už počas behu. Vie poslať notifikácie na Slack, Discord, Telegram, na telefón atď. Licencia GPL-3.0, funguje na Linuxe, macOS aj WSL.
    Riki | Komentářů: 4
    19.11. 20:12 | Zajímavý software
    BenchUp (původně KetchUp) je open-source alternativa k proprietárnímu software SketchUp, zaměřená především na 3D návrh nábytku a práci se dřevem. Tento editor funguje v prohlížeči i jako desktopová aplikace pro Linux, Windows a macOS. Zdrojový kód projektu (převážně Rust) je dostupný na GitHubu, pod licencí MIT.
    👻 | Komentářů: 12
    19.11. 20:09 | Pozvánky
    Pražský MobileLinux Hackday je zpět, tentokrát už s devátým pokračováním! Už tento pátek 20. listopadu od 10:00 se opět sejdeme v Praze v SUSE. Přijďte si popovídat o Linuxu na telefonech, poslechnout si pár krátkých přednášek a hlavně si společně něco rozběhat, opravit nebo naprogramovat.… více »
    lkocman | Komentářů: 0
    19.11. 20:04 | Humor
    Po serii zero-day zranitelností vyšla nejfatálnější zranitelnost všech dob s CVSS 10.0. Autoři nálezu jí pojmenovali sleep2shell a týká se všech systémů.
    Max | Komentářů: 16
    Které desktopové prostředí na Linuxu používáte?
     (8%)
     (7%)
     (4%)
     (21%)
     (30%)
     (9%)
     (5%)
     (2%)
     (14%)
     (20%)
    Celkem 3086 hlasů
     Komentářů: 36, poslední 11.11. 22:38
    Rozcestník

    Dotaz: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT

    28.3.2013 20:26 OgeeN
    Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT
    Přečteno: 856×
    Ahoj, narazil jsem na problém se kterým si nevím rady.

    Mám farmu webových serverů, které mají data připojené pomocí NFS z nfs serveru. Samotný nfs server čte data z diskového pole pomocí iscsi. Dat je cca 200GB v 10 milionech souborů a 2 milionech adresářů.

    Jakmile pustím na apache provoz, během chvilky mi na webovém serveru běží maximální počet apachů, load vyletí na 600 a víc. A během chvíle je server nepoužitelný. Na webovém serveru je v době problému dost volné paměti, 80% idle cpu a server se v podstatě šťourá v nose. Až na ten load. Dalším podivným příznakem jsou stovky tcp spojení ve stavu CLOSE_WAIT, která otevřel právě apache.

    Ve chvíli, kdy na serveru visí apache, nejsem schopný nic přečíst s nfs svazku. Resp. čekám do nekonečna. Na nfs serveru je load nula, nula nic a procesor se také fláká

    OS na webových i nfs serverech je ubuntu 12.04 LTS.

    Jádro nfs serveru:
    Linux nfs2 3.4.0-030400-generic #201205210521 SMP Mon May 21 09:22:02 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

    Jádro web serveru:
    Linux w12 3.2.0-38-generic #61-Ubuntu SMP Tue Feb 19 12:18:21 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

    apache:
    root@web:~# apache2 -V
    Server version: Apache/2.2.22 (Ubuntu)
    Server built:   Nov  8 2012 21:37:30
    Server's Module Magic Number: 20051115:30
    Server loaded:  APR 1.4.6, APR-Util 1.3.12
    Compiled using: APR 1.4.6, APR-Util 1.3.12
    Architecture:   64-bit
    Server MPM:     Prefork
      threaded:     no
        forked:     yes (variable process count)
    Server compiled with....
     -D APACHE_MPM_DIR="server/mpm/prefork"
     -D APR_HAS_SENDFILE
     -D APR_HAS_MMAP
     -D APR_HAVE_IPV6 (IPv4-mapped addresses enabled)
     -D APR_USE_SYSVSEM_SERIALIZE
     -D APR_USE_PTHREAD_SERIALIZE
     -D SINGLE_LISTEN_UNSERIALIZED_ACCEPT
     -D APR_HAS_OTHER_CHILD
     -D AP_HAVE_RELIABLE_PIPED_LOGS
     -D DYNAMIC_MODULE_LIMIT=128
     -D HTTPD_ROOT="/etc/apache2"
     -D SUEXEC_BIN="/usr/lib/apache2/suexec"
     -D DEFAULT_PIDLOG="/var/run/apache2.pid"
     -D DEFAULT_SCOREBOARD="logs/apache_runtime_status"
     -D DEFAULT_LOCKFILE="/var/run/apache2/accept.lock"
     -D DEFAULT_ERRORLOG="logs/error_log"
     -D AP_TYPES_CONFIG_FILE="mime.types"
     -D SERVER_CONFIG_FILE="apache2.conf"
    Parametry pripojeni:
    
    nfs:/iscsi_disk/data1 on /home type nfs4 (rw,noatime,nodiratime,rsize=32768,wsize=32768,noacl,hard,fsc,intr,addr=192.168.0.20,clientaddr=192.168.0.222)
    nfs:/iscsi_disk/data2 on /var/www type nfs4 (rw,noatime,nodiratime,rsize=32768,wsize=32768,noacl,hard,fsc,intr,addr=192.168.0.20,clientaddr=192.168.0.222)
    
    Parametry exportu:
    
    /iscsi_data 192.168.0.0/255.255.0.0(rw,async,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663) 172.16.0.0/24(rw,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663)
    
    Budu vděčný za jakékoliv nakopnutí správným směrem. Děkuju.

    Řešení dotazu:


    Odpovědi

    28.3.2013 20:57 petr_p | skóre: 59 | blog: pb
    Rozbalit Rozbalit vše Re: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT
    data připojené pomocí NFS z nfs serveru

    Nedávno se v Linuxu opravovala chyba v nfsd.

    load vyletí na 600 a víc

    load je počet runable procesů, tedy těch, které právě běží, těch, které by běžely, kdyby byl volný procesor, a těch, které čekají na disk (stav D). Které procesy to jsou? Apache?

    80% idle cpu

    To vypadá, že tak vysoký load je způsoben procesy ve stavu D.

    Dalším podivným příznakem jsou stovky tcp spojení ve stavu CLOSE_WAIT,

    Máte mnoho TCP klientem uzavřených požadavků. Máte takový běžný HTTP provoz, nebo jste pod útokem? Jakému procesu patřily (HTTP nebo NFS)?

    která otevřel právě apache.

    Vám apache otevírá spojení? Kam, na co?

    28.3.2013 23:06 OgeeN
    Rozbalit Rozbalit vše Re: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT
    Ve stavu D jsou procesy apache.

    Jedná se o běžný HTTP provoz. Tcp spojení patřila patřila HTTP.

    Apache se občas ptá jiných instancí apache, které beží na stejném serveru.

    Ještě jsem zapomněl, že před apachem je strčený squid jako reverzní proxy.

    Apache se stejnou konfigurací, které si data tahají ze stejného nfs serveru nám běží ještě na jednom serveru s FreeBSD a tam se popisovaný problém nevyskytuje.
    28.3.2013 23:11 ewew | skóre: 40 | blog: ewewov_blog
    Rozbalit Rozbalit vše Re: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT

    Máš tam vôbec nejaké nastavené limity ?

    Skontroluj si parametre exportu /iscsi_data 192.168.0.0/255.255.0.0(rw,async,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663) 172.16.0.0/24(rw,subtree_check,no_root_squash,no_all_squash,sync,fsid=1688f755-2543-45f4-a7f2-c0eb209dd663) . Skús tam použiť async mód, vtedy nezapisuje synchronne, možno to spôsobuje problém.

    Root v linuxe : "Root povedal, linux vykona."
    28.3.2013 23:21 OgeeN
    Rozbalit Rozbalit vše Re: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT
    Jaké limity?

    Async jsem zkoušel se stejným výsledkem.
    Řešení 1× (ewew)
    29.3.2013 10:25 OgeeN
    Rozbalit Rozbalit vše Re: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT
    Tak to vypadá, že problém úplně zmizel poté co jsem nfs klienta připojil pomocí udp.

    V fstab parametr proto=udp.

    Problém tedy pravděpodobně bude někde v implementaci tcp stacku v jádře ubuntu.
    29.3.2013 10:46 ewew | skóre: 40 | blog: ewewov_blog
    Rozbalit Rozbalit vše Re: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT

    Je možné, že došlo k vyčerpaniu vyhradených prostriedkov na tcp spojenia. Myslím, že pričina je maximalnom čase kým je spojenie prehlasené ako nefunkčne.

    Nešlo by upraviť web tak, aby pri načitaní daného súboru bola urobená lokálna kopia read-only a prípadné zmeny by sa spätne nakopirovali ?

    Root v linuxe : "Root povedal, linux vykona."
    7.4.2013 14:56 ewew | skóre: 40 | blog: ewewov_blog
    Rozbalit Rozbalit vše Re: Apache2, NFS a hromada spojení ve stavu CLOSE_WAIT

    stav CLOSE_WAIT podľa toho čo som googlil môže trvať nekonečný čas. Tento stav môže ukončiť len uvolnenie socketov.

    Označujem ako vyriešené.

    Root v linuxe : "Root povedal, linux vykona."

    Založit nové vlákno • Nahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.