abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 22:22 | Komunita

    Open source webový aplikační framework Django slaví 20. narozeniny.

    Ladislav Hagara | Komentářů: 0
    včera 16:11 | Komunita

    V Brestu dnes začala konference vývojářů a uživatelů linuxové distribuce Debian DebConf25. Na programu je řada zajímavých přednášek. Sledovat je lze online.

    Ladislav Hagara | Komentářů: 0
    včera 11:33 | IT novinky

    Před 30 lety, tj. 14. července 1995, se začala používat přípona .mp3 pro soubory s hudbou komprimovanou pomocí MPEG-2 Audio Layer 3.

    Ladislav Hagara | Komentářů: 15
    včera 10:55 | IT novinky

    Výroba 8bitových domácích počítačů Commodore 64 byla ukončena v dubnu 1994. Po více než 30 letech byl představen nový oficiální Commodore 64 Ultimate (YouTube). S deskou postavenou na FPGA. Ve 3 edicích v ceně od 299 dolarů a plánovaným dodáním v říjnu a listopadu letošního roku.

    Ladislav Hagara | Komentářů: 16
    13.7. 17:55 | Zajímavý projekt

    Společnost Hugging Face ve spolupráci se společností Pollen Robotics představila open source robota Reachy Mini (YouTube). Předobjednat lze lite verzi za 299 dolarů a wireless verzi s Raspberry Pi 5 za 449 dolarů.

    Ladislav Hagara | Komentářů: 11
    11.7. 16:44 | Komunita

    Dnes v 17:30 bude oficiálně vydána open source počítačová hra DOGWALK vytvořena v 3D softwaru Blender a herním enginu Godot. Release party proběhne na YouTube od 17:00.

    Ladislav Hagara | Komentářů: 3
    11.7. 14:55 | Humor

    McDonald's se spojil se společností Paradox a pracovníky nabírá také pomocí AI řešení s virtuální asistentkou Olivii běžící na webu McHire. Ian Carroll a Sam Curry se na toto AI řešení blíže podívali a opravdu je překvapilo, že se mohli přihlásit pomocí jména 123456 a hesla 123456 a získat přístup k údajům o 64 milionech uchazečů o práci.

    Ladislav Hagara | Komentářů: 16
    11.7. 00:11 | Nová verze

    Byla vydána (𝕏) červnová aktualizace aneb nová verze 1.102 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.102 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    10.7. 21:00 | Bezpečnostní upozornění

    Byla vydána nová verze 2.4.64 svobodného multiplatformního webového serveru Apache (httpd). Řešeno je mimo jiné 8 bezpečnostních chyb.

    Ladislav Hagara | Komentářů: 4
    10.7. 15:22 | Nová verze

    Společnost xAI na síti 𝕏 představila Grok 4, tj. novou verzi svého AI LLM modelu Grok.

    Ladislav Hagara | Komentářů: 12
    Jaký je váš oblíbený skriptovací jazyk?
     (59%)
     (26%)
     (7%)
     (3%)
     (1%)
     (1%)
     (4%)
    Celkem 393 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    Dotaz: BASH grep v proměnný nefunguje

    9.5.2019 18:00 PD321 | skóre: 4
    BASH grep v proměnný nefunguje
    Přečteno: 507×
    Ahoj, mám skript, kde CATem vypisuju soubor a pomocí GREPu výsledek filtruju. Část s GREPama mám uloženou v proměnný.

    prom="| grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"
    cat /mnt/syslog/network/fg-int/fg-int.log $prom


    Pokud to zadám takhle, tak se mi vypíše soubor celej bez ohledu na filtry.

    Když to zadám v celku, bez použití promměný, tak to funguje a vypíše jenom řádky odpovídající filtrům:
    cat /mnt/syslog/network/fw-int.log | grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090

    Nevíte kde je chyba? Dík.

    Řešení dotazu:


    Odpovědi

    9.5.2019 18:40 debian+
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    Je to o spracovani forend-oveho prikazu backend-om.

    Ak chces aby ti to islo podla teba, tak:
    prom="| grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"
    bash -c "cat /mnt/syslog/network/fg-int/fg-int.log $prom"
    Pozor v prom na obycajne uvodzovky alebo si to uprav.
    9.5.2019 18:45 debian+
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    Pokial nechces riesit uvodzovky, tak:
    prom="| grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"
    echo cat /mnt/syslog/network/fg-int/fg-int.log $prom | bash
    xkucf03 avatar 9.5.2019 19:21 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

    Používat k tomuhle proměnné je prasárna. Sice to za určitých okolností1 můžeš přimět k tomu, aby to fungovalo, ale je to špatně:

    $ x="uname -a"
    $ $x
    Linux osma 4.15.0-48-generic #51-Ubuntu SMP Wed Apr 3 08:28:49 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
    
    $ x="uname -a | base64"
    $ $x
    uname: nadbytečný operand „|“
    Více informací získáte příkazem „uname --help“.
    
    $ bash -c "$x"
    TGludXggb3NtYSA0LjE1LjAtNDgtZ2VuZXJpYyAjNTEtVWJ1bnR1IFNNUCBXZWQgQXByIDMgMDg6
    Mjg6NDkgVVRDIDIwMTkgeDg2XzY0IHg4Nl82NCB4ODZfNjQgR05VL0xpbnV4Cg==

    Bash umí funkce – a přesně pro tenhle účel se hodí.

    $ mojeFunkce() { uname -a | base64; }
    $ mojeFunkce 
    TGludXggb3NtYSA0LjE1LjAtNDgtZ2VuZXJpYyAjNTEtVWJ1bnR1IFNNUCBXZWQgQXByIDMgMDg6
    Mjg6NDkgVVRDIDIwMTkgeDg2XzY0IHg4Nl82NCB4ODZfNjQgR05VL0xpbnV4Cg==
    

    Funkci pak můžeš používat stejně jako by to byl příkaz/program a propojovat je rourami s dalšími příkazy.

    V tvém případě by to tedy vypadalo nějak takhle:

    prohledejLog() { grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"; }
    cat /mnt/syslog/network/fg-int/fg-int.log | prohledejLog
    

    Roura | je součást syntaxe jazyka – to bys neměl míchat dohromady s daty (obsah proměnných).

    [1] v tom bash -c "…", kde se proměnná vyhodnotí ještě před předáním tomu bashi a poslepuje se z ní kód

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    Řešení 1× (xkucf03)
    9.5.2019 22:39 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

    První věc, sice off-topic, ale přece: cat má název podle slova concatenate — používat ho na jediný soubor je zbytečné.

    Teď k tématu: Takové filtrování patří do funkce, ne do proměnné. Mít příkazy v proměnné s sebou pokaždé nese spoustu ošklivosti v podobě buď eval nebo spouštění shellu stylem něco | bash. Ve funkci se dá takový filtr nadefinovat a později spustit.

    my_outdated_ip_address_filter() {
      grep 'srcip=192\.168\.1\.10' |\
      grep 'dstip=192\.168\.2\.10' |\
      grep 'dstport=8090'
    }
    
    my_outdated_ip_address_filter < /mnt/syslog/network/fw-int.log
    
    10.5.2019 16:34 debian+
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    Len domam, ze definici funkciu, prikazov a aliasov zistis cez:
    set
    Nieco sa da zistit aj cez napr:
    type less
    10.5.2019 10:29 PD321 | skóre: 4
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    Díky debian+, funguje. Ještě bych jenom dodal, proč to mám v proměnný. Příklad jsem maximálně zjednodušil, aby bylo vidět, kde je problém. Ve skutečnosti skript GREPy nemá, ale dostává je ve formě parametru od PHP skriptu, kterej je podle potřeby sestavuje. Ve skriptu se pak nacházej v proměnný $2 (v $1 je uložen název souboru).
    xkucf03 avatar 10.5.2019 11:13 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    Ve skutečnosti skript GREPy nemá, ale dostává je ve formě parametru od PHP skriptu, kterej je podle potřeby sestavuje. Ve skriptu se pak nacházej v proměnný $2 (v $1 je uložen název souboru).

    Pak tedy přeji hodně štěstí. Pravděpodobně se ti tam bude dít něco jako SQL injection, akorát se tam nebude injektovat SQL, ale kód v shellu. Takhle tam z toho PHP půjde podstrčit libovolný příkaz… a pokud se to slepuje ze vstupů od uživatele (potenciálního útočníka), tak to není dobré.

    Už jsem takhle viděl třeba WiFi router, který měl ve webovém rozhraní funkci ping – zadal jsi IP adresu a ono to vypsalo výstup příkazu ping. Jenže pokud jsi do políčka s IP adresou dal ty správné uvozovky/apostrofy, tak to nejen spustilo ten ping, ale i tebou zadaný příkaz a vypsalo jeho výstup.

    Vážně by bylo lepší to přepsat s těmi funkcemi a striktně oddělovat data a kód. Kód je spustitelný a měl bys ho mít plně pod kontrolou. Data jsou jen neživé datové struktury, které samy od sebe nic nedělají. Data můžou být třeba seznam položek oddělených znakem konce řádku nebo nulovým bajtem… V Bashi si z toho uděláš pole, bezpečně předáváš dál…

    Ono jde v Bashi sice různě „kouzlit“ a dělat třeba proměnné proměnné (obdoba ukazatelů) nebo proměnné ukazující na funkce/příkazy, které se pak volají, nebo ten dynamicky spouštěný kód přes bash -c "…", co tam máš, a spoustu dalších hacků… ale pokud to vyloženě nepotřebuješ a nevíš přesně, co děláš, tak je lepší se tomu vyhnout a navrhovat ty skripty jednodušeji.

    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    10.5.2019 13:42 PD321 | skóre: 4
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    Útoku jsem si vědom. Vstup na HTML stránku je chráněn firewallem a přístup na ní mám jenom já. Pochopitelně se to budu snažit zjednodušit a víc zabezpečit.
    10.5.2019 14:39 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

    Nic z uvedeného není důvodem, proč by grepy nemohly být ve funkci.

    10.5.2019 16:37 debian+
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    Oboznam sa a nauc sa pripadne pouzivat /dev/shm.
    10.5.2019 17:40 Kit | skóre: 45 | Brno
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
    V tom případě bych raději v tom PHP udělal i to filtrování.

    Další možností je využití AWK, které zvládne sestavení podmínky i celé filtrování. Stačí pak jediný proces.

    Pokud trváš na filtrování grepem, nechej si v PHP vygenerovat jednu podmínku na jednom řádku. Bude to flexibilnější.
    Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
    10.5.2019 18:45 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

    Ještě abych upřesnil, jak se lze vyhnout těm ošklivým grepům nebo výrazu pro pipeline v proměnné, tady je drobný příklad.

    Co takhle mít skript, který dostane v "$1" název souboru a pak budou následovat regulární výrazy pro grep? Skript z regulárních výrazů automaticky sestaví filtrovací pipeline a soubor skrz ni protlačí. Zavolá se třeba takto:

    ./filters.sh /mnt/syslog/network/fw-int.log \
                 'srcip=192\.168\.1\.10' \
                 'dstip=192\.168\.2\.10' \
                 'dstport=8090'
    

    A celý filters.sh může vypadat například takto:

    set -e -o pipefail -u
    
    my_magic_filter() {
      local -r filters_name="$1"
      local -rn filters="$filters_name"
      local -ri current_filter="$2"
      local -ri last_filter="$(("${#filters[@]}" - 1))"
      if ((current_filter == last_filter)); then
        grep "${filters[current_filter]}"
      else
        grep "${filters[current_filter]}" |\
        my_magic_filter "$filters_name" "$((current_filter + 1))"
      fi
    }
    
    declare -r file_name="$1"
    shift
    declare -ar array_of_filters=("$@")
    
    my_magic_filter 'array_of_filters' 0 < "$file_name"
    

    Tam^^^ pochopitelně zoufale chybí ošetření chyb, například (1) špatného počtu a typu parametrů pro my_magic_filter(), (2) špatných indexů pole a podobně. Pro obecnější nasazení je třeba tohle doladit.

    Jak už tady bylo řečeno, fakt je asi lepší udělat to přímo v PHP (nebo snad možná v awk). Já osobně bych to asi nakódil v PHP, kdybych musel. Bude to efektivnější než spouštět takhle Bash na každý požadavek.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.