abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 00:22 | Pozvánky

Richard Stallman, zakladatel hnutí svobodného softwaru, projektu GNU a Free Software Foundation, vystoupí 6. června od 17:30 v Brně v kině Scala se svou přednáškou Free Software Movement and GNU/Linux Operating System. Přednášku organizuje Ústav práva a technologií Masarykovy univerzity.

Ladislav Hagara | Komentářů: 31
17.5. 21:11 | IT novinky

Hewlett Packard Enterprise (NYSE:HPE) kupuje společnost Cray Inc. (Nasdaq:CRAY) za přibližně 1,3 miliardy dolarů. Výrobce superpočítačů Cray má v seznamu 500 nejvýkonnějších superpočítačů na světě TOP500 aktuálně 52 superpočítačů. S Intelem staví další superpočítač Aurora. S AMD staví superpočítač za 600 milionů dolarů s názvem Frontier. Ten by měl v roce 2021 převzít vedení v TOP500.

Ladislav Hagara | Komentářů: 3
17.5. 19:44 | Zajímavý projekt

Ondřej Kokešpodcastu Dataři představuje projekt Česká otevřená data. Jedná se o sadu skriptů, které stahují především finanční data poskytovaná státními institucemi. V rozhovoru vysvětluje, že ke správné interpretaci dat jsou potřeba doménové znalosti, a popisuje zkušenosti, jak získat dokumentaci, která u datových sad často chybí.

Fluttershy, yay! | Komentářů: 0
17.5. 10:11 | Zajímavý projekt

Nadace XPRIZE vyhlásila před pěti lety soutěž Global Learning XPRIZE o nejlepší open source výukový program nebo inovativní způsob výuky, který umožní dětem v rozvojových zemích samostatně se naučit číst, psát a počítat. Tento týden byly vyhlášeny výsledky (YouTube). O první místo a 10 milionů dolarů se podělili Kitkit School a onebillion. Pět vítězných výukových programů bylo zveřejněno na GitHubu.

Ladislav Hagara | Komentářů: 19
17.5. 06:00 | Komunita

Dalších šest produktů od společnosti ThinkPenguin získalo certifikaci RYF (Respects Your Freedom, Respektuje vaši svobodu) udělovanou Nadací pro svobodný software (FSF). Certifikaci RYF má nově například také převodník z USB na paralelní port (LPT). Certifikace RYF byla představena v říjnu 2012.

Ladislav Hagara | Komentářů: 9
16.5. 23:11 | Pozvánky

Dnes je Světový den přístupnosti, anglicky Global Accessibility Awareness Day (GAAD, Wikipedie). Světový den přístupnosti vznikl v roce 2012. Jeho smyslem je šířit osvětu v této oblasti mezi širokou veřejností a motivovat ji k diskusím, přemýšlení a chuti dozvědět se o tématice přístupnosti webu, dokumentů, software, mobilních aplikací, asistivních technologiích či potřebách lidí s nejrůznějším postižením něco nového. O víkendu

… více »
Ladislav Hagara | Komentářů: 0
16.5. 19:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 164. brněnský sraz, který proběhne v pátek 17. května od 18:00 v restauraci Přístav u Vodů u Brněnské přehrady aneb v hantecu u Prýglu.

Ladislav Hagara | Komentářů: 2
16.5. 07:00 | Nová verze

Byla vydána nová major verze 9.0 svobodného systému pro řízení přístupu k síti (NAC) PacketFence (Wikipedie). Přehled novinek v oznámení o vydání. Pro uživatele předchozích verzí jsou k dispozici poznámky k aktualizaci.

Ladislav Hagara | Komentářů: 2
16.5. 06:00 | Bezpečnostní upozornění

K názvům Microarchitectural Data Sampling (MDS) a ZombieLoad Attack aktuálních bezpečnostních chyb v procesorech Intel přibyly nové názvy RIDL a Fallout. Na stránce RIDL and Fallout: MDS attacks jsou k dispozici další videoukázky, technické informace nebo i nástroj pro otestování, zda je konkrétní systém zranitelný. Ke stránkám ZombieLoad Attack, RIDL a Fallout lze přistupovat ze stránky CPU.fail.

Ladislav Hagara | Komentářů: 17
15.5. 18:22 | Zajímavý článek

V Edici CZ.NIC vyšla kniha Porty, bajty, osmibity od Martina Malého. Koupit ji lze tištěnou nebo zdarma stáhnout ve formátech PDF (3,6 MB), EPUB (10,8 MB ) a MOBI (28,7 MB). Jedná se o volné pokračování knihy Hradla, volty, jednočipy. Další informace ke knihám, odkazy na zdrojové kódy nebo errata na webových stránkách Porty, bajty, osmibity a Hradla, volty, jednočipy.

Ladislav Hagara | Komentářů: 25
GPU kterého výrobce aktuálně preferujete pro provoz Linuxu?
 (48%)
 (25%)
 (25%)
 (2%)
Celkem 298 hlasů
 Komentářů: 26, poslední dnes 08:36
Rozcestník

Dotaz: BASH grep v proměnný nefunguje

9.5. 18:00 PD321 | skóre: 2
BASH grep v proměnný nefunguje
Přečteno: 330×
Ahoj, mám skript, kde CATem vypisuju soubor a pomocí GREPu výsledek filtruju. Část s GREPama mám uloženou v proměnný.

prom="| grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"
cat /mnt/syslog/network/fg-int/fg-int.log $prom


Pokud to zadám takhle, tak se mi vypíše soubor celej bez ohledu na filtry.

Když to zadám v celku, bez použití promměný, tak to funguje a vypíše jenom řádky odpovídající filtrům:
cat /mnt/syslog/network/fw-int.log | grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090

Nevíte kde je chyba? Dík.

Řešení dotazu:


Odpovědi

9.5. 18:40 debian+
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
Je to o spracovani forend-oveho prikazu backend-om.

Ak chces aby ti to islo podla teba, tak:
prom="| grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"
bash -c "cat /mnt/syslog/network/fg-int/fg-int.log $prom"
Pozor v prom na obycajne uvodzovky alebo si to uprav.
9.5. 18:45 debian+
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
Pokial nechces riesit uvodzovky, tak:
prom="| grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"
echo cat /mnt/syslog/network/fg-int/fg-int.log $prom | bash
Řešení 1× (Andrej)
xkucf03 avatar 9.5. 19:21 xkucf03 | skóre: 47 | blog: xkucf03
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

Používat k tomuhle proměnné je prasárna. Sice to za určitých okolností1 můžeš přimět k tomu, aby to fungovalo, ale je to špatně:

$ x="uname -a"
$ $x
Linux osma 4.15.0-48-generic #51-Ubuntu SMP Wed Apr 3 08:28:49 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux

$ x="uname -a | base64"
$ $x
uname: nadbytečný operand „|“
Více informací získáte příkazem „uname --help“.

$ bash -c "$x"
TGludXggb3NtYSA0LjE1LjAtNDgtZ2VuZXJpYyAjNTEtVWJ1bnR1IFNNUCBXZWQgQXByIDMgMDg6
Mjg6NDkgVVRDIDIwMTkgeDg2XzY0IHg4Nl82NCB4ODZfNjQgR05VL0xpbnV4Cg==

Bash umí funkce – a přesně pro tenhle účel se hodí.

$ mojeFunkce() { uname -a | base64; }
$ mojeFunkce 
TGludXggb3NtYSA0LjE1LjAtNDgtZ2VuZXJpYyAjNTEtVWJ1bnR1IFNNUCBXZWQgQXByIDMgMDg6
Mjg6NDkgVVRDIDIwMTkgeDg2XzY0IHg4Nl82NCB4ODZfNjQgR05VL0xpbnV4Cg==

Funkci pak můžeš používat stejně jako by to byl příkaz/program a propojovat je rourami s dalšími příkazy.

V tvém případě by to tedy vypadalo nějak takhle:

prohledejLog() { grep srcip=192.168.1.10 | grep dstip=192.168.2.10 | grep dstport=8090"; }
cat /mnt/syslog/network/fg-int/fg-int.log | prohledejLog

Roura | je součást syntaxe jazyka – to bys neměl míchat dohromady s daty (obsah proměnných).

[1] v tom bash -c "…", kde se proměnná vyhodnotí ještě před předáním tomu bashi a poslepuje se z ní kód

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, Relational pipes (AWK)
Řešení 1× (xkucf03)
9.5. 22:39 Andrej | skóre: 46 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

První věc, sice off-topic, ale přece: cat má název podle slova concatenate — používat ho na jediný soubor je zbytečné.

Teď k tématu: Takové filtrování patří do funkce, ne do proměnné. Mít příkazy v proměnné s sebou pokaždé nese spoustu ošklivosti v podobě buď eval nebo spouštění shellu stylem něco | bash. Ve funkci se dá takový filtr nadefinovat a později spustit.

my_outdated_ip_address_filter() {
  grep 'srcip=192\.168\.1\.10' |\
  grep 'dstip=192\.168\.2\.10' |\
  grep 'dstport=8090'
}

my_outdated_ip_address_filter < /mnt/syslog/network/fw-int.log
ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
10.5. 16:34 debian+
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
Len domam, ze definici funkciu, prikazov a aliasov zistis cez:
set
Nieco sa da zistit aj cez napr:
type less
10.5. 10:29 PD321 | skóre: 2
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
Díky debian+, funguje. Ještě bych jenom dodal, proč to mám v proměnný. Příklad jsem maximálně zjednodušil, aby bylo vidět, kde je problém. Ve skutečnosti skript GREPy nemá, ale dostává je ve formě parametru od PHP skriptu, kterej je podle potřeby sestavuje. Ve skriptu se pak nacházej v proměnný $2 (v $1 je uložen název souboru).
xkucf03 avatar 10.5. 11:13 xkucf03 | skóre: 47 | blog: xkucf03
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
Ve skutečnosti skript GREPy nemá, ale dostává je ve formě parametru od PHP skriptu, kterej je podle potřeby sestavuje. Ve skriptu se pak nacházej v proměnný $2 (v $1 je uložen název souboru).

Pak tedy přeji hodně štěstí. Pravděpodobně se ti tam bude dít něco jako SQL injection, akorát se tam nebude injektovat SQL, ale kód v shellu. Takhle tam z toho PHP půjde podstrčit libovolný příkaz… a pokud se to slepuje ze vstupů od uživatele (potenciálního útočníka), tak to není dobré.

Už jsem takhle viděl třeba WiFi router, který měl ve webovém rozhraní funkci ping – zadal jsi IP adresu a ono to vypsalo výstup příkazu ping. Jenže pokud jsi do políčka s IP adresou dal ty správné uvozovky/apostrofy, tak to nejen spustilo ten ping, ale i tebou zadaný příkaz a vypsalo jeho výstup.

Vážně by bylo lepší to přepsat s těmi funkcemi a striktně oddělovat data a kód. Kód je spustitelný a měl bys ho mít plně pod kontrolou. Data jsou jen neživé datové struktury, které samy od sebe nic nedělají. Data můžou být třeba seznam položek oddělených znakem konce řádku nebo nulovým bajtem… V Bashi si z toho uděláš pole, bezpečně předáváš dál…

Ono jde v Bashi sice různě „kouzlit“ a dělat třeba proměnné proměnné (obdoba ukazatelů) nebo proměnné ukazující na funkce/příkazy, které se pak volají, nebo ten dynamicky spouštěný kód přes bash -c "…", co tam máš, a spoustu dalších hacků… ale pokud to vyloženě nepotřebuješ a nevíš přesně, co děláš, tak je lepší se tomu vyhnout a navrhovat ty skripty jednodušeji.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, Relational pipes (AWK)
10.5. 13:42 PD321 | skóre: 2
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
Útoku jsem si vědom. Vstup na HTML stránku je chráněn firewallem a přístup na ní mám jenom já. Pochopitelně se to budu snažit zjednodušit a víc zabezpečit.
10.5. 14:39 Andrej | skóre: 46 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

Nic z uvedeného není důvodem, proč by grepy nemohly být ve funkci.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
10.5. 16:37 debian+
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
Oboznam sa a nauc sa pripadne pouzivat /dev/shm.
10.5. 17:40 Kit | skóre: 43 | Brno
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje
V tom případě bych raději v tom PHP udělal i to filtrování.

Další možností je využití AWK, které zvládne sestavení podmínky i celé filtrování. Stačí pak jediný proces.

Pokud trváš na filtrování grepem, nechej si v PHP vygenerovat jednu podmínku na jednom řádku. Bude to flexibilnější.
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
10.5. 18:45 Andrej | skóre: 46 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: BASH grep v proměnný nefunguje

Ještě abych upřesnil, jak se lze vyhnout těm ošklivým grepům nebo výrazu pro pipeline v proměnné, tady je drobný příklad.

Co takhle mít skript, který dostane v "$1" název souboru a pak budou následovat regulární výrazy pro grep? Skript z regulárních výrazů automaticky sestaví filtrovací pipeline a soubor skrz ni protlačí. Zavolá se třeba takto:

./filters.sh /mnt/syslog/network/fw-int.log \
             'srcip=192\.168\.1\.10' \
             'dstip=192\.168\.2\.10' \
             'dstport=8090'

A celý filters.sh může vypadat například takto:

set -e -o pipefail -u

my_magic_filter() {
  local -r filters_name="$1"
  local -rn filters="$filters_name"
  local -ri current_filter="$2"
  local -ri last_filter="$(("${#filters[@]}" - 1))"
  if ((current_filter == last_filter)); then
    grep "${filters[current_filter]}"
  else
    grep "${filters[current_filter]}" |\
    my_magic_filter "$filters_name" "$((current_filter + 1))"
  fi
}

declare -r file_name="$1"
shift
declare -ar array_of_filters=("$@")

my_magic_filter 'array_of_filters' 0 < "$file_name"

Tam^^^ pochopitelně zoufale chybí ošetření chyb, například (1) špatného počtu a typu parametrů pro my_magic_filter(), (2) špatných indexů pole a podobně. Pro obecnější nasazení je třeba tohle doladit.

Jak už tady bylo řečeno, fakt je asi lepší udělat to přímo v PHP (nebo snad možná v awk). Já osobně bych to asi nakódil v PHP, kdybych musel. Bude to efektivnější než spouštět takhle Bash na každý požadavek.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.