GNU tar, xkcd a BSD (diskuse)

[Sten]

Ten komix naráží na to, že BSD a UNIX volby nejsou kompatibilní, takže žádné univerzálně fungující parametry pro tar nejsou. U gitu by asi každý, kdo s ním někdy dělal, znal git commit.

[marbu]

To je pravda, a zmiňuju v blogu taky, ale už se tomu pak víc nevěnuju. Na druhou stranu mi ale nepřijde, že je tohle hlavní pointa, co si vybaví většina lidí, co se na ten komix podívá.

[Michal Kubeček]

Nezbývá než doufat, že Jörg Schilling neumí česky… :-)

[SazeVaclav]

Jörg Schilling neumi zadny jazyk - tedy podle toho, ze se zatim z nikym nedokazal domluvit ...

[pc2005]

Aféra cdrtools?

[Michal Kubeček]

On má těch spouštěčů víc. Jakmile někde padne zmínka o taru, jeho syntaxi a chování, okamžitě naběhne a začne vysvětlovat, že "gtar" (jak tomu říká) je úplně špatně a že jediný správný tar je (shodou okolností jeho) star. Ale cdrtools a spol. jsou samozřejmě účinnější, to ho nastartuje naprosto spolehlivě.

[rastos]

ta věc s dvojteckou

Pff. Keby len tar. Skús obyčajný bash:

cat < /dev/tcp/cygnus-x.net/17

cat < /dev/tcp/alpha.mike-r.com/17

[limit_false]

Ta věc s /dev/tcp je alespoň relativně známá a na první pohled to vypadá "podezřele".

[xkucf03]

Pěkné :-) Myslel jsem, že na takovéhle věci potrpí jen Plan 9 nebo GNU Hurd :-)

[marbu]

No, on je to jen speciální případ pro přesměrování v bash shellu, takže když to člověk vidí poprvé, taky docela nechápe:

$ ls -l /dev/tcp
ls: cannot access '/dev/tcp': No such file or directory
$ ls -l /dev/tcp/localhost/22
ls: cannot access '/dev/tcp/localhost/22': No such file or directory
$ cat /dev/tcp/localhost/22
cat: /dev/tcp/localhost/22: No such file or directory
$ cat < /dev/tcp/localhost/22
SSH-2.0-OpenSSH_7.6
^C

[xkucf03]

Pravda. A když si to vytvořím jako soubor, tak se to chová odlišně podle toho, jestli to čtu jako soubor nebo přesměrovávám:

$ cat /dev/tcp/localhost/22
ahoj

$ cat < /dev/tcp/localhost/22
SSH-2.0-OpenSSH_7.5p1 Ubuntu-10ubuntu0.1

[pc2005]

LOL taky dobrá vlastnost

[xkucf03]

jj, je to specifické pro Bash:

$ dash -c 'cat < /dev/tcp/localhost/22'
ahoj

$ bash -c 'cat < /dev/tcp/localhost/22'
SSH-2.0-OpenSSH_7.5p1 Ubuntu-10ubuntu0.1

A v dokumentaci jsou i příklady, jak s takovým spojením pracovat a používat třeba HTTP.

[Ondra]

ale přece jenom tar nepatří mezi nástroje, jehož volby musím nějak často dohledávat.

no jestli z fleku vite, kam napsat exclude, tak jste frajer. Ja si to musim vzdycky vygooglit.

[marbu]

To se přiznám že nevím, zaručeně si pamatuju jen co jsem psal v tom blogu. Exclude bych asi dohledával v man stránce.

[Petr]

Hezke, dekuji!

[Grunt]

tar -xvzf jmeno.tar.gz (eXtract Verbose Zipped File), víc si pamatovat nepotřebuju.

Nicméně nedávno se mi podařilo rozjet starý kazeťák. Marně jsem pátral jak se na něj vlastně (t)ape (ar)chive používá. Škoda že už je to jen jméno.

[Michal Kubeček]

To je trochu jiný "kazeťák". :-)

Není to jen jméno. Když se podíváte, jak ten formát vypadá, je na něm vidět, že původně byl určen pro archivaci na pásku, která není seekovatelná. Proto tam např. není žádný "index", který by vám umožnil jít rovnou na konkrétní soubor, ale musíte archiv vždy procházet sekvenčně (práci si lze ušetřit jen v tom, že na seekovatelném zařízení lze skákat po hlavičkách).

[Grunt]

Nechápu. Jak jiný? Oni existují různé druhy kazeťáků?

[marbu]

No, myslíš spíš magnetofon nebo páskovou jednotku?

[Grunt]

Příloha:

• Tesla_SP-210.jpg (54328 bytů)

Vim já? A on je v tom nějaký fundamentální rozdíl?

[marbu]

Hádám, že pásková jednotka má nějaké digitální rozhraní (SCSI, paralelní port), zatímco magnetofon analogový výstup. Což ale pravda neznamená, že by na magneťák nešlo ukládat data (viz domácí 8 bitové počítače). Každopádně ta Tesla SP 210 vypadá spíš jako kazeťák pro ty osmibity než jako pásková jednotka. Co jsi s tím zkoušel dělat?

[pc2005]

No ona i moje pásková jednotka DAT/DDS-3 (12GB) moc seekování neumí. To se mě povedlo mezi zámrzy kernelu a read errory mechaniky otestovat, tak umí skákat jen po nahrávkách (~souborech). Uvnitř jedné nahrávky seekovat neumí. Tohle jí řadí na stejnou sekvenční úroveň jako tu Teslu.

[marbu]

Jasně, o seekování mi ani tak nešlo, spíš o ten interface (analogový zvuk vs binární data).

[pc2005]

Aha to je ale jen problém řadiče té jednotky. Ona i FDD má většinu logiky kódování v čipsetu na desce. Na samotné mechanice je jen tvarovač.

[Grunt]

Příloha:

• Lenna.wav.gz (151774 bytů)

Hádám, že pásková jednotka má nějaké digitální rozhraní (SCSI, paralelní port), zatímco magnetofon analogový výstup. Což ale pravda neznamená, že by na magneťák nešlo ukládat data (viz domácí 8 bitové počítače).

To začalo až pozděj, ale v době existence UNIXu byl standard KCS.

Každopádně ta Tesla SP 210 vypadá spíš jako kazeťák pro ty osmibity než jako pásková jednotka. Co jsi s tím zkoušel dělat?

Ano je to kazeťák (konkrétně pro 8-bit). A co jsem zkoušel? No uložit na to nějaké data, co jiného (viz příloha).

[marbu]

A šlo ti to z toho kazeťáku i zpětně přečíst? :) Jinak se dívám, že v tom souboru je jeden kanál s šířkou vzorku 8 bitů s tím, že se ve vzorcích použijí jen 2 hodnoty. Ale např. audio výstup z minimodem vypadá dost jinak, tak by mě zajímalo čím jsi to generoval. Asi existuje spousta různých historických nástrojů (např. na čtení dat z těch 8 bitových strojů), ale kdybych chtěl dneska ukládat data na kazeťák, tak bych se na ně asi vykašlal a zkusil ten výše zmíněný minimodem, co jsem po chvíli googlení jako první našel. Ale autor minimodemu to jako use case ani nezmiňuje, tak buď je v tom nějaký háček nebo se to prostě už nikoho nezajímá :)

[pc2005]

Já jsem se k pokusům záznamu na audio kazetu nikdy nedostal. Když jsem si hrál se softwarovým modemem, tak mě vyhořela zvukovka (z jiných příčin ) a pak jsem byl rád že jsem na měl aspoň náhradní na poslech mp3 . ... Takže nevím jak se nejlíp data zaznamenávají, ale mělo by stačit přimo magnetizovat jedním nebo druhým směrem ne? (tedy dva stavy) Aspoň disketa to tak má a mám dojem že i DDS má jen nějakou hloupou dvoustavovou magnetizaci.

Jinak kdybych šel do vícestavové modulace, tak bych to rovnou udělal na něčem jako QAM.

[Grunt]

akže nevím jak se nejlíp data zaznamenávají, ale mělo by stačit přimo magnetizovat jedním nebo druhým směrem ne? (tedy dva stavy)

Tak to mají kazety, magnetické pásky i ty diskety. Liší se to pouze požitým schématem (PWM, FM, MFM, M²FM, GCR) resp. jejich efektivitou.

[pc2005]

Jo ale normálně audiokazety i VHS jsou analogový, takže se tím dvoustavovým záznamem připravuješ o bitrate.

Fakt bych zkusil implementovat něco jako tohle.

[Grunt]

Příloha:

• showspect.jpg (386850 bytů)

Jo, jo. Minimodem jsem právě objevil. A přesně ten mi chyběl.

A šlo ti to z toho kazeťáku i zpětně přečíst?

Samozřejmě. Proč by nemělo? Tohle je právě výhoda staré klasické PWM (nebavím se o Turboloaderech). Ono se na tu kazetu nevleze ani Megabajt nicméně to většinou přežije (pravděpodobně i termonukleární válku). Mám kazety staré přes 30let, furt fungují jako kdysi. Jenže vždycky je to omezeno rychlostí CPU (což bylo závratných 3.5 MHz) proto jsem pátral po tom jestli neexistuje něco efektivnějšího. Ona i spektrální analýza odhalí že o moc efektivně uloženo není (viz spektrum v příloze).

Asi existuje spousta různých historických nástrojů

No právě že ani moc ne. Ono to bylo i v UNIXu implementované v /dev/tape a ne v žádném nástroji.

tak bych se na ně asi vykašlal a zkusil ten výše zmíněný minimodem

Yup přesně tak. Teň s ním testuju BASICODE ale popravdě mi to moc nefunguje ani v tom emulátoru ani v tom mimimodemu

[Max]

Já k tomu ještě používám "tar cvf"
Zdar Max

[pc2005]

Tak čistě technicky je spuštení "tar" bez volby taky validní příkaz .

[marbu]

Dívám se, že jsem udělal chybu, když jsem nepřidal pro poslední anketu možnost "nevím" :)

[Filip Jirsák]

Ještě by to chtělo kontraanketu, jaký typ voleb používáte s ps. Kde je to ještě vylepšené tím, že stejné písmeno má jiný význam v BSD a jiný v Unix notaci.

[xkucf03]

Většinou ps aux. A zrovna u výpisu procesů by se hodilo nejlíp SQL (projekce + restrikce – vybrat si jaké sloupce chci + filtrovat podle různých kritérií).

[deda.jabko]

A zrovna u výpisu procesů by se hodilo nejlíp SQL (projekce + restrikce – vybrat si jaké sloupce chci + filtrovat podle různých kritérií).

Na kriteria mas bud prepinace nebo grep, na vyber sloupcu prepinac "-o".

A zrovna u výpisu procesů by se hodilo nejlíp SQL

SQL je spatny jazyk i na praci s relacnimi daty, pouzivat ho na cokoliv jineho mi proto neprijde jako prilis moudry napad. Koncepcne cistejsi mi prijde spis pristup, ktery pouziva Powershell.

[marbu]

Pokud ti jde jen o selekci a projekci, tak jak už deda.jabko poznamenal, tohle se dá řešit přes ps -o a awk.

Projekce se udělá přes to ps -o. Např. pro vypsání pidu, název procesu a jeho rss pro všechny procesy:

$ ps -e --no-headers -o pid,comm,rss,size
    1 systemd         11704 20656
    2 kthreadd            0     0
    4 kworker/0:0H        0     0
    6 mm_percpu_wq        0     0

 ..... vynecháno ................

 6249 kworker/2:0         0     0
 6266 kworker/1:0         0     0
 6273 kworker/3:0         0     0
 6290 ps               1736  1040
 6291 less             1020   356

Selekce se nelíp řeší přes awk. Např. pokud chci z předchozího příkladu vyfiltrovat jen processy co mají v názvu tmux, rozpoznané dle regexpu:

$ ps -e --no-headers -o pid,comm,rss,size | awk '$2 ~ "tmux"' 
 2004 tmuxp           19072 11928
 2011 tmux: server     3732   884
 2487 tmux: client     3300   492

Nebo jen bash procesy, jejichž rss je větší než 10700:

$ ps -e --no-headers -o pid,comm,rss,size | awk '$2 == "bash" && $3 >= 10700' 
 1962 bash            10768  7544
 3933 bash            10940  7544
 4731 bash            10708  7464
 5472 bash            10824  7544

[marbu]

Jinak ten tvůj nápad s sql rozhraním pro ps mi teď připoměl osquery.

[xkucf03]

Příloha:

• Frantisek_Kucera-Sql-xml-unix.pdf (76459 bytů)

BTW: v roce 2014 jsem dělal prototyp, SQL API k OS (zdrojáky).

Pro psaní ad-hoc dotazů je to SQL trochu robustní a člověk spíš použije ten grep/awk, spokojí se s nedokonalým výsledkem, ale pro psaní skriptů nebo něčeho, co má běžet bez dozoru se hodí mít spolehlivější nástroj, který se nikdy nesplete např. v tom, kde jsou hranice¹ mezi sloupci/atributy, a v kterém jde psát ty dotazy přehledně, čitelně, bez kryptických zkratek/parametrů.

_{[1] v textovém výstupu je to většinou mezera nebo jiný oddělovač, ale moc se nepočítá s tím, že by znak mezery či oddělovače mohl být i součástí hodnoty a escapování buď neexistuje nebo není na jedné či druhé straně podporované; složitější strukturovaná data a stromy taky není jak vyjádřit}

[marbu]

Většinou ps aux.

+1

A vždycky jsem si myslel, že to používám proto, že to takto zmiňoval Cliff Stoll v knize Kukaččí vejce, který byl zvyklý na BSD. Ale když jsem to teď hledal, ukázalo se že je tam ps -aux ...

Nicméně ten kontext, v kterým to bylo zmíněno, se do této debaty celkem hodí:

Ze zvyku jsem psával ps -aux, ta tři poslední písmenka říkala otci Unixovi, aby sdělil status jednoho každého. Vetřelec ale napsal ps -eafg. Podivné. Nikdy jsem neviděl nikoho použít příznak g.

A o stránku dál:

„Cliffe, ten hacker není z Berkeley“

„Jak to víš?“

„Tys viděl toho chlápka vypsat příkaz ps -eafg, že?“

„Jo, tady je výpis,“ opáčil jsem. „Obyčejný unixovský příkaz k vypsání seznamu všech aktivních procesů ‚ps‘ znamená print status, a ta čtyři písmenka zmodifikují displej. Je to svým způsobem něco jako přepínače na stereu, mění se způsob, jak příkaz funguje.“

„Cliffe, já vím, že jsi zvyklý na Berkeley Unix. Od té doby co ho vymysleli, píšeme mechanicky ‚ps‘, když chceme vidět, co se děje v systému. Ale řekni mi, co modifikují ta čtyři písmena?" Dave věděl, že v obskurních příkazech Unixu jsem ignorant. Tvářil jsem se sebevědomě.

„No, příznak e znamená vypsat jméno procesu i prostředí, a příznak a vypíše všechny procesy - nejenom tvoje. Hacker tu chtěl vidět všechno, co na systému běží.“

„Dobrý, to je půlka. A na co jsou ty příznaky f a g?“

„Nevím.“ Dave mě v tom nechal plácat, dokud jsem nedoznal svou nevědomost.

„G-výpis žádáš, když chceš vidět zajímavé i nezajímavé procesy. Ukáže se všechno, i nezajímavé procesy, jako je účetnictví. A všechny ukryté procesy.“

„A víme, že se nám šťoural v účetních programech.“

Dave se usmál: „A tak nám zůstává f. Jenže to už není Berkeley Unix. To je metoda AT&T Unixu. Berkeley Unix dává na seznam všechny procesy automaticky, takže přepínač f nepotřebuje. Náš přítel nezná Berkeley Unix. Je ze staré unixovské školy.“

[pc2005]

ps aux a pak ještě to s threadama (to si obvykle musím vyhledat ) nebo "f" pro grafické vyjádření parent-child stromu.

[Max]

Já jedu "ps auxww"
Zdar Max

[pc2005]

LOL celé jméno firefoxu .

[xkucf03]

Taky jsem na to nedávno koukal, co je to tam za hrůzy.

[Luboš Doležel (Doli)]

A pak je tu ještě implementace tuším z BusyBoxu, která to má zase nějak jinak.

[Vantomas]

find v Mac OS (a asi i v jiném BSD světě) se musí spouštět s parametrem adresáře, nedomýšlí si tam automaticky aktuální adresář, jako GNU find.

Prostě jsou v tom takový drobný rozdíly.