Dotaz: Jak sekvenčně krmit pipe?

[Ctirad Feřtr]

Ahoj, mám problém, jehož řešení je asi naprosto triviální, ale nemůžu na něj zaboha přijít.

Mám vytvořenou pajpu přem mkfifo, za kterou číhá na data gzip a tar. Do ní catem posílám obrovský archiv rozsekaný splitem na menší kousky a potřeboval bych nějak vyřešit, aby po skončení souboru protistrana počkala na další díl a neskončila s hláškou o neočekávaném konci souboru. Najednou to poslat nemůžu, protože archiv je rozstrkaný po několika médiích.

Odpovědi

[dustin]

Šlo by ze streamu odstraňovat konce souboru?

[Ctirad Feřtr]

Mám to chápat tak, že triviálně to opravdu nejde? Co se odstraňování týče, pokud to jde udělat něčím snadno a bez znalosti přesné délky souboru, tak asi ano.

[Ctirad Feřtr]

Ještě mě napadá rozdělit to něčím chytřejším než je split, co si ty začátky a konce ošéfuje, ale nevím čím.

[miro]

Chytřejší je multivolume tar archive, tam mám ověřeno, že bzip čeká (a předpokládám, že gzip by to mohl umět taky), dokud mu nepředhodíte další díl archivu, a ukončí se teprve po průchodu posledního archivu rourou. Teď jsem to zrovna řešil (pravda pouze pomocí |, pojmenovanou rouru jsem nepotřeboval), mrkněte se sem, třeba vám to pomůže.

[dustin]

Čeká, protože tar na vstupní straně stále běží a rouru nezavírá, narozdíl od opakovaného spouštění catů.

Ale určitě to nějak musí jít i přes cat.

[Ctirad Feřtr]

Bohužel potřebuju, aby to chodilo univerzálně i když na druhém konci nebude zrovna tar. Zatím jsem úspěšně otestoval workaround, kdy pajpu držím otevřenou jiným procesem (sleep 99999 > pajpa ) a pak můžu vesele catovat. Ale čisté řešení si představuju jinak. Ještě zkusím postup popsaný níže.

[dustin]

Myslím, že to je přesně řešení, které popisuje petris. Chytrý hack.

[Ctirad Feřtr]

Chytrý moc není. Nakonec je potřeba zabít ten sleep, aby se to ukončilo.

[dustin]

No jo, ale jak má vědět, kdy se má ukončit? EOF musí ingnorovat, zavření na druhé straně musí ignorovat. Stejně budeš muset něco killnout, až catneš poslední soubor. Nebo jsem to blbě pochopil?

[Ctirad Feřtr]

Ten gzip by přece měl poznat, že je konec archivu a tudíž by se měl korektně ukončit, hádám.

[happy barney]

shell 1:
< fifo cat

shell 2:
exec 4>fifo
echo 1 > fifo
cat aaa >&4
cat bbb >&4
...
exec 4>/dev/null

[foo bar]

Elegance sama!

[petris]

Kdyz si tu rouru otevrete pres exec, jak jsem Vam poradil, bude otevrena az do doby nez ukoncite shell, takze to je naprosto korektni reseni.

[dustin]

Možná si to představuji špatně, ale chápu to takto:

Příklad více souborů v jednom příkazu cat:

cat otevře pipu, do ní postupně posílá obsahy souborů, nakonec pipu zavře. Zavření se projeví na druhé straně (EOF?), gzip ukončí.

Více opakovaných catů:

cat pokaždé otevře a na konci zavře pipu, tudíž gzip ukončí, samozřejmě zařve chybu, protože není regulérní konec zipové struktury.

Asi jde o to zajistit, aby se uzavření na jedné straně nepřeneslo na druhou stranu. Myslím, že tak se chová netcat (tam musím druhé straně přes -q říci, aby se ukončila po zavření vysílací strany). Možná bys to mohl zkusit přes netcat localhost, ale byl by to ukrutný hack :).

[Aleš Kapica]

Nasaď na druhou stranu smyčku.. Tj. aby se ti po přerušení opět nahodil..

[Ctirad Feřtr]

A neposunu tím problém jenom o jednu úroveň dál?

[petris]

Otevrte si tu rouru v shellu a presmerovavejte vystup do takto ziskaneho fd. Jak na to se doctete v help exec pripade man bash.

[Jiří (BoodOk) Kadeřávek]

Co použít tail -f, ten se s koncem souboru neukončí.

[Ctirad Feřtr]

S tím jsem experimentoval, ale buď dělám něco blbě nebo to nejde, protože mi gzip hned zahlásí, že data nejsou gzip file.

[Vojtěch Horký]

Tohle nefunguje?

tail -f <roura | tar ...