Dotaz: Identifikace vstupu aplikace

[keporkak]

Dobry den,

dejme tomu, ze spustim nejaky linuxovy prikaz, ktery ceka svuj vstup z konzole, napr:

wc -l

Je nyni standardni vstup tohoto prikazu nejak v systemu identifikovan? Jde mi o, ze nyni potrebuju z jineho okna konzole z jineho programu (sveho napsaneho v C) poslat bezici aplikaci (zde wc -l) nejaka data.

Je toto mozne?

Odpovědi

[YYY]

Zkusil bych toto:

echo "data" > /proc/PID_PROGRAMU/fd/0

[Filip Jirsák]

K tomu slouží pojmenované roury – podívejte se např. na příkaz mkfifo. Příkazu wc -l řeknete, že má číst z dané pojmenované roury, a jiným programem pak do ní můžete zapisovat.

[keporkak]

Dekuji, za odpovedi, obe moznosti by asi sly, ale trochu konkretizuji svuj problem.

Jde mi o to spustit program john (http://www.openwall.com/john/) ve vice instancich (napriklad dva, tak aby kazdy bezel na jednom procesoru), tak aby prijimal slova, ze kterych dela hashe ze std. vstupu, tedy s parametrem --stdin.

Ja bych si potom naprogramoval jednoduchou aplikaci v C, ktera by slova ze slovniku nastridacku zasilala obema instancim a ty tedy zaroven zpracovavaly slova.

Problem je ten, ze pokud aplikaci (at uz vyse zminene wc -l nebo john) poslu na std. vstup retezce, aplikace svoji cinnost nevykona dokud nedojde ke stisknu CTRL+D. Az pak se aplikace "probere", zpracuje svuj buffer a ukonci se. A ja prave nechci aby se ukoncila, potrebuji, aby retezce zpracovala prubezne.

Doufam, ze jsem alespon trochu srozumitelne vysvetlil, o co se snazim. Jde toto nejakym zpusobem vyresit?

[Filip Jirsák]

To záleží na způsobu práce aplikace. wc -l musí počkat na ukončení vstupu, protože počítá počet řádek v celém vstupu. Jediná možnost je spustit wc -l pro každý vstup znova.

[me vakérav]

Tak jak píšeš by to mělo fungovat. Problém asi bude v tom, že když to zkoušíš na malých datech, zůstanou viset v nějakém cache bufferu, dokud se nezaplní nebo se roura neukončí. Na malých datech se buffer samozřejmě nezaplní a při skončení roury skončí i program.

Zkus to na větších datech a prostě tam ta data rvi. Je jasné, že johni budou trochu zpožděni oproti tomu, co tam posíláš, ale to je správně - to je prostě cache, která je nutná jednak kvůli efektivitě a jednak kvůli lepší paralelizaci (každý má svojí rezervu nezávislou na předchozím a dalším programu v rouře).

[keporkak]

Zkousel jsem tam do nej takto vysypat asi 14MB slov (kazde na radku), ale chova se to stale stejne, porad visi v konzoli a ceka na stisk CTRL+D. Nemuzu to cachovani nejakym zpusobem potlacit? Pripadne po nejakych intervalech vynutit zpracovani teto cache?

[l4m4]

Pokud dělá program jakoukoli celkovou analýzu vstupu - wc ji dělá určitě, je to jeho jediný účel, john ji dělá dost pravděpodobně - tak může přejít do další fáze až po té analýze. Takže wc něco vcelku logicky vypíše, až dostane ten vstup celý a ví, kolik je řádků, ale ty řádky počítá průběžně, jakmile se mu naplní vstupní buffer. To lze snadno ověřit (trasováním, nebo i jen v topu). Některým programům lze říci, aby zpracovávaly vstup po řádcích, nevím, zda tak lze nastavit jonh, nejspíš by to mělo negativní vliv na efektivitu.

[keporkak]

Ted jsem jeste zkousel john, ale podle me se chova stejne jako wc, tedy ze cely vstup bufferuje a vypocet provede az po stisku CTRL+D.

Celou situaci tedy muzu ukazat pouze na wc:

Standardne se chova takto:

wc -l
prvni radek
druhy radek
treti radek
[stisk CTRL+D]
3

Ja bych ho vsak potreboval prinutit fungovat takto:

wc -l
prvni radek
1
druhy radek
2
treti radek
3
...

Tedy zpracovavat zvlast kazdy radek vstupu. Vyresit to ale nejak obecne (ne jen nejakym parametrem pokud existuje) abych to same mohl aplikovat i na john.

Pro uplnost jeste dodam, ze john na toto zadny option nema.

[l4m4]

Takže ještě jednou:

* wc nebufferuje celý vstup.

* bufferovat celý vstup není totéž co přečíst celý vstup (wc dělá jen to druhé).

* obecně to vyřešit nejde, protože program může potřebovat přečíst celý vstup.

Pokud zpracování jednoho řádku trvá programu tak dlouho a zároveň nechceš využít toho, že program může pracovat efektivněji po načtení celého vstupu, tak spouštěj program na každý řádek zvlášť, to je jedná obecná možnost.

[keporkak]

Jde toto nejakym zpusobem zrealizovat?

[Sten]

A proč tu aplikaci chcete spouštět někde stranou a potom jí lézt do standardního vstupu? Nejjednodušší řešení je vytvořit rouru (funkcí pipe), udělat fork, v dítěti čtecí stranu roury namapovat na stdin (funkcí dup2), pomocí execve spustit požadovanou aplikaci a v rodiči do zapisovací strany roury posílat slova. Přesně tak, jak to dělá shell.

[keporkak]

To zni velice zajimave, bohuzel nejsem prilis sbehly v jazyce C. Byl by prosim nekdo tak hodny a hodil sem nejakou kostru/priklad, jak to konkretneji udelat?

[l4m4]

Z toho, co napsal Sten, je nejdůležitejší to ,přesně tak, jak to dělá shell`. Bude to se to chovat úplně stejně.

[keporkak]

Ehm, to nejak nechapu, budu tedy programovat v C vyuzitim funkci, co psal Sten nebo mam nejak pouzit shell (bash)?

[l4m4]

Je to úplně jedno, chování bude stejné.

Klidně to sem napíšu i potřetí...