Dotaz: STDOUT -> PIPE -> PERL

[xsustek]

Ahojte,

potrebujem v v perlovskom skripte citat data hned ako mi ich externy program vypise na stdout. Problem je v tom, ze program ich vypisuje (ak ho spustim samostatne), ale skript nespracovava. Zostavaju asi niekde nabufrovane a neviem ako to vypnut. Toto je kod

#!/usr/bin/perl
open (IN,'monbro -N out.txt |' ) or die "Error";
while ($line = {IN}) {
  print $line;
}
close IN;

pokial sa jedna o vypnutie buffrovania v perle $|++; tak to som skusal a nic.

---

---

Odpovědi

[maleprase]

cus, v Perlu moc neumim, ale zkousel jsem si to schvalne napsat, tak treba ti to problem vyresi:

#!/usr/bin/perl
open ($in,'ls |' ) or die "Error";
while (<$in>}) {
  print $_;
}
close $in;

[xsustek]

Toto ti funguje preto, lebo do pipe sa nacita cely vstup z ls. Moj problem je v tom, ze vystup mojho program v podstate nekonci, a ja potrebujem nacitat kazdy riadok v okamihu ked je vygenerovany.

[maleprase]

while ($line = {IN}) nema to byt <IN> ?

tohle rozhodne funguje:

open IN, 'bash -c "while true; do date; sleep 5; done" |'; 
while ($line = <IN>) { 
  print $line; 
}

[xsustek]

Ano toto funguje preto, pretoze ten date ti zakazdim skonci a do pipe vleze EOF. Skus tam dat nejkay program ktoreho vystup nekocni. Napr. tail -f nejakylog.txt

[petr_p]

Ale blbost. Žádný opakovaný EOF tam není, protože jednou zavřený deskriptor by se už zázračně neotevřel.

Problém je s bufferováním mezi znaky nový řádek. To se dá vypnout přes autoflush(IN, 1). Jenže to se vztahuje na zápisovou rouru. My potřebujem vypnout bufferování ze čtecí roury, aby <> nečekal na nový řádek nebo EOF.

[xsustek]

Asi mas pravdu. Mas nejaky napad ako to vypnut? Nieje tento buffer este v bash/?

[petr_p]

Problém je v <&g;, což je převlečený IO::Handle->getline, který čeká na nový řádek.

Tohle funguje:

#!/usr/bin/perl
use strict;
use warnings;
use IO::Handle;

open (DATA, 'sh -c "printf 1; sleep 1; printf 2;" |') or die $!;
STDOUT->autoflush;

while (my $char = DATA->getc) {
    print $char;
}

close(DATA);

[petr_p]

Samozřejmě čtení po znaku není efektivní. Vyšího výkonu lze dosáhnout přes funkci IO::Handle->read(BUFFER, LENGTH). Jen třeba si dobře zvolit velikost bufferu.

[xsustek]

Nerozumiem preco ale nejde mi to: toto moj kod #!/usr/bin/perl use warnings; use IO::Handle;

open (IN, 'monbro -N chgen_test |' ) or die "Error"; STDOUT -> autoflush(1); while ($line = <IN>) { print $line; } close IN;

mohol by si mi este poradit ako nastavit veliskot toho buffera? Niekde som nasiel ze setbuff sa nepouziva od verzie 5.8.0. A neviem ako pracovat s io handlerom, ked vlastne neotvaram subor ale pipe.

[petr_p]

Protože opět čtete po celých řádcích a ne po menších kusech (getc, ne <>). Ale jak už vám vysvětlili níže, chybu máte i na straně monbra.

Velikost bufferu je argument funkce read. Souhrn je v manuálu k IO::Handle, podrobnější popis, tipuji, v perlfunc.

[tyctor]

daj si $| = 1;

na zaciatok skriptu...

[xsustek]

Toto som skusal, nefunguje.

[Marek]

V clanku na linuxsoftu se pise cosi o IO::Handle a nastaveni autoflush. to by moh byt ten zadrhel

[pht]

Problém není u vás ale v té aplikaci (monbro). Pokud se ta aplikace rozhodne, že pošle data až za hodinu, tak s tím na straně příjemce dat neuděláte nic. $| funguje jen na data co produkujete vy.

Naštěstí je ale tenhle problém ve většině případů jednoduše řešitelný. Defaultní buffering je 4k textu pro neinteraktivní komunikaci (pipe) a 1 řádek pro interaktivní (terminál). Některé programy umí vynutit bufferování 1 řádek i pro pipe (např. sed -u). Pokud to monbro neumí tak mu potřebujete vnutit představu že se baví s terminálem. To se dělá pomocí pseudo terminálu, např. modulem IPC::Run.

[xsustek]

Ten skrip robim na stroji, ktory nema modul IPC::Run nainstalovany. Neviem ci by sa mi podarilo adminov presvedcit o update len kvoli tomuto skriptu. Nedalo by sa tomu monbro vnutit tuto predstavu nejako inak. napr. nejaky inym externym programom?

[pht]

možností je spousta

1. nainstalovat si to do svého adresáře
2. překopírovat (ten podstatný) kód do svého skriptu
3. použít libovolnou jinou metodu jak otevřít pseudo terminál (na google se něco najde, je to jen o otevření /dev/ptmx a pár operací navíc)

[xsustek]

Mohli by ste mi prosim blizsie popisat tie moznosti?

1. Nainstalovat modul IPC:Run? 2. Aky kod? Ten z toho modulu? 3. Neviete nahodou ako sa vytvara pseudo terminal nejaky prikazom v bash?

[petr_p]

Zkuste jej spustit přes nástroj stdbuf z balíku coreutils, ale výsledek není zaručen. Lepší by bylo upravit kód toho monbra.

[xsustek]

Ja ten kod toho monbra nemozem upravit, lebo to je binarka. Je to sucast planovaca Autosys Job management. Skusal som aj to citanie po znaku, ale ako ste hovorili, tak buffruje to ten monbro.

[xsustek]

Len chcem potvrdit, ze je to naozaj tak. Ked dam monbro -N mon_definition | cat. Tak zacne vypisovat az pri plnom buffery (4k). Takze v tom skripte to nieje.