Dotaz: Fork, exec a pipy

[lobodpav]

Zdravím.
Mám malý velký problém. Potřebuji udělat program v C/C++, který bude řešit problém přesměrování pipes místo bashe. Jen mu předám příkaz, vyhledá znaky '|', vytvoří pípy, naforkuje proces a spustí příkaz atd...
Vše mi funguje až do doby, kdy přidám handler na odchycení zombies, ať je program korektně uklidí. Pokud se zruší z main funkce poznámka na začátku (realizace handleru), na výstup se nevypíše nic Poslal jsem také kus zdrojového kódu, obsahující jen to nezbytné.
Děkuji moc za odpověď.

#include <sys/types.h>
#include <sys/wait.h>
#include <unistd.h>
#include <signal.h>
#include <stdio.h>

#include <string.h>

// odstraneni procesu drive, nez se z nej stane zombie
void clean_up_child(int sig_num) {
  wait(NULL);
  printf("Odstraneni procesu.\n"); fflush(stdout);
}

// vytvori proces, presmeruje in na stdin a spusti prikaz
// vraci cislo procesu potomka a do out ulozi vstupni FD jako vystup dat potomka
int make_child(char **cmd_params, int in, int &out) {
  int fds[2];
  pid_t pid;
  
  pipe(fds);    // vytvoreni pipy
  pid = fork(); // vytvoreni potomka
  if (pid > 0) { // rodic
    close(fds[1]); // uzavreni vystupniho FD
    out = fds[0];  // vraceni vstupniho FD
    printf("Prikaz '%s', pid=%d, fds[0]=%d, fds[1]=%d, in=%d\n", cmd_params[0], pid, fds[0], fds[1], in); fflush(stdout);
    return pid;
  }
  else if (pid == 0) { // potomek
    close(fds[0]); // uzavreni vstupniho FD

    // presmerovani stdin na in
    close(STDIN_FILENO);
    dup2(in, STDIN_FILENO);
    close(in);

    // presmerovani stdout na FD
    close(STDOUT_FILENO);
    dup2(fds[1], STDOUT_FILENO);
    close(fds[1]);

    printf("Before Exec '%s'\n", cmd_params[0]); fflush(stdout);
    // spusteni prikazu    
    execvp(cmd_params[0], cmd_params);
    return -1; // exec se vratil - vznikla chyba
  }
  else { // chyba forku
    return -1;
  }

  return 0;
}

int main(void) {
  // zabraneni vzniku zombie procesu
/*  struct sigaction sigact;
  memset(&sigact, 0, sizeof(sigact));
  sigact.sa_handler = &clean_up_child;
  sigaction(SIGCHLD, &sigact, NULL);
*/
  int out, out1, out_end, r;
  int r1, r2, r3;
  char *cmd1[] = {"ls", "-laR", "/etc", 0};
  char *cmd2[] = {"sort", 0};
  char *cmd3[] = {"grep", "bin", 0};

  r1 = make_child(cmd1, STDIN_FILENO, out);
  r2 = make_child(cmd2, out, out1);
  r3 = make_child(cmd3, out1, out_end);
  char str_out[256];

  if (r1 == -1 || r2 == -1 || r3 == -1) {
    printf("Error while making child!\n"); fflush(stdout);
  }
  
  // vypsani vystupu posledniho prikazu
  while ((r = read(out_end, str_out, 255)) > 0)
    write(STDOUT_FILENO, str_out, r);
  printf("\n");

  close(out_end);
  return 0;
}

Odpovědi

[0]

Ja moc nechapu proc necekas na toho chidla v te vetvi

if (pid > 0) { // rodic

. Obycejne se tam i hlidaji vracene return kody. Rekl bych, ze mas problem s casovanim, ze se ti ty prikazy vykonavaji tak rychle jak to jen jde a tedy skoro paralelene a tedy si prikazy navzajem nepredavaji potrebne vstupy a vystupy. Necekaji na sebe.

[twofish]

WTF?

Ty prikazy _musi_ bezet paralelne, jinak se ls zablokuje ve write() a ty se zablokujes ve waitpid().

[0]

Aha.. uz to chapu.

Me tedy pomohlo nechat zapoznamkovanou tu &clean_up_child a dat tam wait za posledni prikaz cyklu:

...
  // vypsani vystupu posledniho prikazu
  while ((r = read(out_end, str_out, 255)) > 0)
    write(STDOUT_FILENO, str_out, r);
  printf("\n");
wait(NULL);
  close(out_end);
  return 0;
}

[Michal Marek (twofish)]

To waitne jednoho potomka, navíc až když se přečte všechen vstup.

[twofish]

1. chyba: co kdyz in == STDIN_FILENO?

2. chyba (podstatna): pokud read vrati -1 a errno == EINTR, tak se read() prerusil singalem a musi se pokracovat.

[twofish]

Krome toho viz man unlocked_stdio, volas prntf() jak v signal handleru, tak v make_child().

[lobodpav]

Já vím, že to není čistě napsáno, ale je to jen počátek práce. Musím simulovat XXX píp za sebou, takže jsem si udělal metodu, která vytvoří dítě a vrací výstup, kam to děcko cpe data a ten výstup dám na vstup dalšího. Jde o to, že takhle by to šlo zpracovat cyklem a spustit xx příkazů oddělených pípama. Dokud tam nedám ten handler na chytání zombies, tak to jde. Nejsem si právě jist, co způsobí, že to nešlape, když přidám ten handler... Jinak si myslím, že to je korektní. První ls naplní pípu a čeká, až ji další začne vybírat atd. Když třeba to ls skončí dříve, mělo by uzavřít file descriptor a sort za ním by měl ty data číst bez problémů?

[Michal Marek (twofish)]

Nerozlišovat, kdy read() vrátí 0, kdy vrátí -1 a jak nastaví errno rozhodně korektní není. Ten signál to prostě přeruší a díky testu r > 0 ten program skončí. Viz moje odpověď nahoře.

[lobodpav]

OK. Zkusím dopsat testy vracených hodnot a uvidím, kde to vázne :-/

[lobodpav]

Jak jsem psal kolegovi níže, read vrací přesně tu chybu co jsi psal. Mohl by jsi mi prosím napsat, co to znamená, že volání read bylo přerušeno dříve, než read načetl nějaká data? Tím se myslí, že jeho čtení přerušil handler, který ukončil potomka? Jak pak mám tedy zařídit, aby k tomu nedošlo?

[Michal Marek (twofish)]

Já to radši napíšu

#include <errno.h>
...
do {
        r = read(out_end, str_out, 255);
        if (r == -1) {
                if (errno == EINTR) {
                        continue;
                } else {
                        perror("chyba pri cteni");
                        exit(1);
                }
        }
        write(STDOUT_FILENO, str_out, r);
} while (r != 0);

[lobodpav]

Díky!! Jak tak koukám, tak bude třeba ošetřit všechny read, write... Předpokládám, že se tahle chyba musí testovat vždy, když se nějaký příkaz provádí déle, než jednu instrukci?

[Michal Marek (twofish)]

U blokujících syscallů (takže vlastně i u toho write), stdio to ošetřuje samo (AFAIK). Jiné řešení je ten signál dočasně zablokovat, viz man sigprocmask.

Pokud program běží v userspace, tak po vykonání signal handleru pokračuje kde skončil.

[lobodpav]

Díky moc za vyčerpávající odpověď!
Konečně už tomu rozumím.

[Michal Marek (twofish)]

No vida. Jinak v tomhle případě je možná nejjednodušší nenastavovat ten handler, ale volat jednou za čas waitpid(-1, ..., WNOHANG).

[lobodpav]

Aha. Taky dobrý tip Díky.

[Jozef Vondrák]

Nic se nevypíše? Dej ten výpis před wait. Tak alespoň poznáš, jestli se nespustí clean_up_child nebo jestli wait čeká. Jinak příkaz waipid na uklizení ukončeného procesu určitě funguje.

[lobodpav]

Ten wait tam přeci vůbec nemusí být, ne? Handler vypíše, že byl potomek ukončen a program skončí. Leč výstup žádný. Když to spustím bez handleru a trefím se 'ps x' do správné chvíle, vypíšem mi to ls a sort jako Zombie. Proto ten handler. On ukončí potomka, ale nechápu, co se stane. Nedojde k uzavření filedeskriptorů?? Rodič i potomek přece sdílejí soubory a prostředky...

[Jozef Vondrák]

Ten wait tam přeci vůbec nemusí být, ne? Handler vypíše, že byl potomek ukončen a program skončí.

Potomka - zombie odstraní pouze příkaz wait nebo jeho odvozenina. Handler bez funkčního volání příkazu wait si může vypisovat co chce, ale potomka - zombie určite neodstraní.

[lobodpav]

Špatně jsme si rozumněli Teď jsem dal ten výpis před wait a vypsalo ho to jen jednou. Přitom by mělo 3x?

[Jozef Vondrák]

Hm, a kolik programů bylo spuštěno a opravdu se ukončilo? Opravdu tři?

[lobodpav]

To je ten problém. Nevím, jak to zjistit. Každopádně teď jsem zjistil, že read někdy vrací -1. Přeněji tehdy, když to nevypíše nic...

[Michal Marek (twofish)]

Tak se ještě podívej, co je v errno a přečti se man 2 read...