Dotaz: Cteni dat z mapovaneho souboru v C

[tomes.io]

Ahoj,

potreboval bych pomoc s nasledujicim zadanim:

Program uloží do mapované paměti řetězec (parametr programu),
který následně v cyklu vypisuje.

Při spuštění další instance programu, začnou všechny
předchozí instance vypisovat nový řetězec

Dostal jsem se k tomu, ze jsem schopen precit a do konzole vypsat retezec z mapovane pameti (souboru) jednorazove, ale uz se mi nedari to cist v cyklu. Muj dosavadni kod (includy jsou schvalne bez tagovacich sipek, aby se mi to zde na foru zobrazilo):

#include stdio.h
#include stdlib.h
#include sys/mman.h
#include unistd.h
#include sys/stat.h
#include fcntl.h

#define LENGTH 0x100

int main(int argc, char** argv) {

        int fd;
        void *file_memory;
        char string[255];
           
        if ((fd = open("./mapped_file", O_CREAT | O_RDWR,
                S_IRUSR | S_IWUSR)) == -1) {
                perror("open failed");
        }
        
        /*getting space in the file*/
        
        lseek(fd, LENGTH+1, SEEK_SET);
        write(fd, "", 1);
        lseek(fd, 0, SEEK_SET);

        file_memory = (char *)mmap(NULL, LENGTH, PROT_WRITE, MAP_SHARED, fd, 0);
        
        if (file_memory == MAP_FAILED) {
            
                perror("mmap failed");
        }
        
        sprintf((char *) file_memory, "%s", argv[1]);

        sscanf((char *) file_memory, "%s", string);
        
        while(1){
                   
                printf("%s", string);
                
                sleep(2);
        
        }
        
        /*Release the memory*/
        
        munmap(file_memory,LENGTH);

        return (EXIT_SUCCESS);
}

Ocenim jakoukoliv pomoc ci radu, diky.

---

---

Odpovědi

[Michy]

V čem je přesně problém kromě toho, že řádek

sscanf((char *) file_memory, "%s", string);

má být uvnitř cyklu a že příliš důvěřuješ obsahu souboru? (A že to segfaultne, když se nezadá žádný argument.)

[johniez]

Stare instance mu nebudou vypisovat argument zadany nejnovejsi instanci..

[l4m4]

Ale jistěže budou. Od toho je mapping SHARED. Zkoušel jsi to?

[johniez]

Jde o to, ze v tom cyklu tu pamet necte, tak jak by mohlo ;) Jen se tam vypisuje string..

[l4m4]

A čteš, na co odpovídáš, nebo vedeš monolog? ;)

[johniez]

Jiste, ze ctu. Ale prestava me bavit odpovidat. Ty si proste myslis, ze char string[255]; while(1){ printf("%s", string); sleep(2); } vypise novou hodnotu?

Jinak ano, znam MAP_SHARED. Nezpochybnoval jsem, ze s tim mmapem neni mozne tu hodnotu nacist, jen se to musi udelat i po te, co tam jiny proces zapise novou hodnotu. Coz se v tom cyklu nedeje..

[l4m4]

Ne, nečteš. Kdybys četl, mohl tento thread být mnohem kratší -- resp. vůbec nezačít.

Co je napsáno hned v mé první reakci o řádku, který má být uvnitř cyklu?

[johniez]

Ok, nepochopili jsme se.. Moje zminka o nevypisovani byla k zadani, ze jsi to tam o tom cyklu napsal jsem si uz pak nevsiml. Tak sorry, moje chyba..

[tomes.io]

Problem je v tom, ze ani pote, co

sscanf((char *) file_memory, "%s", string);

pridam do cyklu, tak to nic nevypisuje.

[Michy]

Chyba bude patrně v tom printf("%s", string);

Změň na printf("%s\n", string);

Znak '\n' reprezentuje konec řádku a teprve po něm pošle funkce printf obsah bufferu na standardní výstup.

[Jardík]

1. máš fixně veliký buffer a použiješ sprintf? Opravdu? Ode mě za 5 :D

Teď opravdu. Jestli to zadání chápu správně, máš napsat program. Když ho spustíš jako ./bagr hrabe, tak bude vypisovat

hrabe
hrabe
hrabe
hrabe

Necháš ho běžet, spustíš novou instanci jako ./bagr dohrabal a ten bude vypisovat dohrabal a stará instance taky.

Asi je oprávněné si dát požadavek, že stará instance nevypíše 'dohrabal', dokud to alespoň jednou nevypíše instance nová.

Bude asi nutné použít nějaký mutex, bude ho potřeba zamknout před zapsání do sdílené paměti (protože zapsání libovolně dlouhého řetězce asi nebude atomická operace) a odemknout po dokončení. Další problém bude v realokaci. Zadání neříká nic o tom, že řetězec bude mít nějakou maximální velikost, tudíž bys neměl předpokládat nějakou velikost 0x100.

Toť k řešení. Ke kódu, co jsi napsal ještě dodám, že bych byl spíše pro použití nějakého ftruncate() místo seeku na konec a zapsání nějakého bytu.

[johniez]

Mutex by musel byt ve sdilene pameti. Jednodussi by melo byt pouzit flock() ne?

[Jardík]

No oni fce k zamykání souborů někdy fungují, jako když nefungují. Tady něco, co mám zahrabáno v záložkách.

Ostatně by stálo za to vyhodit i celý ten soubor, představuje akorát další race-condition, kterou je třeba řešit (je to ten samý soubor, nebo ho někdo smazal a vytvořil nový se stejným názvem? Nebo tam někdo připojil nový filesystém?). Mutex ve sdílené paměti by asi být musel.

[l4m4]

Zařídit, aby několik programů synchronně vypisovalo týž string, není, pokud sis ve svém spravedlivém rozhořčení všiml, celé zadání. To by šlo udělat jinými IPC mechanismy, a snáz. Má se to udělat pomocí mapované paměti.

Anonymní mapovaná pamět není POSIX, takže bez souboru jsi utřel. Sdílená anonymní mapovaná paměť je teprv Linux 2.4+-only. A vysdílení anonymní mapované paměti mezi procesy je přesně to, co teď tazatel potřebuje řešit...

[Jardík]

Jestli máš opravdu potřebu se hádat kvůli každý volovině, tak mi ukaž místo v zadání, kde se mluví o POSIXU. Teď samozřejmě můžeš hrotit, že je dotaz na linuxovém serveru, tak je to předpokládatelné, ale no a? Já jen upozornil, že dané řešení obsahuje race condition a doporučil nepoužít soubor. Pokud soubor tazatel použije i přes tuto informaci, je to jeho věc a je mi to jedno, co bys použil ty, je mi putna.

[l4m4]

Dotaz je v programovací poradně.

Na tvoje řešení pomocí sdílené anonymní mapované paměti se ale samozřejmě těším.

[l4m4]

Někdo asi nechápe rozdíl mezi proof-of-concept programem, u kterého je zapotřebí vyřešit, proč nefunguje vůbec, a finálním programem, u kterého je zapotřebí vyřešit, aby fungoval příčetně.

[Jardík]

Někdo nechápe, že se tady snažím pomoci a dávám rady, jak problém řešit a čeho se vyvarovat (např. že použití sprintf je u fixně velkého bufferu mimo, nebo že bude potřeba jakýsi mutex (ať už sdílený mutex či formou nějakého zamykání souboru, protože zapisování do paměti nebude atomické)).

[luky]

Mutex potrebovat nemusi, pokud tu pamet bude menit chytre. Napriklad zapsanim dat do pameti a pote zapsanim pointeru na ne.

[Michy]

Tady pozor, pointery ve sdílené paměti rozhodně nepoužívat! Každý proces bude zpravidla mít ten stejný (fyzický) úsek sdílené paměti namapovaný od úplně jiné (virtuální) adresy. Místo pointerů se dá použít index, ve smyslu offsetu od počátku namapované paměti. I tak ale považuji řešení s využitím mutexu za robustnější a čitelnější.

[luky]

Tady pozor, pointery ve sdílené paměti rozhodně nepoužívat! Každý proces bude zpravidla mít ten stejný (fyzický) úsek sdílené paměti namapovaný od úplně jiné (virtuální) adresy.

Tak todle zalezi na tom, jak si pamet namapujete. Pokud to udelate pred forkem potomku, pak naopak je to namapovane vzdy na stejnem miste. Navic muzete mapovat na konkretni adresu.

I tak ale považuji řešení s využitím mutexu za robustnější a čitelnější.

A pomalejsi, proto se taky v kritickych castech kodu nepouziva.

[Michy]

Tak todle zalezi na tom, jak si pamet namapujete. Pokud to udelate pred forkem potomku, pak naopak je to namapovane vzdy na stejnem miste. Navic muzete mapovat na konkretni adresu.

To co uvádíte, je zcela speciální případ, obecně ale rozhodně neplatí. Pokud jsem to správně pochopil, tak v téhle diskuzi se řeší případ, kdy jedna binárka se spouští vícekrát, pokaždé s jinými parametry a nejde tedy o fork jednoho procesu. A snažit se namapovat sdílenou paměť na konkrétní adresu je naprosto zcestná idea, to opět bude spolehlivě fungovat jen v nějakých speciálních případech a po pravdě řečeno mě ani žádný takový nenapadá.

A pomalejsi, proto se taky v kritickych castech kodu nepouziva.

S tím nelze než souhlasit. Pokud se nejedná o naprosto časově kritickou záležitost, je lépe se podobným nápadům vyhnout velkým obloukem a použít jednoduché, robustní a spolehlivé řešení. Ladit program, který má problémy se synchronizací přístupu ke sdíleným prostředkům, je noční můrou všech programátorů.

[tomes.io]

Zadani jsi pochopil spravne. K tvym pripominkam:

1) a co pouzit misto sprintf? Ani kdyz pouziji bezpecnejsi variantu snprintf(), tak to problem neresi.

2) O mutexu vyucujici nic nerikal a podle me tady byt pouzity byt nema.

3) Maximalni velikost vskutku v zadani neni. To nechal vyucijici na nas... no, bohuzel tva poznamka, ze bych nemel predpokladat nejakou velikost me nikam moc nenasmerovala... myslis tim, ze to mam hnat pres dynamicky alokovanou pamet? Fakt nevim, co konkretne teda navrhujes.

P.S.: jedna se o kurs programovani na UNIX systemech, cili se predpoklada pouziti a vyuziti POSIXovych knihoven.

[tomes.io]

nicmene pokud to nepujde jinak nez bez mutexu, tak ho tam dam no. Me zajima hlavni pricina toho, proc mi to nejede. POkud je to tento problem, tak tam dam mutex...

[mike]

misto string vypisuj v cyklu file_memory.

...
while(1){
    printf("%s", (char *)file_memory);
    sleep(2);
}
...

dle manpage:

MAP_SHARED Share this mapping.  Updates to the mapping are visible to other processes
                  that map this file, and are carried through to the underlying  file.   The
                  file may not actually be updated until msync(2) or munmap() is called.

takze po write/sprintf do pameti by mel nasledovat msync/munmap, jinak neni zarucene, ze se to projevi u ostatnich

[jas]

Chyb je tam hned niekolko:

• nekontrolujes argc
• netestujes argv[1] na prekrocenie LENGTH
• pri detekcii chyby program neskonci, ale pokracuje dalej
• premenna string je uplne zbytocna - zrusit (nahradit vsade za file_memory)
• vo while neflushujes stdout buffer (robi to napr. \n)
• je tam este potencial na race condition, o ktorej su to skoro vsetky ostatne komentare, takze by nemuselo byt od veci pred zapisom ziskat file lock a po zapise ho uvolnit
• file_memory je zbytocne void *, ked mmap explicitne pretypovavas na char *

Vysledok? Nieco taketo:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/file.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <fcntl.h>

#define LENGTH 0x100

int main(int argc, char** argv) {

        int fd;
        char *file_memory;
        
        if(argc != 2 || strlen(argv[1]) > LENGTH) {
        	printf("Usage: ...\n");
        	return 1;
        }
        if ((fd = open("./mapped_file", O_CREAT | O_RDWR,
                S_IRUSR | S_IWUSR)) == -1) {
                perror("open failed");
                return 1;
        }
        if(ftruncate(fd, LENGTH + 1) < 0) {
        	perror("ftruncate:");
        	return 1;
        }

        file_memory = (char *)mmap(NULL, LENGTH, PROT_WRITE, MAP_SHARED, fd, 0);
        
        if (file_memory == MAP_FAILED) {
            
                perror("mmap failed");
                return 1;
        }
        if(flock(fd, LOCK_EX) < 0) {
        	perror("flock lock");
        	return 1;
        }
        sprintf(file_memory, "%s", argv[1]);
        if(flock(fd, LOCK_UN) < 0) {
        	perror("flock unlock");
        	return 1;
        }
        while(1){
                printf("%s\n", file_memory);
                sleep(2);
        }
        munmap(file_memory, LENGTH);
        return (EXIT_SUCCESS);
}