Portál AbcLinuxu, 10. května 2025 13:22

Dotaz: Cteni dat z mapovaneho souboru v C

tomes.io avatar 26.11.2012 13:39 tomes.io | skóre: 12 | blog: tomesh
Cteni dat z mapovaneho souboru v C
Přečteno: 568×
Odpovědět | Admin
Ahoj,

potreboval bych pomoc s nasledujicim zadanim:
Program uloží do mapované paměti řetězec (parametr programu),
který následně v cyklu vypisuje.

Při spuštění další instance programu, začnou všechny
předchozí instance vypisovat nový řetězec
Dostal jsem se k tomu, ze jsem schopen precit a do konzole vypsat retezec z mapovane pameti (souboru) jednorazove, ale uz se mi nedari to cist v cyklu. Muj dosavadni kod (includy jsou schvalne bez tagovacich sipek, aby se mi to zde na foru zobrazilo):
#include stdio.h
#include stdlib.h
#include sys/mman.h
#include unistd.h
#include sys/stat.h
#include fcntl.h

#define LENGTH 0x100

int main(int argc, char** argv) {

        int fd;
        void *file_memory;
        char string[255];
           
        if ((fd = open("./mapped_file", O_CREAT | O_RDWR,
                S_IRUSR | S_IWUSR)) == -1) {
                perror("open failed");
        }
        
        /*getting space in the file*/
        
        lseek(fd, LENGTH+1, SEEK_SET);
        write(fd, "", 1);
        lseek(fd, 0, SEEK_SET);

        file_memory = (char *)mmap(NULL, LENGTH, PROT_WRITE, MAP_SHARED, fd, 0);
        
        if (file_memory == MAP_FAILED) {
            
                perror("mmap failed");
        }
        
        sprintf((char *) file_memory, "%s", argv[1]);

        sscanf((char *) file_memory, "%s", string);
        
        while(1){
                   
                printf("%s", string);
                
                sleep(2);
        
        }
        
        /*Release the memory*/
        
        munmap(file_memory,LENGTH);

        return (EXIT_SUCCESS);
}
Ocenim jakoukoliv pomoc ci radu, diky.

Řešení dotazu:


Nástroje: Začni sledovat (0) ?Zašle upozornění na váš email při vložení nového komentáře.

Odpovědi

Řešení 1× (Michy)
26.11.2012 13:59 l4m4
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Odpovědět | | Sbalit | Link | Blokovat | Admin
V čem je přesně problém kromě toho, že řádek
sscanf((char *) file_memory, "%s", string);
má být uvnitř cyklu a že příliš důvěřuješ obsahu souboru? (A že to segfaultne, když se nezadá žádný argument.)
26.11.2012 19:30 johniez | skóre: 17 | blog: xyz | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Stare instance mu nebudou vypisovat argument zadany nejnovejsi instanci..
26.11.2012 19:31 l4m4
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Ale jistěže budou. Od toho je mapping SHARED. Zkoušel jsi to?
26.11.2012 19:37 johniez | skóre: 17 | blog: xyz | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Jde o to, ze v tom cyklu tu pamet necte, tak jak by mohlo ;) Jen se tam vypisuje string..
26.11.2012 20:00 l4m4
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
A čteš, na co odpovídáš, nebo vedeš monolog? ;)
26.11.2012 20:29 johniez | skóre: 17 | blog: xyz | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Jiste, ze ctu. Ale prestava me bavit odpovidat. Ty si proste myslis, ze char string[255]; while(1){ printf("%s", string); sleep(2); } vypise novou hodnotu?

Jinak ano, znam MAP_SHARED. Nezpochybnoval jsem, ze s tim mmapem neni mozne tu hodnotu nacist, jen se to musi udelat i po te, co tam jiny proces zapise novou hodnotu. Coz se v tom cyklu nedeje..
26.11.2012 22:44 l4m4
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Ne, nečteš. Kdybys četl, mohl tento thread být mnohem kratší -- resp. vůbec nezačít.

Co je napsáno hned v mé první reakci o řádku, který má být uvnitř cyklu?
27.11.2012 17:46 johniez | skóre: 17 | blog: xyz | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Ok, nepochopili jsme se.. Moje zminka o nevypisovani byla k zadani, ze jsi to tam o tom cyklu napsal jsem si uz pak nevsiml. Tak sorry, moje chyba..
tomes.io avatar 29.11.2012 11:47 tomes.io | skóre: 12 | blog: tomesh
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Problem je v tom, ze ani pote, co
sscanf((char *) file_memory, "%s", string);
pridam do cyklu, tak to nic nevypisuje.
Michy avatar 29.11.2012 13:33 Michy | skóre: 11 | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C

Chyba bude patrně v tom printf("%s", string);

Změň na printf("%s\n", string);

Znak '\n' reprezentuje konec řádku a teprve po něm pošle funkce printf obsah bufferu na standardní výstup.

26.11.2012 19:27 Jardík
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Odpovědět | | Sbalit | Link | Blokovat | Admin
1. máš fixně veliký buffer a použiješ sprintf? Opravdu? Ode mě za 5 :D

Teď opravdu. Jestli to zadání chápu správně, máš napsat program. Když ho spustíš jako ./bagr hrabe, tak bude vypisovat
hrabe
hrabe
hrabe
hrabe
Necháš ho běžet, spustíš novou instanci jako ./bagr dohrabal a ten bude vypisovat dohrabal a stará instance taky.

Asi je oprávněné si dát požadavek, že stará instance nevypíše 'dohrabal', dokud to alespoň jednou nevypíše instance nová.

Bude asi nutné použít nějaký mutex, bude ho potřeba zamknout před zapsání do sdílené paměti (protože zapsání libovolně dlouhého řetězce asi nebude atomická operace) a odemknout po dokončení. Další problém bude v realokaci. Zadání neříká nic o tom, že řetězec bude mít nějakou maximální velikost, tudíž bys neměl předpokládat nějakou velikost 0x100.

Toť k řešení. Ke kódu, co jsi napsal ještě dodám, že bych byl spíše pro použití nějakého ftruncate() místo seeku na konec a zapsání nějakého bytu.
26.11.2012 19:40 johniez | skóre: 17 | blog: xyz | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Mutex by musel byt ve sdilene pameti. Jednodussi by melo byt pouzit flock() ne?
26.11.2012 20:37 Jardík
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
No oni fce k zamykání souborů někdy fungují, jako když nefungují. Tady něco, co mám zahrabáno v záložkách.

Ostatně by stálo za to vyhodit i celý ten soubor, představuje akorát další race-condition, kterou je třeba řešit (je to ten samý soubor, nebo ho někdo smazal a vytvořil nový se stejným názvem? Nebo tam někdo připojil nový filesystém?). Mutex ve sdílené paměti by asi být musel.
26.11.2012 22:55 l4m4
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Zařídit, aby několik programů synchronně vypisovalo týž string, není, pokud sis ve svém spravedlivém rozhořčení všiml, celé zadání. To by šlo udělat jinými IPC mechanismy, a snáz. Má se to udělat pomocí mapované paměti.

Anonymní mapovaná pamět není POSIX, takže bez souboru jsi utřel. Sdílená anonymní mapovaná paměť je teprv Linux 2.4+-only. A vysdílení anonymní mapované paměti mezi procesy je přesně to, co teď tazatel potřebuje řešit...
26.11.2012 23:52 Jardík
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Jestli máš opravdu potřebu se hádat kvůli každý volovině, tak mi ukaž místo v zadání, kde se mluví o POSIXU. Teď samozřejmě můžeš hrotit, že je dotaz na linuxovém serveru, tak je to předpokládatelné, ale no a? Já jen upozornil, že dané řešení obsahuje race condition a doporučil nepoužít soubor. Pokud soubor tazatel použije i přes tuto informaci, je to jeho věc a je mi to jedno, co bys použil ty, je mi putna.
28.11.2012 18:34 l4m4
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Dotaz je v programovací poradně.

Na tvoje řešení pomocí sdílené anonymní mapované paměti se ale samozřejmě těším.
26.11.2012 20:04 l4m4
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Někdo asi nechápe rozdíl mezi proof-of-concept programem, u kterého je zapotřebí vyřešit, proč nefunguje vůbec, a finálním programem, u kterého je zapotřebí vyřešit, aby fungoval příčetně.
26.11.2012 20:41 Jardík
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Někdo nechápe, že se tady snažím pomoci a dávám rady, jak problém řešit a čeho se vyvarovat (např. že použití sprintf je u fixně velkého bufferu mimo, nebo že bude potřeba jakýsi mutex (ať už sdílený mutex či formou nějakého zamykání souboru, protože zapisování do paměti nebude atomické)).
26.11.2012 21:47 luky
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Mutex potrebovat nemusi, pokud tu pamet bude menit chytre. Napriklad zapsanim dat do pameti a pote zapsanim pointeru na ne.
Michy avatar 27.11.2012 15:54 Michy | skóre: 11 | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Tady pozor, pointery ve sdílené paměti rozhodně nepoužívat! Každý proces bude zpravidla mít ten stejný (fyzický) úsek sdílené paměti namapovaný od úplně jiné (virtuální) adresy. Místo pointerů se dá použít index, ve smyslu offsetu od počátku namapované paměti. I tak ale považuji řešení s využitím mutexu za robustnější a čitelnější.
28.11.2012 15:01 luky
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Tady pozor, pointery ve sdílené paměti rozhodně nepoužívat! Každý proces bude zpravidla mít ten stejný (fyzický) úsek sdílené paměti namapovaný od úplně jiné (virtuální) adresy.
Tak todle zalezi na tom, jak si pamet namapujete. Pokud to udelate pred forkem potomku, pak naopak je to namapovane vzdy na stejnem miste. Navic muzete mapovat na konkretni adresu.
I tak ale považuji řešení s využitím mutexu za robustnější a čitelnější.
A pomalejsi, proto se taky v kritickych castech kodu nepouziva.
Michy avatar 29.11.2012 10:13 Michy | skóre: 11 | Praha
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Tak todle zalezi na tom, jak si pamet namapujete. Pokud to udelate pred forkem potomku, pak naopak je to namapovane vzdy na stejnem miste. Navic muzete mapovat na konkretni adresu.
To co uvádíte, je zcela speciální případ, obecně ale rozhodně neplatí. Pokud jsem to správně pochopil, tak v téhle diskuzi se řeší případ, kdy jedna binárka se spouští vícekrát, pokaždé s jinými parametry a nejde tedy o fork jednoho procesu. A snažit se namapovat sdílenou paměť na konkrétní adresu je naprosto zcestná idea, to opět bude spolehlivě fungovat jen v nějakých speciálních případech a po pravdě řečeno mě ani žádný takový nenapadá.
A pomalejsi, proto se taky v kritickych castech kodu nepouziva.
S tím nelze než souhlasit. Pokud se nejedná o naprosto časově kritickou záležitost, je lépe se podobným nápadům vyhnout velkým obloukem a použít jednoduché, robustní a spolehlivé řešení. Ladit program, který má problémy se synchronizací přístupu ke sdíleným prostředkům, je noční můrou všech programátorů.
tomes.io avatar 29.11.2012 11:56 tomes.io | skóre: 12 | blog: tomesh
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Zadani jsi pochopil spravne. K tvym pripominkam:

1) a co pouzit misto sprintf? Ani kdyz pouziji bezpecnejsi variantu snprintf(), tak to problem neresi.

2) O mutexu vyucujici nic nerikal a podle me tady byt pouzity byt nema.

3) Maximalni velikost vskutku v zadani neni. To nechal vyucijici na nas... no, bohuzel tva poznamka, ze bych nemel predpokladat nejakou velikost me nikam moc nenasmerovala... myslis tim, ze to mam hnat pres dynamicky alokovanou pamet? Fakt nevim, co konkretne teda navrhujes.

P.S.: jedna se o kurs programovani na UNIX systemech, cili se predpoklada pouziti a vyuziti POSIXovych knihoven.
tomes.io avatar 29.11.2012 12:06 tomes.io | skóre: 12 | blog: tomesh
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
nicmene pokud to nepujde jinak nez bez mutexu, tak ho tam dam no. Me zajima hlavni pricina toho, proc mi to nejede. POkud je to tento problem, tak tam dam mutex...
27.11.2012 11:07 mike
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Odpovědět | | Sbalit | Link | Blokovat | Admin
misto string vypisuj v cyklu file_memory.
...
while(1){
    printf("%s", (char *)file_memory);
    sleep(2);
}
...
dle manpage:
MAP_SHARED Share this mapping.  Updates to the mapping are visible to other processes
                  that map this file, and are carried through to the underlying  file.   The
                  file may not actually be updated until msync(2) or munmap() is called.
takze po write/sprintf do pameti by mel nasledovat msync/munmap, jinak neni zarucene, ze se to projevi u ostatnich
29.11.2012 13:23 jas | skóre: 13 | blog: blag
Rozbalit Rozbalit vše Re: Cteni dat z mapovaneho souboru v C
Odpovědět | | Sbalit | Link | Blokovat | Admin

Chyb je tam hned niekolko:

Vysledok? Nieco taketo:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/file.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <fcntl.h>

#define LENGTH 0x100

int main(int argc, char** argv) {

        int fd;
        char *file_memory;
        
        if(argc != 2 || strlen(argv[1]) > LENGTH) {
        	printf("Usage: ...\n");
        	return 1;
        }
        if ((fd = open("./mapped_file", O_CREAT | O_RDWR,
                S_IRUSR | S_IWUSR)) == -1) {
                perror("open failed");
                return 1;
        }
        if(ftruncate(fd, LENGTH + 1) < 0) {
        	perror("ftruncate:");
        	return 1;
        }

        file_memory = (char *)mmap(NULL, LENGTH, PROT_WRITE, MAP_SHARED, fd, 0);
        
        if (file_memory == MAP_FAILED) {
            
                perror("mmap failed");
                return 1;
        }
        if(flock(fd, LOCK_EX) < 0) {
        	perror("flock lock");
        	return 1;
        }
        sprintf(file_memory, "%s", argv[1]);
        if(flock(fd, LOCK_UN) < 0) {
        	perror("flock unlock");
        	return 1;
        }
        while(1){
                printf("%s\n", file_memory);
                sleep(2);
        }
        munmap(file_memory, LENGTH);
        return (EXIT_SUCCESS);
}

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.