Dotaz: Zjisteni velikosti souboru v C

[tomes.io]

Ahoj,

potykam se s nasledujicim problemem. V rozsahlejsim programu mam fci, ktera ma vypsat velikost souboru. Dostane na vstup cestu (path) zjisti velikost a vypise, a to dvema zpusoby. Jednak pomoci fseek a ftell a jednak pomoci stat :

void find_size(char *path)
{
	long data_size;
	FILE *fr;

	printf("path is:%s\n", path);

	fr = fopen(path, "rb");
        if(fr == NULL) {
            printf("File can not be opened\n");
            exit(1);
	}
    
	//obtain a size of a file	
        fseek(fr,0,SEEK_END);
        data_size = ftell(fr);
        rewind(fr);

	printf("File size: %ld bytes\n", data_size);

	struct stat st;
	
	if (stat(path, &st) == -1) {
            perror("stat");
            exit(EXIT_FAILURE);
        }
	
	printf("File size(stat):%d bytes\n", (int)st.st_size);

        fclose(fr);
	free(path);
}

Problem je v tom, ze v mem programu nefunguje (rozumej vzdy je velikost nulova), ackoliv kdyz k ni vymyslim pokusny program, ktery simuluje pruchod path od jejiho vzniku pomoci asprinf, skrze jeste jednu fci handle (ktera je v mem programu) tak to funguje bez problemu (vypise se spravna velikost):

void find_size(char *path)
{
	long data_size;
	FILE *fr;

	printf("path is: %s\n", path);

	fr = fopen(path, "rb");
        if(fr == NULL) {
            printf("File can not be opened\n");
            exit(1);
	}
    
	//obtain a size of a file	
        fseek(fr,0,SEEK_END);
        data_size = ftell(fr);
        rewind(fr);

	printf("File size: %ld bytes\n", data_size);

	struct stat st;
	
	if (stat(path, &st) == -1) {
            perror("stat");
            exit(EXIT_FAILURE);
        }
	
	
	printf("File size(stat):%d bytes\n", (int)st.st_size);

        fclose(fr);
	free(path);
}

void handle(char *path)
{
	find_size(path);
}

int main(int argc, char **argv)
{	
	char *path;
	asprintf(&path, "%s/%s","./cli", "data");
	handle(path);

	return 0;
}

Nechapu, jak stejny kus kodu muze jednou fungovat a v jinem programu nefungovat. Pokazde vypisuje promennou path korektne, takze path cestu k souboru obsahuje. fopen mi chybu nehazi, jen zjisteni velikosti (neprazdneho) souboru je v pripade pokusne simulace korektni, v pripade stejne fce v jinem programu vzdy nula. Opravdy nevim, proc se to takto chova, na vstup dostane vzdy to stejne. Kdyby me nekdo nasmeroval, budu rad.

Odpovědi

[Sten]

fseek může skončit chybou, bylo by vhodné to testovat. Jinak žádnou chybu tam nevidím, takže bych to tipoval na chybu někde jinde v programu. Nebo to zkoušíte na něčem, co není blokový soubor.

Mimochodem která velikost je nulová? Ta vrácená ftell, ta vrácená stat nebo obě?

[jekub]

Podle příkladu č. 2 je cesta k souboru "./cli/data". Pokud v obou případech vypíše stejnou cestu a různé výsledky... je v obou případech stejný adresář "."?

[tomes.io]

ano, adresar je stejny. jak pokusnou simulaci tak i ostry program spoustim ve stejnem adreasi, obsahujici podadresar cli. fce pokazde vypisuje promennou path pred volanim fopen a pokazde se vypise stejne. jen vysledky jsou jine.

[Jardík]

Zdravím. Velikost souboru nelze jednoduše spolehlivě zjistit použitím standardních funkcích C či C++, dokonce ani přímých systémových volání. Problémem jsou race-conditions, velikost souboru se může změnit mezi voláními fseek a ftell. V některých typech souborů zase nelze vůbec seekovat a fseek nefunguje, natož pak ftell. Taky pamatuj na to, že ftell vrací long (s tím počítáš), ale ze statu dostaneš velikost jako off_t. Když už používáš ftell, který vrací long, tak by bylo lepší ten off_t přetypovat spíš na long než na int, ale samozřejmě by bylo lepší použít třeba intmax_t, nebo zkontrolovat před přetypováním hodnotu, nebo úplně nejlépe nepřetypovávat vůbec. A protože nevím o žádném modifieru pro printf, který je použitelný pro off_t, tak třeba použít _Generic z C11 a hezky ten kód zaprasit

V tvém kódu je navíc i bezpečnostní díra, kdy můžeš provádět stat() nad jiným souborem, než který si otevřel. Měl bys použít fstat(), deskriptor zjistíš z fileno() (není standardní fce C, je to POSIX-2001).

[asdasdfasdf]

Problémem jsou race-conditions, velikost souboru se může změnit mezi voláními fseek a ftell

Je to problem? Ked sa velkost suboru meni, tak tazko urcit, ktory moment na zistenie velkosti je ten spravny. Z principu tam musi byt "race-condition" - scheduler mohol naplanovat zistovanie velkosti lubovolne. Alebo sa mylim?

V některých typech souborů zase nelze vůbec seekovat a fseek nefunguje, natož pak ftell.

Presne preto by som tiez doporucil fstat a zistit si aj typ suboru. Ked tam nie je splnene S_ISREG, tak by som vypisal, ze to nema zmysel. Akurat by som sa mozno este zamyslel nad tym, ci nejak nepodporovat aj symlinky.

[Jardík]

Je to problem? Ked sa velkost suboru meni, tak tazko urcit, ktory moment na zistenie velkosti je ten spravny. Z principu tam musi byt "race-condition" - scheduler mohol naplanovat zistovanie velkosti lubovolne. Alebo sa mylim?

Vždyť to píšu. A ano, problém to je, když je tvým úkolem zjistit velikost souboru v daném okamžiku. fseek+ftell je špatné řešení, protože máž jakési 2 okamžiky a mezi tím race condition. fstat je ale pouze jedno volání a tedy víš, že v okamžiku volání fce fstat je velikost taková a maková. To nemůžeš říc o ftell, protože nejdřív musíš seekovat. Ale samozřejmě u obou případů je další race condition mezi voláním a použitím té hodnoty (třeba i vypsání). Ale s fstatem máš o jednu méně a to se počítá

Presne preto by som tiez doporucil fstat a zistit si aj typ suboru. Ked tam nie je splnene S_ISREG, tak by som vypisal, ze to nema zmysel ...

Jó, souhlas.

[R]

Race condition medzi zistenim hodnoty a vypisanim? WTF?

To uz je potom race condition aj medzi vypisanim hodnoty na obrazovku a momentom, ked si ju clovek vsimne...

[Jardík]

To je!

[asdfasdf]

 

když je tvým úkolem zjistit velikost souboru v daném okamžiku ... fstat je ale pouze jedno volání a tedy víš, že v okamžiku volání fce fstat je velikost taková a maková.

 

Co je okamzik volania funkcie?

Ocislujme si potrebne vykonavane kroky:

1. v programe uzivatela sa vykonaju nejake instrukcie pred zistovanim velkosti
2. zavola sa funkcia na zistenie velkosti
3. CPU vykonava user-space kod funkcie zistujucej velkost
4. syscall - zacne sa vykonavat kernelovy kod funkcie zistujucej velkost
5. cez VFS bubleme k NFS
6. NFS zisti, kam po sieti treba nieco poslat a posle poziadavku
7. druhy PC nieco robi
8. NFS prijme odpoved
9. bubleme naspat cez VFS
10. dokoncujeme syscall
11. dokoncujeme userspace funkciu typicky v libc, ktora mala zistit velkost suboru
12. velkost sa vrati z uzivatelskeho volania
13. vykonavaju sa instrukcie za zistenim velkosti

A teraz - zistit a pripadne poznamenat si "aktualny moment volania funkcie" mas moznost iba v 1. a v 13. Za 1 alebo pred 13 moze kludne prist interrupt a moze sa pomerne dlho vykonavat iny program.

Naco nam je teda nejaky "okamzik volania funkcie fstat", ked si realne mozeme zapisat 1 (alebo 13), co moze byt pri dost rychlej zmene velkosti dost daleko od reality?

[Jardík]

Jsem to myslel tak, že když prostě zavoláte fstat, máte jakýsi správný výsledek z té doby volání fstatu (nebo tedy i jeho průběhu apod). Když ale seekujete na konec a pak uděláte ftell, nemůžete se spolehnout, že jste na konci. No ale to je jedno, důležité je, že to pořádně udělat nejde, vždycky z toho vyleze nedokonalý bastl, pokud třeba na linuxu nezamknete jako root filesystém a pak neodemknete, tůším na to je nějaké ioctl.

[tomes.io]

Sem to predelal na snad korektnejsi:

void file_size(char *path)
{
	off_t file_size;
	struct stat stbuf;
	int fd;

	printf("path is:%s\n", path);
  
	fd = open(path, O_RDONLY);
	if (fd == -1) {
		printf("File can not be opened\n");
        exit(1);
	}
  
	if ((fstat(fd, &stbuf) != 0) || (!S_ISREG(stbuf.st_mode))) {
		printf("File can not be checked by stat\n");
        exit(1);
	}
  
	file_size = stbuf.st_size;
  		
	printf("File size(stat):%jd bytes\n", (intmax_t)file_size);

	free(path);
}

[Michal Kubeček]

Pár (ne)praktických poznámek:

1. Od funkce file_size() bych čekal spíš to, že velikost souboru vrátí, než te ji vypíše na standardní výstup.

2. A už vůbec bych nečekal, že v případě úspěchu na argument zavolá free() (takže nejde přímo zavolat na literál nebo jakýkoli string, který nebyl přímo alokován pomocí malloc()), natož že při chybě pro jistotu ukončí celý program.

3. Chybové hlášky patří na stderr, ne na stdout.

4. Místo "File can not be opened" by bylo vhodnější použít perror() nebo strerror(), abyste dal uživateli nějakou nápovědu, co je vlastně špatně.

5. Chcete-li se ve zdrojáku vyznat, je vhodné udržovat ho konzistentní. Budete-li podle momentální nálady jednou testovat návratovou hodnotu pomocí "== -1", podruhé "!= 0" a potřetí třeba "< 0", dříve či později se vám to vymstí. Doporučuji zvolit si jeden způsob a toho se (přinejmenším v rámci programu) držet.

[Jardík]

Jardík téměř souhlasí, ale musím k

A už vůbec bych nečekal, že v případě úspěchu na argument zavolá free()

Já bych to čekal. Argument je typu char*, nikoliv char const*, takže bych měl počítat s nějakým vedlejším efektem té fce (změna některého znaku či uvolnění).

[Michal Kubeček]

Jedna věc je, co se teoreticky může stát, druhá věc je, co je rozumné od funkce očekávat. Pokud funkce něco alokuje a neuvolní nebo uvolňuje co nealokovala sama, mělo by to být něco, co je jasné už z její podstaty (jako třeba strdup(). Tady k tomu není absolutně žádný důvod a pouze to mate. U malého testovacího prográmku to samozřejmě nevadí, jenže když si člověk zvykne takhle psát, brzy se mu to vymstí. Obvykle v okamžiku, kdy (a) program dosáhne netriviální velikost, (b) po pár měsících použije ten zdroják jako základ něčeho jiného (nebo ho jen bude chtít trochu upravit) nebo (c) bude na něčem spolupracovat s dalšími vývojáři. Proto je IMHO vhodné učit se dodržovat určitou kulturu hned od začátku.

Mimochodem, teprve teď jsem si všiml většího problému, který mi předtím unikl:

6. Ta funkce leakuje file descriptor. Sice úplně zbytečně (není žádný důvod, proč by mne nemohla zajímat velikost souboru, který nemám právo číst) zavolá open(), ale nikdy ten soubor nezavře ani ten descriptor nikam nepředá.

[Michal Kubeček]

V tvém kódu je navíc i bezpečnostní díra, kdy můžeš provádět stat() nad jiným souborem, než který si otevřel. Měl bys použít fstat(), deskriptor zjistíš z fileno() (není standardní fce C, je to POSIX-2001).

Bezpečnostní? To je trochu silný výraz. Délka souboru přečtená z inodu je stejně jen informativní a pokud z ní bude tazatel cokoli vyvozovat (třeba že ten soubor půjde načíst do bufferu příslušné délky), tak má problém i při tom avšem postupu.

[rastos]

Ďalšia drobnosť je:

printf("File size(stat):%d bytes\n", (int)st.st_size);

Neviem ako u teba, ale u mňa (64-bitový systém) je sizeof(st.st_size)=8 bajtov a sizeof(int)=4. To pretypovanie môže stratiť nejaké bity. Tiež by som sa pozrel, či ten program kde to nefunguje, náhodou pri kompilácii nemá definované -D FILE_OFFSET_BITS=64

[Fuky]

Bez kódu nefunkčního programu se to těžko hádá.

Tiskni na výstup absolutní cestu k souboru a číslo inodu, ať máme jistotu, že se opravdu jedná o stejný soubor.