Dotaz: (C/C++) Naalokování velkýho souboru (pár giga)

[kralyk z abclinuxu]

Ahoj,

už zas si s něčim nevim rady potřebuju vytvořit - naalokovat na disku pár-gigovej soubor.
Googloval jsem po netu, a našel jsem pár míst kde někdo radí "zaručeně správný postup" a jiný na to reaguje, že to je nahouby, že to vytváří sparse file apod, no takže s toho nejsem moudrej.

Poradil by někdo?
Asi postačí POSIXový řešení, nemusí to být cross-platform.

předem díky...

---

---

Odpovědi

[Andrej Herceg]

Pozeral si na funkciu posix_fallocate?

[kralyk z abclinuxu]

Nepozeral, dík, ten funguje dobře.
Snad nebude uživatelům vadit, že to trvá dlouho...

[Andrej Herceg]

Problém je, že ak súborový systém tú funkciu nepotrebuje, glibc ten súbor vytvára "klasickým" spôsobom (a teda doň zapisuje nuly). Ak má ten súborový systém podporu pre fallocate, tak to bude rýchle (podpora by, okrem iných FS, mala byť v ext4 a XFS).

[kralyk z abclinuxu]

Hm, testoval jsem na ext3, takže ten to asi nepodporuje.
Vytvoření 4GB souboru mu trvalo asi minutu, myslíš, že kdybych si sám soubor vytvořil a nakopal do něj nuly (s dost velkým bufferem), že by to bylo rychlejší? Hádám ale, že nejspíš ne...

[Andrej Herceg]

Je možné, že na niektorých súborových systémoch by to zapisovanie núl s veľkým bufferom bolo rýchlejšie. Ale keďže takmer to isté robí aj posix_fallocate v prípade, keď FS nemá podporu pre tú predalokáciu miesta, rozdiel pravdepodobne nebude výrazný.

Inak jedným z problémov funkcie posix_fallocate je práve to, že keď súborový systém nepodporuje tú alokáciu, tak sa použije ten zápis núl do súboru a program sa o tom nedozvie. Tento problém rieši napr. Linuxová funkcia fallocate (aplikácii v takom prípade vráti chybu ENOSYS), problém je, že funguje len v Linuxe verzie aspoň 2.6.23.

[frEon]

a vadi ti řídký soubor nebo ne? Pokud ne, tak by měl stačit nějakou fopen a seek hodně bajtů a tam něco zapsat. Pokud ti řídký soubor vadí, pak to samý, s tím rozdílem, že ho celý vyplň nulami od začátku až do konce.

[kralyk z abclinuxu]

a vadi ti řídký soubor nebo ne?

No, to právě nevim. Potřebuju ten soubor po vytvoření připojit jako loop device vytvořit na něm filesystem.

[AraxoN]

Riedky súbor Ti ušetrí miesto na disku, v prípade, že ten filesystém nebude zaplnený pomaly až po okraj. Na druhej strane môže zhoršiť prístupovú dobu sekvenčného čítania, keďže bloky v tom súbore pravdepodobne budú rozhádzané viac než pri celistvom súbore. Záleží na tom, čo s tým budeš robiť ďalej, či sa Ti viac hodí riedky súbor, alebo normálny.

[kralyk z abclinuxu]

Áha, díky za vysvětlení, budu potřebovat hustý soubor, páč ten fs budu plnit nejspíš až po okraj a stejně je jen dočasnej (zas ho pak vymažu) takže nemá smysl šetřit místo tím, že by byl sparse file. Takže sparse ne.

[Luboš Doležel (Doli)]

man ftruncate

[:::]

# create 1GB file
dd if=/dev/zero of=new_file count=2097152

[kralyk z abclinuxu]

No to by samozřejmě šlo, ale je to hodně pomalý a je to externí program, já bych přeci jen radši volal funkci(e).