Dotaz: Indexování v baloo

[lertimir]

Možná jsem jeden z mála, kteří indexují v KDE s baloo. Ale zatím jsem byl spokojen. Nicméně dnes mi začalo padat automatické zálohování a když jsem zjišťoval proč dostal jsem se až k baloo indexu a tomuto číslu

ls -l ~/.local/share/baloo/
celkem 25567864
-rw-r--r-- 1 palovsky palovsky 18102980400611328 29. čec 14.39 index
-rw-r--r-- 1 palovsky palovsky              8192 29. čec 14.39 index-lock

Jo, je to několika tisíckrát více než mám celý diskový prostor a pochopitelně to žádná záloha neudělá. Nerozumí tomu někdo?

Odpovědi

[Max]

Větší soubor, než je kapacita, není problém. Příklad vytvoření prázdného souboru:

# velikost volume
df -h
...
/dev/mapper/system                   230G  221G  8,4G  97% /home
...

# vytvoříme prázdný soubor o velikosti 5TB
truncate -s 5T /home/test.img

# ověříme, že má 5TB
du -bhc /home/test.img
5,0T    /home/test.img
5,0T    celkem

# koukneme přes ls
ls -l /home/test.img
-rw-r--r-- 1 max max 5497558138880 29. čec 15.16 /home/test.img

# smažeme
rm -f /home/test.img

Nemusí tedy nutně jít o chybu na filesystému. Může se jednat i o nějaký bug v Baloo.
Zdar Max

[jiwopene]

Proč to Baloo dělá, to opravdu nevím. Určitě by to šlo nazvat chybou v Baloo.

Co se týče velikosti souboru, tak jde o to, že soubor může být větší než je diskový prostor (souborový systém řeší to, že je v souboru tzv. díra). Ve skutečnosti se na disk ukládá jenom ta část souboru, která neobsahuje nuly.

Zkusil bych index smazat a nechat Baloo naindexovat soubory znovu.

[Peter Golis]

Rozumie si to zálohovanie s deravými súbormi (sparse files)? Odporučil by som skontrolovať skutočnú veľkosť:

du -sh ~/.local/share/baloo/index

[jiwopene]

Tazatel píše, že je soubor větší než FS, takže je určitě děravý. Netuším, proč Baloo dělá děravý soubor, který je tak absurdně velký.

[Peter Golis]

Ja som sa nepýtal na to, či je ten súbor deravý, pýtal som sa či si to jeho zálohovanie rozumie s deravými súbormi. Možno mu len chýba parameter --sparse=allways pri príkaze cp.

[Andrej]

Jo, je to několika tisíckrát více než mám celý diskový prostor a pochopitelně to žádná záloha neudělá. Nerozumí tomu někdo?

To↑ jsou hned dva nesmysly v jednom odstavci. Udávaná velikost souboru přece nemusí nijak souviset s velikostí diskového prostoru. Existují řídké soubory, podobně jako existuje řídká stolice.

Každopádně, automatické zálohování nikdy nesmí kvůli řídkým souborům padat; musí si s nimi umět korektně poradit, tj. (1) detekovat a zachovat mezery v souborech a případně (2) z už alokovaných nulových bloků vytvořit nové mezery.

Takže na úvod a především bych zkontroloval (a raději zahodil a nahradil) onen automatický zálohovací mechanismus, který je zjevně rozbitý a neporadí si s obyčejným řídkým souborem. Já mám například na 2 TB SSD cca dvacet virtuálek a každá z nich má virtuální disk o (neméně virtuální) velikosti 1 až 10 TB. Jakpak se tam asi vejdou? Jakpak se asi zálohují? Inu, normálně; řídké soubory jsou úplně běžná věc. (Rozumné atomické zálohování typu btrfs send / btrfs receive s nimi pracuje bez problémů a na úrovni souborového API s nimi umí pracovat třeba rsync.)

K původnímu problému: Ano, Baloo je zabugovaný odpad, kterému je dobré se vyhnout. Moje hypotéza ohledně toho, co se stalo: Zase se projevil jeden z mnoha bugů, nějaké číslo přeteklo či podteklo, nastal lseek64() do ohromné dálky a následně pak pár zápisů v té ohromné dálce. Což bohužel samozřejmě uspělo, protože … řídké soubory jsou běžná věc.

[Andrej]

Tak schválně, jestlipak mám 8 exabytů minus 1 byte „místa“, jo? A navíc klidně dvakrát.

$ truncate -s 9223372036854775807 huge

$ du -shb huge
9223372036854775807	huge

$ du -sh huge
0	huge

$ cp huge also_huge

$ du -shb huge also_huge
9223372036854775807	huge
9223372036854775807	also_huge

$ du -sh huge also_huge
0	huge
0	also_huge

$ rm huge also_huge

[lertimir]

Dík za poslední odstavec, to ostatní vím a se sparse soubory pracuji, jen jsem nikdy nepotkal standardně vytvořený soubor jehož velikost je skoro 1 000 000 krát větší než je alokovaný prostor. Soubor má skutečně alokovaných 23GB a tváří se 18PB.

[David]

V jedné chybě na bugs.kde.org vývojář psal o zmenšování Baloo index souboru pomocí mdb_copy -n -c index index.new.