Dotaz: tar a čtení z listu

[jejda]

Ahojte! Mám seznam souborů ve kterém je několik set položek ve formátu:

/home/user1/dir/dir/dir/dir/file
/home/user2/dir/dir/file
/home/user3/dir/dir/dir/dir/dir/file
/etc/dir/dir/file
/mnt/disk/dir/dir/dir/file
.....
.....

Chtěl bych ty soubory zazálohovat, ale netuším jak přinutit tar aby zachoval práva a vlastníka adresářů. Spouštím to jako

tar -czvf archiv.tgz -T filelist.txt

U souborů v archivu jsou ty práva v pořádku, ale u adresářů tar nastaví jako vlastníka root:root a práva 0755. Prostě mi jde o to, jak z relativně rozsáhlého filesystému vyzobat soubory a ty zazálohovat i s cestou včetně práv nadřazených adresářů. Poradíte něco?

Odpovědi

[jejda]

Teda provizorně jsem to zatím vyřešil takto:

archive="/home/zaloha/$(cat /etc/hostname)_$(date '+%Y-%m-%d').tar.gz"
dir=$(mktemp -d)
rsync -a --files-from=/home/zaloha/files.txt / $dir
cd $dir
tar -czvf $archive .
chmod 600 $archive
cd ..
rm -r $dir

Ale přijde mi to jako docela prasečina ty soubory někam dočasně kopírovat aby se zachovaly práva adresářů i po rozbalení. Nevíte o nějakém čistějším řešení? Možná nějak cpio a rourou přímo do taru? ...zkusím ješte poexperimentovat.

[jejda]

Teda má to jeden zajímavý bug. Když ten archiv někam rozbalím, tak to změní práva adresáře do kterého se to rozbaluje na 0700.

[jejda]

Aha tak ono to není bug ale takova "security" fičura toho mktemp. Bezpečnější je to rozbalovat jako

tar --one-top-level -xzf $archive

Vyvoří to podadresář.

[rastos]

Existuje nástroj, ktorý je na toto ušitý: cpio. Akurát, že formát nie je "tar" ale "cpio". Zabaliť:

cpio -ov < filelist.txt > archiv.cpio

Rozbaliť:

cpio -idv < archiv.cpio 

'o' je 'output to archive'
'v' je 'verbose' - aby písal mená súborov, ktoré spracováva
'i' je 'input from archive'
'd' je 'create directories as needed'

Ak cesty k súborom obsahujú medzeru/tab/... tak jednotlivé mená súborov by mali byť oddelené nulovym bajtom a nie EOL a cpio potom treba pridať flag '0'

Skombinovať sa to dá pekne s find ... -print resp. find ... -print0.

[rastos]

A prípadne sa dá pri rozbaľovaní pridať ešte

'm' - zachovať file modification time

[jejda]

Ono se cpio v tomto chová uplně stejně jak tar. Ty adresáře které v tom archivu fyzicky vůbec nejsou to vytváří až během rozbalování s právama toho kdo ten archiv rozbaluje. Jediné na co jsem zatím přišel je, ty soubory přechodně vykopírovat včetně cest někam ven a tam je teprv zabalit. Ale přijde mi to takové těžkopádné. Jsem tak trochu doufal, že by mohl existovat nějaký elegantnější způsob.

[Jarda]

rastos: je to skvělé, jenom jestli by šla nějak zakomponovat komprimace do příkazů něco jako "cpio.gz"?

[jejda]

Zakomprimovat to jde jednoduše rourou přes gzip

cpio -ov < filelist.txt | gzip > archiv.cpio.gz

a rozbalit

zcat archiv.cpio.gz | cpio -idv

případně se dá použít přepínač --no-absolute-filenames aby se to nerozbalilo na původní místo ale do aktuálního adresáře. Doporučuju ale mít v tom seznamu souborů taky všecky adresáře a podadresáře v cestě k souboru. Jinak se nemusí zachovat jejich původní práva.

[Jarda]

Moc díky za radu. Začal jsem to používat

[bajus]

Vyzkoušel jsem, ale má to nějaký zvláštní omezení oproti tar.gz. Například mám Thunderbird s profilem na sdb1 a cpio.gz zabalí jenom prázdný adresář Thunderbird bez podadresáře Profiles/bajus.mail... takže vlastně nic. Ve filelistu mám cestu a Thunderbird.

[jejda]

Tak jestli máš v tom filelistu jenom jeden řádek, cpio ti zabalí jenom jeden soubor. Neprohledává ty adresáře rekurzivně. Jestli chceš zabalit sakumprásk všecko v adresáři Thunderbird, předhoď mu jako vstup výstup programu find.

find Thunderbird | cpio -vo | gzip > Thunderbird.cpio.gz

nebo

cd Thunderbird; find | cpio -vo | gzip > ../Thunderbird.cpio.gz

Některé verze taru prý neumí číst soubory ze seznamu tam se cpio hodí použít, ale na obyčejné rekurzivní balení všeho je tar lepší.

[X]

-p, --preserve-permissions
extract information about file permissions (default for superuser)

[jejda]

Dělám to jako root, tak ten přepínač nemá nanic vliv vůbec.

[Vtipnéř]

Dělám to jako root, tak ten přepínač nemá nanic vliv vůbec.

Nepomohlo by přidat --same-owner (viz zde)?

[Peter Golis]

A ten zoznam zálohovaných objektov z akého dôvodu nemôže obsahovať aj priečinky (adresáre)?

Vyextrahovať to z hootvého zoznamu cez dirname a uniq by mala byť hračka. Ale nechce sa mi to testovať.

[Vlado99]

Áno, toto je cesta. Len treba pridať --no-recursion, pretože chceme iba tie adresáre, nie všetky súbory v nich:

#!/bin/bash
# mapfile číta po riadkoch, tak nebude problém s medzerami v názvoch súborov
# Ak ale súbory majú v názve "\n", chcelo by to iný prístup
mapfile -t < list
# Vyrobíme si ten zoznam adresárov
for F in "${MAPFILE[@]}" ; do dirname "$F" ; done | sort -u >list-with-dirs
# Pridáme zoznam súborov
cat list >>list-with-dirs
# --no-recursion zabezpečí, že sa v archíve budú iba požadované súbory a adresáre bez obsahu
sudo tar -czf archive.tgz -C source --no-recursion -T list-with-dirs

[jejda]

To ale nebude fungovat pro vnořené adresáře. Zkus

mkdir -p /tmp/a/b/c/d/e/f
touch /tmp/a/b/c/d/e/f/file
find /tmp/a -type f > /tmp/list
mapfile -t < /tmp/list
for F in "${MAPFILE[@]}" ; do dirname "$F" ; done | sort -u

to vypíše jenom ten poslední adresář

/tmp/a/b/c/d/e/f

Aby to fungovalo tak by ten výstup měl vypadat nějak takto:

/tmp
/tmp/a
/tmp/a/b
/tmp/a/b/c
/tmp/a/b/c/d
/tmp/a/b/c/d/e
/tmp/a/b/c/d/e/f

[jejda]

filelist=/tmp/filelist.txt
dirlist=/tmp/dirlist.txt
IFS="\n"
t=$(mktemp)
cat $filelist |
while read f; do
    cd "$(dirname $f)"
    until [ "$(pwd)" = "/" ]; do
        pwd >> $t
        cd ..
    done
done
sort -u < $t > $dirlist 
cat $dirlist $filelist > /tmp/list.txt
rm $t $dirlist
tar -czvf archive.tgz --no-recursion -T /tmp/list.txt

Toto mi jakžtakž funguje, ale myslím že použitelné to bude maximálně do pár desítek/stovek souborů protože ta rychlost je tragická. Tak teď nevím co je menší zlo. Jestli toto nebo ten rsync :-/

[Vlado99]

Rýchlosť sa trochu zlepší, keď sa zbavíš zbytočných cd a pwd. Hlavný problém je ale v tom, že sa každý adresár vyhodnocuje stále dokola znova a znova. Toto by mohlo pomôcť:

declare -A processed
mapfile -t < list
for F in "${MAPFILE[@]}" ; do
        F="$(dirname "$F")"
        while [ "$F" != "." -a "$F" != "/" ] ; do
                test -z "${processed[$F]:+_}" || break
                echo "$F"
                processed[$F]=1
                F="$(dirname "$F")"
        done
done | sort >list-with-dirs
cat list >>list-with-dirs
sudo tar -czf archive.tgz -C source --no-recursion -T list-with-dirs

P.S.: sort -u by už nemal byť potrebný, možno ani sort.

[jejda]

Hm tak toto už vypadá líp. Je to asi třikrát rychlejší jak ten můj pokus. 20000 řádků to přechroupe zhruba za 15 sekund. To už se dá používat. V těch složených závorkách se odehrává nějaká magie které zatím moc nerozumím. No každopápádně děkuju.

[Aleš Kapica]

Jaká magie? Normální práce s obsahem a názvy proměnných.

[X]

Naji si v manualu "Parametr Expansion".