coreutils 8.1 aneb není rm jako rm

26.11.2009 15:17 | Přečteno: 4003× | GNU/Linux | | poslední úprava: 27.11.2009 00:19

18. listopadu 2009 vyšla nová stabilní verze Coreutils (GNU core utilities). Coreutils jistě není nutno představovat. Jde o balík obsahující základní GNU nástroje jako cat, chmod, cp, date, kill, ls, mkdir, mv, rm, touch, true, who, yes a mnoho dalších. Nová verze 8.1 přináší navíc nástroj nproc vypisující počet dostupných výpočetních jednotek (processing units).

Chtěl bych se podělit o zkušenosti s tak základním nástrojem jako je rm. Člověk by si řekl, co může být na rm zajímavého, prostě rm A smaže soubor A. To je ale jenom první přiblížení, když se jde do hloubky, nová verze rm se chová jinak než předchozí. Po aktualizaci coreutils v Source Mage se při instalaci balíčků (cast spell) začala objevovat podezřelá hláška:
rm: invalid argument: `'.

Creating compile log /var/log/sorcery/compile/rlwrap-0.33.bz2
Creating tablet in directory /var/state/sorcery/tablet/rlwrap/20091126140339
Creating install log /var/log/sorcery/install/rlwrap-0.33
Creating MD5 log /var/log/sorcery/md5sum/rlwrap-0.33
Creating cache file /var/cache/sorcery/rlwrap-0.33-i686-pc-linux-gnu.tar.bz2
rm: invalid argument: `'
Finished processing install requests.

Spells installed successfully:
------------------------------
rlwrap

Zprvu se předpokládalo, že se jedná o chybu v sorcery. Stejná hláška se ale začala objevovat i při překladě ze zdrojových kódů pomocí ./configure; make. Například balíček libXt:

make[3]: Entering directory `/usr/src/libXt-1.0.7/src'
  CC     ActionHook.lo
rm: invalid argument: `'
  CC     Alloc.lo
rm: invalid argument: `'
  CC     ArgList.lo
rm: invalid argument: `'

Změnilo se chování příkazu rm. V souboru NEWS se u příkazu rm píše pouze o změnách při práci s read-only souborovým systémem. Tady se ale o read-only souborový systém nejedná. Nakonec se zjistilo, že danou hlášku lze vypsat příkazem rm "".

# rm ""
rm: invalid argument: `'

Nikdo asi nebude úmyslně mazat soubor "", což vlastně není žádný soubor, poněvadž jsou uvozovky zpracovány shellem. Problém nastává, pokud chci v shell skriptu smazat soubor, jehož jméno mám v nějaké proměnné. Například rm "$A" v případě, že proměnnou A nemám definovanou. V sorcery byl problém vyřešen jednoduše. Prostě se před spuštěním příkaze rm zkontroluje, zda se opravdu jedná o soubor:

-    rm  -f $IW_LOG $C_LOG $TMP_INST_LOG $TMP_MD5_LOG "$STAGE_INST_LOG" \
-           "$spell_sub_depends" "$spell_rsub_depends" "$spell_depends"
+    for file in "$IW_LOG $C_LOG" "$TMP_INST_LOG" "$TMP_MD5_LOG" \
+                "$STAGE_INST_LOG" "$spell_sub_depends" "$spell_rsub_depends"\
+                "$spell_depends"
+    do
+      [[ -f $file ]] && rm -f "$file"
+    done

Je tady ale jiný problém. Co se stane při spuštění příkazu rm a b "" c? Předchozí verze příkazu rm zahlásí chybu (rm: cannot remove `': No such file or directory) a soubory a b c smaže. Nová verze také zahlásí chybu (rm: invalid argument: `'), i když jinou, soubory ale nesmaže.

$ rm --version | head -n 1
rm (GNU coreutils) 7.6
$ touch a b c; rm a b "" c; ls
rm: cannot remove `': No such file or directory

# rm --version | head -n 1
rm (GNU coreutils) 8.1
# touch a b c; rm a b "" c; ls
rm: invalid argument: `'
a  b  c

Holt není rm jako rm. Co by vlastně měl příkaz rm provést a jakou chybovou hlášku vypsat při spuštění rm ""? Je lepší "No such file or directory" nebo "invalid argument"? Těžko říct. Jisté ale je, že skripty fungující i několik let a využívající chybu nebo vlastnost předchozí verze rm se budou muset zkontrolovat a případně upravit.

Jenom aby příští verze příkazu true nevracela false, nebo příkaz yes nevypisoval n.

       

Komentáře

[Luk]

Podle mého názoru je v pořádku, že se chyba pro smazání "" označuje jako "invalid argument" (protože prázdný řetězec není platným názvem souboru). Něco jiného je ale to, že se dost zásadně mění chování takového klíčového programu, protože existuje nesčetně skriptů, které ho využívají. Proto si myslím, že by to sice mělo hlásit něco o neplatnosti názvu souboru (ne neexistenci), ale že by to ty zbývající soubory mělo smazat.

[kotyz]

hmm, v archu to jeste neni

rm (GNU coreutils) 7.6

[kralyk z abclinuxu]

Hm taky jsem koukal.
Nejspíš proto, že tohle chování by mohl být celkem problém pro AUR a ABS, dost programů na to určitě nejsou připravený.

Stejně si myslim, že pokud to v coreutils "neopraví", někdo na to napíše patch, a bude to...

[Tom K]

Invalid argument se mi jevi, jako spravna hlaska, ale A a C by bylo vhodne smazat. Tam nekde bude bota a zadal bych jeji opravu.

[chochi]

Tak jsem koukal, kde se to vzalo a problem je je tohle (viz NEWS):

** Improvements

  rm: rewrite to use gnulib's fts
  This makes rm -rf significantly faster (400-500%) in some pathological
  cases, and slightly slower (20%) in at least one pathological case.

  rm -r deletes deep hierarchies more efficiently.  Before, execution time
  was quadratic in the depth of the hierarchy, now it is merely linear.
  However, this improvement is not as pronounced as might be expected for
  very deep trees, because prior to this change, for any relative name
  length longer than 8KiB, rm -r would sacrifice official conformance to
  avoid the disproportionate quadratic performance penalty.  Leading to
  another improvement:

  rm -r is now slightly more standards-conformant when operating on
  write-protected files with relative names longer than 8KiB.

Ono totiz uz selze inicilalizace fts (inicializace souboru pro smazani). Predtim se soubory neinicializovali najednou (nepouzivalo se fts) a chyba se preskocila (ted selze inicializace jako celek). By me zajimalo jak to hodlaj resit, az se nekdo ozve.

[Ladislav Hagara]

Jsem se ozval, chyba opravena. Mé jméno se navíc objevilo v THANKS.

[Luboš Doležel (Doli)]

Já vám nevím, od čeho tu máme argument -f?

[Ladislav Hagara]

-f nepomůže

# rm --version | head -1
rm (GNU coreutils) 8.1
# touch -f a b c; rm a b "" c; ls
rm: invalid argument: `'
a  b  c
#

[Ladislav Hagara]

Sorry, -f mělo být u rm ne o touch. Výsledek je ale stejný.

# touch  a b c; rm -f a b "" c; ls
rm: invalid argument: `'
a  b  c

[petr_p]

Odpověď si můžeme přečíst v rm(1p):

For each file the following steps shall be taken:

        1. If the file does not exist:

            a. If the -f option is not specified,
               rm shall write a diagnostic
               message to standard error.

            b. Go on to any remaining files.

[Vaclav Bilek]

Dobry postreh! Dekuji za prispevek.

Prestoze souhlasim s vetsinou argumentu kolegu diskuteru, mam tu jedno "ale" pro diskuzi.

Co tak brat volani rm, jako komplexni pozadavek na smazani skupiny souboru.Potom prazdne jmeno souboru muze byt chapano jako chyba v pozadavku a proto se pozadavek nevyplni jako celek. Proste transakce neprobehne prave kvuli spatnym argumentum. Domnivam se, ze kdyz nekdo zada mnozinu souboru a jeden do mnoziny nepatri, tak to asi nebyl zamer, nebo jsem uplne mimo?

Prosim no flame, jen by mne zajimal vas nazor.

Tato zmena chovani by pak sla potlacit nejakym prepinacem, ktery vy vypinal toto prednastavene chovani. Stare skripty by jen pridali jeden prepinac a nemuseli by menit logiku.

[maertien]

Autori skriptu by si meli tu promennou nejdrive zkontrolovat, nez to poslou rm a nedivit se chybovym hlasenim. Ale aby rm nesmazalo ostatni zadane soubory to je taky drsne. To aby ted clovek se skripty distribuoval vlastni verzi coreutils, proti ktere bude jeho dilko fungovat bez takovychto chyb.