Dotaz: Odstranění diakritiky a nepovolených znaků pro Windows v názvech souborů a složek

[moss]

Ahoj, nedávno jsem našel příkaz pro rekurzivní zaměnění mezer v názvech souborů a složek za podtržítko. Zajímalo by mě jestli existuje nějaký příkaz i pro:

1) Rekurzivní odstranění diakritiky v názvech souborů a složek

2) Rekurzivní odstranění znaků nepovolených ve Windows (sice se snažím nevytvářet nic co by bylo v konfliktu s Windows ale uhlídat to nejde, např. při automatickým tagování a ve Windows mám s tím problémy)

Díky za odpověď.

Odpovědi

[mess]

Ad odstranění diaktitiky: mám vyzkoušeno toto:

iconv --from="UTF-8" --to="ASCII//TRANSLIT"

Normálně tomu na stdin nasypeš český text a ze stdout ti vyleze "cesky text". Rekurzi, věřím zvládneš.

[pht]

Haha, takhle jednoduše jsem to viděl taky, než jsem se do toho pustil.

[mess]

Zkus tohle. Ale nejdřív si to vyzkoušej na nějakých datech, o která můžeš přijít, protože jsem to netestoval.

#!/usr/bin/env ruby
# encoding: utf-8
# tento skript předpokládá, že jsi v adresáři, ve kterém chceš detoxikovat soubory

require "fileutils"

def walk(dir)
  FileUtils.cd dir
  filenames = `ls -1`.split("\n") # seznam souborů v adresáři jde to i líp, ale nechce se mi hledat
  
  filenames.each do |filename|
    sanitized_filename = `iconv --from="UTF-8" --to="ASCII//TRANSLIT" <<< "#{filename}"`.strip
    FileUtils.mv filename, sanitized_filename unless filename == sanitized_filename
    walk(sanitized_filename) unless File.file? sanitized_filename
  end
end

walk(".")

[pht]

Problém je v představě, že "přesunout hodně souborů je jen hodněkrát přesunout jeden soubor a přesunout jeden soubor je jednoduché".

Co když máme sýrový.doc a syrový.doc, jak se k tomu zachovají navrhovaná řešení? Co když máme sýrový.doc a pak dvojici syrový.xls a syrový.doc, která patří k sobě?

[Šangala]

Jo-jo.
Řešil jsem to převodem do nepříliš hezkého, spřežkování
vše mimo A-Za-z0-9.-_(třeba plus mezera) na #hex-hodnota-znaku
něco jako 'text text$text.txt' −> 'text#20text#24text.txt'
HEX hodnota znaku byla v UTF-8, ale může být efektivnější (ale teoreticky nejednoznačné pokud fs je UTF-8) ji vzít s nějakého ISO 8859-X kódování

[pht]

Optimální je si soubory rozřadit podle názvu bez přípony a snažit se přejmenovávat skupiny najednou. Pokud při přejmenování skupiny vznikne konflikt s existujícím souborem, tak před příponu dáte třeba _1, _2 atd. Obdobně lze zacházet i s příponami.

[Šangala]

Ono to lze různými způsoby, to co jsem popisoval je „absolutně jednoznačné“ řešení a tudíž -navíc- obousměrné.
Ve Vašem nevíte který bude jednička, a který dvojka a časem se mohou třeba i otočit (záleží na algoritmu) - tím ale neříkám, že je to problém. Je to jen definicí co je (autonomní) skupina. :)

[pht]

No jo, akorát že ten soubor s #20 je pak brutálně nečitelný.

[Šangala]

¡Já chci mít poslední slovo! :)

Psal jsem: „Řešil jsem to převodem do nepříliš hezkého, spřežkování“.
Jinak konkrétně #20 byl na ukázku, to je lepší nahradit podtržítkem.

[Síma]

#/bin/bash

fromkod="cp1250"
tokod="ASCII//TRANSLIT"
dest="nocz"

mkdir -p ${dest}

for i in `ls | tr ' ' '@'`
do
clean=`echo "$i" | iconv --from=${fromkod} --to=${tokod} | tr '@' '_' | tr '(' '_' | tr ')' '_' `
orig=`echo "$i" | tr '@' ' '`
echo cp" -p \"$orig\" "${dest}/$clean | bash
done

[moss]

ad 1 | iconv --from="UTF-8" --to="ASCII//TRANSLIT" Nevím jak tenhle příkaz použít, nejsem v tom moc zběhlý :). Takže jsem ho použil tak:

icewolf@hal:~/!Main/TEST$ iconv --from="UTF-8" --to="ASCII//TRANSLIT"

ale nic se nestalo, nic to nepřejmenovalo takže to dělám asi špatně .

ad skript Zkusil jsem vytvořit i ten skript "/usr/bin/env.ruby" a dopadlo to takto:

icewolf@hal:~/!Main/TEST$ /usr/bin/env.ruby
sh: Syntax error: redirection unexpected
/usr/lib/ruby/1.8/fileutils.rb:505:in `rename': No such file or directory - ěšíščřřá or  (Errno::ENOENT)
        from /usr/lib/ruby/1.8/fileutils.rb:505:in `mv'
        from /usr/lib/ruby/1.8/fileutils.rb:1396:in `fu_each_src_dest'
        from /usr/lib/ruby/1.8/fileutils.rb:1412:in `fu_each_src_dest0'
        from /usr/lib/ruby/1.8/fileutils.rb:1394:in `fu_each_src_dest'
        from /usr/lib/ruby/1.8/fileutils.rb:494:in `mv'
        from /usr/bin/env.ruby:13:in `walk'
        from /usr/bin/env.ruby:11:in `each'
        from /usr/bin/env.ruby:11:in `walk'
        from /usr/bin/env.ruby:18

A také to nic neudělalo.

[Jakub Lucký]

1) To se musí použít s něčím...

echo ščřžýáí | iconv --from="UTF-8" --to="ASCII//TRANSLIT"

[Jendа]

detox - utility to replace problematic characters in filenames

?

[Fuky]

Škoda, convmv by to chtělo ještě vylepšit:

$ convmv -f utf8 -t latin1 příšerně_žluťoučký_kůň_úpěl_ďábelské_ódy
Your Perl version has fleas #37757 #49830
Starting a dry run without changes...
iso-8859-1 doesn't cover all needed characters for: "./příšerně_žluťoučký_kůň_úpěl_ďábelské_ódy"
To prevent damage to your files, we won't continue.
First fix errors or correct options!

V krename stačí zapnout Transliteration Plugin:

$ ls
příšerně_žluťoučký_kůň_úpěl_ďábelské_ódy
$ krename
priserne_zlutoucky_kun_upel_dabelske_ody

[Fuky]

Příloha:

• convmv (24938 bytů)

V příloze je patchnutý convmv:

$ convmv --notest -f utf8 -t latin1 příšerně_žluťoučký_kůň_úpěl_ďábelské_ódy 
Your Perl version has fleas #37757 #49830                                                       
mv "./příšerně_žluťoučký_kůň_úpěl_ďábelské_ódy" "./priserne_zlutoucky_kun_upel_dabelske_ody"    
Ready!

Pro transliteral používá konwert.

[moss]

Vyzkoušel jsem Krename a na čistě odstranění diakritiky se zdá být v pohodě . Díky za tip.

[Robbie]

Doplnim dalsi tip: pyrenamer

[Dalibor Smolík]

také se dá použít detox ..

[Jendа]

#3

[Čech Antonín]

Zatim bez prolemu pouzivam vycisti.py.

[pavel]

Zkusil jsi použít vycisti.py na adresář s názvem "Udělej"? Mám kódování ISO8859-2 a u tohoto adresáře mi to hlásí chybu. Pokud použiji příkaz: vycisti.py -c ISO8859-2, převod proběhne bez problémů.

[moss]

vycisti.py mi funguje v pohodě.. ale odstraňuje toho až moc - diakritiku, velký/malý písmena, téměř všechny znaky (i (), [], = který jsou s Windowsem kompatibilní. Nešlo by ho nějak nastavit aby odstraňoval pouze diakritiku a znaky nekompatibilní s Windows?

[moss]

*velký písmena nahradí za malý

[Čech Antonín]

Programovat neumim, ale velka/mala pismena resi radek:

fileName = fileName.lower() #lower case

Takze ho zakomentuj nebo smaz, jak upravit konecnou kontrolu, aby nepredhazoval warning jsem nezjistoval.

[Nuphar]

Já s oblibou používám Krenamer, který má modul na odstranění ne-ASCI znaků, nahrazení mezer už je hračka.