Dotaz: sort v perlu dle cest ..

[nettezzaumana]

ciao ..

prosim poradte mi, nemuzu na to prijit .. jak se prosim v perlu sesortuje @foo jako cesty (paths), to znamena, ze je dodrzovan "directory-tree" dle "/", podobne jako ze shelloveho `find`.

sort { $a =~ tr[/][] <=> $b =~ tr[/][] || $a cmp $b; } @flist

tohle je docela blizko, ale stejne to udela nakonec spatne ..

zde najdete .. ps. abych Vam usetril praci, tak kodem nize vytvorite @foo ::

#!/usr/bin/env perl

use warnings;
use strict;
use File::Find;

sub build_flist {
        my($fpath);
        our(@flist);
        $fpath = shift;
#       chdir("$fpath");
        @flist = "";
        find(\&wanted, "$fpath");
        sub wanted {
                my($found);
                $found = $File::Find::name;
                push(@flist, "$found");
        };

#        return sort {
#                $a =~ tr[/][] <=> $b =~ tr[/][] || $a cmp $b;
#                } @flist;
         return @flist;
};

my $action = $ARGV[0];

print "$_\n" foreach(build_flist("$action"));

exit;

Odpovědi

[nettezzaumana]

order by mel bejt ::

$rootdir/$singlefiles .. ->
$rootdir/$nextdir1/$singlefiles .. ->
$rootdir/$nextdir2/$singlefiles ..

btw. delam to proto, ze na ruznych operacnich systemech co pouzivam mi File::Find dela jinej defaultni order a ja ho potrebuju explicitne sesortovat ..

[pht]

Pokud chcete to co si myslím že chcete, tj. seřadit tak aby nejprv byly soubory a pak adresáře, tak by mohlo pomoci něco jako:

sort { $a =~ tr[/][\xff]; $b =~ tr[/][\xff]; $a cmp $b; }

To za předpokladu, že nebudete mít unicode, v opačném případě si tam dejte nějaký jiný znak, který je dostatečně "vzadu". Pokud by se v názvech souborů objevil ten znak \xff, tak můžete použít místo substituce rotaci:

sort { $a =~ tr[/-\xff][0-\xff/]; $b =~ tr[/-\xff][0-\xff/]; $a cmp $b; }

[nettezzaumana]

hehe. nechci byt ironicky ale zkousel jste kod co jste postnul?

potrebuju aby byla zachovana stromova struktura aka

root/file1
root/file2
root/dir1
root/dir1/file1
root/dir1/file1
root/dir1/sdir1
root/dir1/sdir1/file1 .. filex
root/dir2
root/dir2/file1 .. filex
root/dir2/sdir .. blah

..
root/dirx/sdirx.*/filex

[pht]

Zkoušel jsem ho do té míry že není syntakticky špatný, proto jsem napsal "něco jako". Nechci být ironický, ale děkuji za podrobné vysvětlení co ten kód dělá špatně a jak to má vypadat správně.

[nettezzaumana]

nicmene napadla me jina cesta .. je to sice takovej "coding u-turn" ale snad by to mohlo jit ::

uz pri vytvareni pole vybirat do @flist soubory (File::Find::name) a do @dlist adresare (File::Find::dir) a potom na zaklade *neceho (?mrzkeho) obe pole sloucit ..

[kaaja]

Já vidím problém v tom, jak poznat rozdíl mezi root/file1 a root/dir1. Pokud by třeba dir měla na konci vždy /, tak by při tom porovnávání se dalo udělat něco jako

sort{
if (($a ~= /\/$/ ) && !($b ~= /\/$/)) { return 1; } 
elseif ( !($a ~= /\/$/ ) && ($b ~= /\/$/)) {return -1;}
else {return $a cmp $b; }
}

Kód jsem netestoval (nemám ho  teď kde pustit), takže to berte jenom jako námět.

 

[nettezzaumana]

#!/usr/bin/env perl

use warnings;
use strict;
use File::Find;

sub build_flist {
        my($fpath);
        our(@flist, @dlist, @overall);
        $fpath = shift;
        @flist = "";
        @dlist = "";
        @overall = "";
        find(\&wanted, "$fpath");

        ## vytvorime dve pole, jedno obsahuje jen adresare (@dlist)
        ## a druhe soubory (@flist)
        sub wanted {
                my $found = $File::Find::name;
                push(@dlist, $found) if(-d "$found");
                push(@flist, $found) if(-f "$found");
        };

        # kvulli pop()ovani je reverzne sortneme
        @dlist = sort @dlist;
        @flist = sort {$b cmp $a} @flist;

        ## zacneme vytvaret finalni pole @overall, do ktereho se snazime
        ## spojit obe pole s adresari a soubory,
        ## `for(1 .. @dlist)` pouzivame misto `foreach(@dlist)` abychom se
        ## pop()em nezrali od ocasu .. zaroven si prelejvame jedno pole do
        ## druheho, misto abychom duplikovanim zabirali prilis pameti ..
        for(1 .. @dlist) {
                my $foo = pop(@dlist);
                push(@overall, "$foo") if($foo ne $overall[@overall - 1]);

                # a zde by mela prijit finalni finta:
                # vytvorime cyklus ktery >> dokud bude stejnej posledni pop()nutej
                # prvek do @overall ($foo) jako posledni prvek z pole se soubory
                # oriznutej o jmeno souboru takze zbyde adresar ($flist[@flist - 1] =~ s@/.[^/]+$@@) <<
                # tak ten posledni prvek z @flist push()ne do @overall a pop()neme z @flist..

        };

        return @dlist;
};

my $action = $ARGV[0];

print "$_\n" foreach(build_flist("$action"));

exit;

[pht]

Kdybyste se tak křečovitě nedržel File::Find tak by to šlo i jednodušeji.

#!/usr/bin/perl

require 5.010_000;
use strict;
use warnings;
use feature qw/switch say/;
use autodie qw/opendir readdir/;


# fetch arguments...
my @dirs = sort @ARGV;
@dirs = qw/./ unless scalar @dirs;

my @output;

# walk through directory queue...
while (my $dir = shift @dirs) {

        # include this directory in output...
        push @output, $dir;

        # temporary array for directory objects
        # we use this to maintain the already sorted order...
        my @localdirs;
        
        # process all entries in this directory...
        opendir(my $dh, $dir);
        for my $obj (sort readdir($dh)) {
                # skip dot and dotdot...
                next if $obj ~~ [qw/. ../];

                # figure out the full path and process it...
                given ("$dir/$obj") {
                        # files go to output...
                        when (-f) { push @output, $_ }

                        # dirs go to temp. array...
                        when (-d) { push @localdirs, $_ }
                }
        }

        # prepend found directories to the queue...
        unshift @dirs, @localdirs if scalar @localdirs;
}

say join("\n", @output);

Žádné tajné triky :)

[nettezzaumana]

Vas kod sam o sobe vyhodil nejake ohavne errory, jako chybejici autodie, ale po male uprave sel (bohuzel jen na Linuxu) .. protoze to potrebuju *klasickou metodou funkcni i na systemech jako solaris 8, tak sem musel sbustlit metodu nize:

rad se necham poucit s opravou te fce, co slucuje obe pole, je to totiz neunosne pomale. experimentoval jsem s prerovnavanim a shiftovanim z obou poli, ale je to pomale stejne ..

diky a zdravim

#!/usr/bin/env perl

use warnings;
use strict;
use File::Find;

our(@files, @dirs);
my($input, @final, $foo, $bar);

find(\&bingo, shift(@ARGV));

sub bingo {
        $_ = $File::Find::name;
        push(@files, $_) if -f;
        push(@dirs, $_) if -d;
};

@files = sort(@files);
@dirs = sort(@dirs);

#### playground:
while($input = shift(@ARGV)) {
        if($input eq 'd') {
                print "$_\n" foreach(@dirs);
                next;
        };
        if($input eq 'f') {
                print "$_\n" foreach(@files);
                next;
        };
        if($input eq 'a') {

                ## sorting is *very *very slow ..
                foreach(@dirs) {
                        $foo = $_;
                        push(@final, $foo);
                        foreach(@files) {
                                $bar = $_;
                                $bar =~ s@/.[^/]*$@@;
                                push(@final, $_) if($foo eq $bar);
                        };
                };
                print "$_\n" foreach(@final);
        };
};

exit;

[pht]

Je to neúnosně pomalé, protože to zavání kvadratickou nebo bůhvíjakou složitostí. Určitě by to šlo nějak zrychlit, ale pouze konstantní mírou, takže pro velký objem dat to stejně bude pasé.

Ten Váš přístup je prostě no-go. Fundamentální problém je v tom, že kvůli File::Find házíte vše do jednoho pytle (resp. dvou pytlů) a tak ztrácíte možnost správně zařadit věci ve chvíli, kdy přijdou pod ruku. Pak se to snažíte krkolomně rozuzlit. Je to typický příklad nepředávání důležité informace mezi částmi programu.

Můj program je dělaný pro Perl v5.10 a s předpokladem, že není problém doinstalovat některé užitečné moduly (např. autodie). Neměl by být problém ho retardovat na starší verzi. Místo autodie použijete klasické ... or die, místo smart match použijete grep a místo given...when použijete if...elsif.

#!/usr/bin/perl

use strict;
use warnings;


# fetch arguments...
my @dirs = sort @ARGV;
@dirs = qw/./ unless scalar @dirs;

my @output;

# walk through directory queue...
while (my $dir = shift @dirs) {

        # include this directory in output...
        push @output, $dir;

        # temporary array for directory objects
        # we use this to maintain the already sorted order...
        my @localdirs;

        # process all entries in this directory...
        opendir(my $dh, $dir) or die "opendir $dir: $!\n";
        my @entries = readdir($dh);
        die "readdir $dir: $!\n" unless scalar @entries;
        for my $obj (sort @entries) {
                # skip dot and dotdot...
                next if grep { $_ eq $obj } (qw/. ../);

                # figure out the full path and process it...
                my $fp = "$dir/$obj";

                if (-f $fp) {
                        # files go to output...
                        push @output, $fp;
                }
                elsif (-d $fp) {
                        # dirs go to temp. array...
                        push @localdirs, $fp;
                }
        }

        # prepend found directories to the queue...
        unshift @dirs, @localdirs if scalar @localdirs;
}

print join("\n", @output), "\n";

Opět dodávám, že jsem tento program na Vašem systému netestoval, takže si případné drobnosti dolaďte.

[happy barney]

niečo takéto by nepomohlo? (netestované)

sort {
  (-d $a ? 0 : 1) <=> (-d $b ? 0 : 1)
 || split ('/', $a) <=> split ('/', $b)
 || $a cmp $b
} @flist

[pht]

Myslím že tohle by vždy upřednostnilo soubory před adresáři, což není to pravé ořechové. Druhý level by pak asi upřednostnil, pokud si to správně představuju, všechny soubory s jedním lomítkem před dvěma lomítky, atp.

Problémy tohoto přístupu, i kdyby fungoval, jsou dva:

1) Sort má složitost n*logn, takže přesně tolik uděláte syscallů stat() - čili budete spoustu souborů statovat duplicitně - to jde vyřešit pomocným polem/schwarzovou transformací.

2) I kdybyste počet volání stat() linearizoval, tak v podstatě oddřete znova to co už jednou dělal file::find. Jinými slovy snažíte se vydolovat z jednoho pole informaci kterou jste předtím věděl, ale zbavil jste se jí (viz můj příspěvek výše).

[nettezzaumana]

diky za odpovedi.

Vase metoda je dobra, nepochybne lepsi nez ta moje pomoci File::Find .. Jeste se zamyslim, jestli nebude stat za to prepsat to cele po Vasem.

[happy barney]

skúste ešte zakomponovať tento kúsok:

my %dirs;
sub wanted {
  %dirs{$File::Find::dir} = 1;
  ...
};

a miesto "-d $a" v sorte použiť "exists $dir{$a}"

takisto môžete použiť:

my %dirs;
sub wanted {
  push @{ $dirs{$File::Find::dir} }, $File::Find::name;
}

a btw, obyčajný sort @list nestačí?

[pht]

To je to pomocné pole (hash) o kterém jsem mluvil, řešící jen půlku problému :)

[nettezzaumana]

jenom pro zajimavost, existuje podle Vas nejaka cesta, jak efektivne srovnat obe pole pokud by to bylo moji puvodni metodou .. ??

ps. nemusite mit strach, prijal jsem Vase reseni, je dobre .. ;)

[pht]

Pokud nechcete pro každý adresář procházet celý seznam souborů (jak to dělalo Vaše původní řešení), tak si musíte vybudovat pomocnou datovou strukturu (hash polí), kde rozřadíte soubory na jeden zátah, přibližně takto

my %files_in;
for my $file (@files) {
    # Tady potřebujete mít soubory v aktuálním adresáři ve formátu "./soubor"
    # nebo to ještě nějak ošetřit pokud máte pouze "soubor"
    my ($dir_part) = ($file =~ m{^(.*)/.*?$});
    push @{$files_in{$dir_part}}, $file;
}

(V podstatě to samé co dělal barney už při findování.) Pak byste tu strukturu vypsal (použil) nějak takto:

for my $dir (sort keys %dirs_to_files) {
    print $dir, "\n",
          join("\n", sort @{$files_in{$dir}}), "\n";
}

(Opět nezkoušeno.)

[pht]

Jo, místo toho sort keys %dirs_to_files má být sort keys %files_in.

[happy barney]

sub build_flist {
    my ($fpath) = @_;

    my %dirs;
    find (sub { push @{ $dirs{$File::Find::dir} }, $File::Find::name; }, $fpath);

    @$_ = sort @$_ for values %dirs;

    my @head = @{ delete $dirs{$fpath} };
    my @flist;

    while (my $d = shift @head) {
        push @flist, $d;
        unshift @head, @{ delete $dirs{$d} } if exists $dirs{$d};
    }

    @flist
}

$\ = "\n";
print for build_flist ($ARGV[0])

[pht]

Tak tahle rutina vypadá dost komplikovaně a zběsile na to, aby už fungovala, ne? Ve skutečnosti to dělá asi tohle:

sub build_flist {
    my ($fpath) = @_;

    my @r;
    find (sub { push @r, $File::Find::name; }, $fpath);

    return sort @r;
}

Čili jednak překombinované a jednak to nedělá to co to má dělat

A přečtěte si někdy aspoň knihu perl best practices, za některé výtvory (@$_ = sort @$_ for values %dirs) bych střílel...

[happy barney]

nie celkom, príklad: "dir1", "dir1/1" a "dir1-1"

[pht]

V tom máte pravdu, ale na druhou stranu to celé zařadí před "dir2" (i kdyby to byl soubor).