Dotaz: BASH pro vyhledání souborů s datem 1. v měsíci

[Martin H.]

Snažím se napsat si script, jednodušší už nějak zvládám. Ale nevím, jak vyhledat pomocí find soubory v určené složce, které mají datum vytvoření 1. v měsíci.

Předem děkuji za pomoc (stačí odkaz na buď nějaký vzor, nebo tutorial - ten na rootu a LinuxSoft je bezva, ale to co hledám tam není).

---

---

Odpovědi

[NN]

find -newerBt '2016-06-01' ! -newerBt '2016-06-02'

[Josef Kufner]

... a takovou podmínku napsat pro každý měsíc. Jinak to find neumí.

Doporučuju sáhnout po vhodnějším nástroji. Třeba si napsat skript v Pythonu, který bude mít jeden cyklus (pro všechny soubory) a if (zda je soubor změněn prvního).

[Martin H.]

Děkji za radu, ale newerBt píše, že Date of Birth for file not found. Nicméně, je to myšlenka.

[Michal Kubeček]

Informace o datu (čase) vytvoření se ve filesystému obecně neuchovává.

[Martin H.]

Njn, ale někde být musí. Jak jinak třeba ls -la může vypsat Datum a čas vytvoření souboru?

[Michal Kubeček]

Nemůže a nevypisuje. Defaultně se vypisuje datum/čas poslední modifikace (mtime).

[Martin H.]

A to bude asi ono ... soubor 7Z je vytvořen na jiném stroji a následně RSYNC přenesen na druhý stroj. mtime se nezměnil a podle něj mohu hledat.

Děkuji, vyzkouším ...

[Michal Kubeček]

Některé nástroje pro archivaci nebo kopírování zachovávají časové známky původního souboru. Zrovna rsync má IIRC nějaký přepínač, kterým se mu dá říct, jestli to má dělat nebo ne.

[Peter Golis]

Tak pomocou bash alebo find, vravíš? Odporučal by som k tomu pribaliť aj

find . -type f | while read -r file
do 
  stat "${file}" | grep ^Change:\ ....-..-0.\  > /dev/null && echo ${file}
done

[Martin H.]

Děkuji za pomoc, ale moc to nechápu. Vypíše to mraky souborů, bohužel Change hodnota pravděpodobně není stejná, jako Created. Takže tam nejsou jen ty 1. v měsíci.

Soubory jsou vytvořeny a na server následně přeneseny RSYNC - jejich datum vytvoření je 1. v měsíci.

Script píšu v Bashi, find mě napadl, protože jsem jej v munulosti používal na různé ůčely hledání a ve spojení s xargs třeba na mazání starých souborů ve složce scanneru.

Popravdě, nějak nechápu ty reglární výrazy ... v názvech souborů je datum uloženo ve tvaru RRMMDD, ale ani toto neumím pořádně poskládat.

A ty návody na netu nějak pořád nechápu ...

[Peter Golis]

Takže si nechcel ani nakopnúť, ty si chcel hotové riešenie aj s odovzdávacím protokolom a nevieš čo s tým. V tom prípade ťa sklamem, keďže linuxové OS neuchovávajú informáciu typu dátum vytvorenia. Podobná informácia sa dá použiť len ak súbor nebol menený. ale ak bol, a ty tú informáciu nemáš poznačenú napríklad v názve súboru, tak máš smolu.

PS: Zaujímalo by ma či existuje nejaký FS ktorý pracuje s dátumom vytvorenia v metadátach. Zatiaľ som to nevidel ani na Unixoch, a ani na Windows.

[Martin H.]

To ani ne ... už nad tím bádám celkem dlouho (několik dní s přestávkami a zatím žádný pro mě uspokojivý výsledek.

A ano, pokud je to něco fakt jednoduchého, bylo by bezva neztrácet tím čas. Taky to znám, občas se někdo na něco ptá a zasekl se někde a já vím odpověď z hlavy. Protože jsem to nějakou dobu před tím taky sáhodlouze hledal.

Takže, ne nečekám že mi někdo napíše kompletní skript, ale pokud by to bylo jednoduché a někdo tu zaseknoutou část postnul (případně link na jiný využívající stejné fukce), mohl bych se věnovat dalším částem skriptu.

Děkuji za pomoc.

[Peter Golis]

Pretože keby si si pozrel výstup z použitého príkazu stat, tak by si pochopil aj bez študovania dokumentácie príkazu grep že tá maska je nastavená na súbory zmenené prvých deväť dní v mesiaci. A buď by si to s tou zmenou použil, alebo by si dal podobnú masku priamo pre find na hľadanie podľa názvu súboru. Ak je ovšem dátum v názve súboru dátumom zrodenia súboru.

[Martin H.]

Jj, to už jsem udělal. Nechal jsem si vypsat jen STAT a změnil Change na Modify a ....-..-0. na ....-..-01 A už je to OK.
Díky, jako studujní materiál mi to moc pomohlo. Jen, proč jsou tam tečky? To jsem v dokumentaci nenašel ... ale bezva. Aspoň mám dál co hledat.
Takže takhle je to celé a fungující:

find . -type f | while read -r file
do
  #stat "${file}"
  stat "${file}" | grep ^Modify:\ ....-..-01\ > /dev/null && echo ${file}
done

Teď můžu pokračovat ...

[NN]

V regularnich vyrazech znamena tecka libovolny jeden znak.

[Peter Golis]

Len doplním že nie vždy je to tak. Pri listovaní súborov sa zamieňa otáznik za ľubovoľný jeden znak.

[Michal Kubeček]

To není regulární výraz.

[Peter Golis]

Nie je, ale znamená. Skús si ešte raz prečítať vetu na ktorú reaguješ.

[Michal Kubeček]

To jste možná měl udělat vy, než jste tu reakci z 18:57 napsal.

[Peter Golis]

To som aj urobil.

[Michal Kubeček]

Pokud vím, v minulosti se o tom (opakovaně) vedly debaty, ale přestože panuje shoda, že by se to v některých situacích hodilo, nikdy se nepodařilo najít shodu ohledně toho, jak přesně by se ta známka měla chovat (např. při kopírování, přejmenování, přesunu v rámci filesystému, přesunu na jiný filesystém, obnovení ze zálohy) a např. ani v tom, jestli by měl mít (normální) uživatel právo ji u svého souboru změnit.

[Martin H.]

Jj, díky za info.

Zkusím jít cestou REGEXP a hledat v názvu souboru, kde mám datum ve tvaru RRMMDD (jedná se o záložní soubory SQL DB zazipované 7Zipem a uložené na linuxový stroj jako další kopie. A třetí kopie je pak už jen RSYNC na další stroj.

Nicméně na tom linuxu to chci rozhodit do Daily a Monthly před přenesením na další záložní místo.

[Martin H.]

Nejsem si jistý, co přesně myslíte formulací "rozhodit do Daily a Monthly", ale není to něco jako

  for f in *.7z; do
      dir=$(date -d @$(stat -c %Y $f) +%Y/%m/%d)
      mkdir -p "$dir"
      mv -vi "$f" "${dir}/"
  done

[Martin H.]

Přesně mám na mysli toto:

Každý den se mi zálohují servery na své disky (je to rychlé) a následně se ty jejich zálohy kopírují na linuxový backup disk.
Skripty na těch serverech (Windows/Linux) neumí standardně dělat Monthly, jen Daily. A předělávat všechny skripty by byla otrava.
Proto na cílovém záložním serveru chci zálohy stěhovat do složky Monthly, abych si mohl udržovat 2 měsíce záloh ( zbytek se postupně odmazává), ale 6 měsíců záloh měsíčních, vždy první den v měsíci.

Je to i z kapacitních důvodů a takto je to po mě vyžadováno.

Vše mám pořešené, jen to kopírování 1.v měsíci jsem doposud neměl a nějak jsem se v tom zrácel.

Řešení výše je funkční, tvoje vyzkouším.

Moc děkuji za pomoc. Už jsem se s tím trápil celkem dlouho (po chvilkách cca měsíc).

Třeba to někomu dalšímu pomůže taky.

[Josef Kufner]

V tom případě se vykašli na časy u souborů a řeš to podle jména. Bude to mnohem spolehlivější. Například pokud zálohy přesuneš z jednoho disku na druhý, tak jméno se zachová, ale na časy souborů si budeš muset dát pozor, jinak se ti všechny zálohy po pár dnech najednou smažou, neboť všechny budou stejně staré.

Já mám zálohy pojemnované ve tvaru /srv/backup/$HOSTNAME/$YYYY-$MM-$DD/, takže hned je vidět ze kdy a odkud záloha je.

Co se stane, když se prvního ta záloha nepovede a bude chybět? Budeš mít pak dvouměsíční díru v zálohách? Spíš než dle data bych to řešil pořadím. Prostě první záloha v měsíci se zachová, ostatní se smažou. Takže pokud prvního zálohování selže, tak se zachová záloha z druhého a zbytek jde pryč.

Další otázka je, co se má stát, pokud zálohování přestane fungovat (nebo se servr odstraní). Smažou se postupně všechny zálohy, nebo prostě zůstane posledních šest měsíčních záloh? Co se stane s nejaktuálnější zálohou? Pokud by poslední záloha byla z 31. dne v měsíci a zachovala by se jen měsíční záloha z 1. dne v měsíci, znamená to ztrátu dat za poslední měsíc.

[lertimir]

Chápu, že takto je to opravdu hodně přímo pod kontrolou a víte přesně co děláte. A pravděpodobně to bude i rychlejší, protože provedou přesně ty potřebné operace, které k cili jsou třeba. Nícméně budu trochu přihřívat nějaké standardní řešení, třeba do budoucna zauvažovat o systému jako BackupPC nebo Bacula. Velmi jednoduše se nastaví, kdy zálohovat, jak dlouho zálohy ponechat, za jaké podmínky odmazávat, jak zálohovat inkrementální zálohy (třeba jestli 1,1,1,1, nebo 1,2,3,4,1,2,3,4 - tím myslím level inkrementální zálohy.) drží vše kompresované a deduplikované, tedy stejný soubor v různých adresářích a na různých serverch je v záloze jednou) zálohuje jednoduše win i lin.

[Martin H.]

Upravil jsem kód:

  IN=/home/user
  for f in $IN/*.7z; do
      dir=$(date -d @$(stat -c %Y $f) +%Y/%m/%d)
      echo $dir
      #mkdir -p "$dir"
      #mv -vi "$f" "${dir}/"
  done

Výsledkem je výpis datumů ze všech souborů, které se na uvedené cestě nacházejí. Takže teď už jen vybrat ten d=01 a je to.

[Michal Kubeček]

for f in ${IN}/*.7z; do
    if [ "$(date -d @$(stat -c %Y $f) +%d" = 01 ]; then
        ...
    fi
done

[Martin H.]

Doplnil jsem závorku (která chyběla)

for f in ${IN}/*.7z; do
    if [ "$(date -d @$(stat -c %Y $f) +%d)" = 01 ]; then
        echo $f
    fi
done

Píše 
Line 2: [01 Command not found
Line 2: [02 Command not found
Line 2: [03 Command not found
Line 2: [04 Command not found
Line 2: [05 Command not found
Line 2: [06 Command not found

Ještě je tam nějaká chyba, ale tomu nerozumím. Jaký příkaz?

Pokud opravím hranaté závorky, pak je výstup takto:

for f in ${IN}/*.7z; do
    if [ "$(date -d @$(stat -c %Y $f) +%d)"] = 01 ; then
        echo $f
    fi
done

Píše 
Line 2: [01] Command not found
Line 2: [02] Command not found
Line 2: [03] Command not found
Line 2: [04] Command not found
Line 2: [05] Command not found
Line 2: [06] Command not found

Kde je tam chyba? Já jí nevidím...

[Michal Kubeček]

Určitě jste to napsal přesně tak, jak to máte tady? Ten výstup vypadá, jako byste vynechal mezeru mezi levou hranatou závorkou a uvozovkami. (Nesmíte zapomínat, že i když ta hranatá závorka vypadá jako konstrukce jazyka, ve skutečnosti je to pořád jen alias pro test a je potřeba ji chápat jako příkaz, od kterého je první argument oddělen mezerou.)

[Martin H.]

Jj, přesně. Ty mezery na začátku a konci jsem neměl.

Tak toto jsem netušil, že to není jen ohraničení příkazu a mezera je nutná. Zase jsem chytřejší, moc díky.

Vyřešeno, teď to chodí skvěle

[Jindřich Makovička]

Akorát nesmíte mít mezery v názvech souborů - chybí uvozovky kolem $f. Zkuste ten skript pastnout do https://www.shellcheck.net/.

[Andrej]

Akorát nesmíte mít mezery v názvech souborů

Může. Při návrhu takových skriptů je vhodné na tyhle věci myslet. Chyby ve zpracování mezer je lepší pohlídat a odstranit hned v úvodu, protože jinak člověka jednou spolehlivě střelí do nohy. (Otázka není zdali, ale kdy.)

[Andrej]

Tak mi přijde, že většina navrhovaných řešení nesplňuje některé důležité předpoklady, jako například:

• práce s mezerami v názvech souborů (i na začátku a konci názvu, samozřejmě).
• nezávislost na systémovém locale.
• rekurzivní průchod podadresáři.

Tady je řešení, které bych použil já, kdybych potřeboval najít soubory změněné prvního.

find -type f -printf '%Td %p\n' \
| while read line; do
    ((10#"${line%% *}" == 1)) && echo "${line#* }"
  done