Dotaz: Přesuny souborů, něco jako záloha

[sanoch]

Zdravím všechny zde,

potřebuji přesouvat z dočasného adresáře(TMP) do úložiště a následně mazat soubory v TMP. Problém je, že se soubory do TMP zapisují postupně, je to něco jako cash. Přesouvat pouze dokončené kompletní soubory, dejme tomu každých 15 minut. Skutečně netuším, jak bych toto provedl. Jsem začátečník a proto nejraději GUI, ale nebráním se konzole nebo skriptu.

Předem děkuji za odpovědi a pomoc.

---

---

Odpovědi

[Andrej]

Je to něco jako hotovost? Jojo, stará dobrá hotovost.

Jinak tohle je jezdnoznačně případ XY problému. Zálohovat soubory z /tmp nemá smysl. Pokud chceš zálohovat soubory z /tmp, je v návrhu příslušného systému nebo řešení něco od základu špatně. (Příslušná data by se měla ukládat jinam, jinak, atd.)

V dotazu chybí klíčová informace: Jak se pozná, že je soubor „kompletní“?

• Už ho nemá žádný proces otevřený? Nebo se může třeba stát, že nějaký proces sice soubor zavře, ale tentýž (nebo jiný) proces se k němu později vrátí, otevře ho (znova) a něco tam připíše?
• Nebo má zapisovaný soubor nějaký dočasný název a teprve pak se přejmenuje na zamýšlený název, jak to mají ve zvyku různé synchronizační a stahovací utility? (Pak je identifikace „kompletních“ souborů mnohem snazší.)
• Jde o binární soubory s předem známou velikostí, které jsou „kompletní“, jakmile té velikosti dosáhnou? (Pokud zapisující proces neholduje náhodným přístupům, nedělá lseek64 a nepíše kdovíkam atd. atp., může i takhle primitivní „synchronizace“ fungovat.)

Myslím si, že rozumný další krok je dostat se ze spárů XY problému. Zkus prosím podrobněji popsat, čeho přesně chceš docílit: Jaká jsou to data, jak jsou velká, jak moc na nich záleží (logy, které lze vyhodit? uživatelská data, která mají být i za 10 let bez chyby?), proč by se vůbec měla data zapisovat do nějakého dočasného adresáře, když ve skutečnosti se mají dlouhodobě ukládat (?), jestli se mají kopírovat všechna ta „dočasně nedočasná“ data nebo se ještě nějak filtrují atd.

(Sny o GUI je vhodné odložit do kouta.)

Rozhodně existuje možnost nastavit si nějaký systemd .timer unit, který každých 15 minut něco někam zkopíruje, ale tady je opravdu lepší popsat X a nedělat bezhlavě Y.

[sanoch]

Ano, děkuji. Nevyjádřil jsem se přesně. Jedná se o PLOTY na těžbu Chia. Velikost je cca 110GB.TMP je Ramdisk kvůli rychlosti při tvorbě souboru. Po vygenerování souboru již není v ramdisku používán, tudíž je připraven pro přesun. Bohužel se velikosti souborů mírně liší +-1GB. V úložišti jsou už trvale, nevadí nižší rychlost přístupu.

[Andrej]

Kromě odkazů uvedených níže (z „oficiální“ stránky) existuje i řada dalších hotových řešení, zdá se. Tady je něco na bázi rsync a inotify. Dokonce, jestli to dobře chápu, tam k tomu není (potřebná) žádná .timer unita, protože by to mělo být celé pasivní a “event driven”, jak to má ideálně být, bez nějakých fixních intervalů a opakovaných kontrol.

[AraxoN]

Chia je na all-time-low. Nie je lacnejšie ju kúpiť než ťažiť?

Ale k veci... čo si spomínam, pri plotovaní sa dal vybrať tmp adresár a potom cieľový adresár. Nie je potrebný žiaden skript, Chia plotter to vyrobí v tom tempe a keď je to hotové, presunie to do cieľového adresára. Táto funkcionalita tam bola už pred rokmi.

[X]

Neni cash jako cache. Co to je za soubory? Jaky program je generuje? Nejake stahovani? Proc se nemuzou ukladat do uloziste rovnou?

[sanoch]

Kvůli rychlosti, TMP je Ramdisk. Soubory jsou 110GB a nebudu lhát a mlžit, je to na těžbu Chia.

[Andrej]

Proc tedy nevyuzit oficialni dokumentaci a hotove nastroje.

[Max]

Můžeš použít inotify, což je aplikace na monitoring událostí nad filesystémem. Pokud budeš monitorovat konkrétní adresář, tak můžeš okamžitě zjistit, který soubor byl zapsán a provést nad ním nějakou operaci (třeba ten přesun). Záleží také na provedení, aby jsi si nevytvořil nějaký bottleneck.
Pro Windows existuje něco jako File Watcher, pak existuje pro Linux a jiné os nadstavba nadinotify v podobě fswatch.

Výše zmíněné nástroje jsou k tomu, aby jsi odbavil ty soubory okamžitě po dokončení zápisu.
Můžeš použít i hloupější postup, kdy v intervalech budeš kontrolovat obsah adresáře a soubory, u kterých se nezmění velikost během nějakého času, budeš brát jako dokončené a vhodné pro přesun. Ale opět záleží, jakým způsobem probíhá zápis, zda je tento druh kontroly možný, nebo je třeba použít jiný.
Zdar Max

[Jendа]

Já podobné věci na prasáka řeším tak, že kontroluji soubory co mají čas změny starší než minuta (find /tmp -mmin +1), řeknu že jsou asi hotové když už se na ně minutu nesáhlo, a zpracuju ho. Tohle v cronu.

Samozřejmě se ta časová prodleva budou lišit podle tvého nasazení.

[sanoch]

Všem děkuji za podněty, bojuji s tím. Částečné úspěchy jsou. Až dobojuji, dám vědět.

Ještě jednou děkuji.

[sanoch]

Zdravím všechny zde,

nemohu přijít na způsob, který mi zajistí trvalé heslo pro přístup ke vzdálené ploše. Po restartu vždy vygeneruje nové. Nastavení jsem udělal v GUI, žádné fixování hesla jsem tam neviděl. Pro konzoli jsem nic kloudného nenašel. Stačilo by mi i nastavení bez hesla, mám to pro na oddělené síti.

Předem děkuji za odpovědi a pomoc.

[Jendа]

Já používám x11vnc.

x11vnc -storepasswd

a pak kdykoli/při startu/udělat si na to systemd službu x11vnc -forever -shared v případě systemd/spouštění po SSH/z jiného uživatele je potřeba dát mu -display :0 a v případě jiného uživatele i cestu k .Xauthority; oboje zjistíš výpisem proměnných prostředí DISPLAY a XAUTHORITY na tom běžícím grafickém prostředí (případně ps axue | grep --color XAUTHORITY).

[sanoch]

Starší verze Ubuntu tuto fičuru s klíčenkou nemají? Třeba 20.04 LTS?

[Jendа]

Nevím proč by server měl potřebovat klíčenku, i když VNC je implementováno všelijak. Tohle ukládá heslo (nějaký jeho hash a nevím jak přesně funguje autentizace) do .vnc/passwd.

Ještě jsem si všiml že by ti to stačilo i bez hesla. Když to x11vnc spustíš bez toho předchozího kroku se storepasswd, tak se spustí bez hesla. Já mu teda radši dávám -localhost, pak to poslouchá jenom lokálně, na VNC se připojuju tak, že se tam přihlásím přes SSH a přesměruju si port (-L 5900:localhost:5900).

Jinak pořád nevím jaké je to sdílení plochy které jsi nastavil, asi je to něco specifického pro Ubuntu. S tím neporadím, tahle desktopová prostředí nepoužívám, jen čistá Xka s nějakým „lehkým“ WM, a pro vzdálené adminování právě to x11vnc.

[k3dAR]

reakce v dedikovanem vlakne...