Dotaz: Skladování souborů s dlouhým názvem v databázi

[Petr]

Mám historicky cca 1000 souborů s dlouhým názvem a potřeboval bych je v takto původní podobě zachovat a při tom používat. Jsou to soubory jak datové tak i spustitelné (historická dokumentace a prohlížečky jednotlivých formátů). Potřebuji k nim přistupovat z Windows, problém jsou ale dlouhé názvy s diakritikou, není šance je bez přejmenování dát do struktury adresářů. Lze tyto soubory umístit do nějaké databáze a pro použití pro Windows prostě vždy vykopírovat jeden nebo více souborů přímo do C:/ a pak po použití klidně i smazat? S úpravou vykopírovaných souborů nepočítám, jedná se jen o prohlížení.

Odpovědi

[z_sk]

Aké dlhé sú názvy (dĺžka, kódovanie)?

Windows FS umožňuje ukladať aj diakritiku, ale názvy (cez fopen) musia byť v UTF-16, čo viem.

[Petr]

Právě že názvy jsou svou délkou na hranici možností FS, soubor nejde nakopírovat ani do složky s názvem delším jak jeden znak.

[Jendа]

Pojmenoval bych je například jako jejich SHA256 hash, případně jako začátek jména prohnaný programem detox, a původní jméno uložil bokem do souboru jménosouboru.exe.txt. Následně není problém to spravovat skriptem na tři řádky.

[Jendа]

Kdybys to implementoval v Pythonu, tak jako program „detox“ používám tuto funkci:

# https://github.com/django/django/blob/5a468b4c085900ba28b7f8dfa2cb0b50d7699aa6/django/utils/text.py#L385
# zakóduje cestu aby to byl název souboru (e.g. nahradí / za -)
def slugify(value, allow_unicode=False):
  value = str(value)
  if allow_unicode:
      value = unicodedata.normalize('NFKC', value)
  else:
      value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore').decode('ascii')
  value = value.replace("/", "-")
  value = value.replace(".", "-")
  value = re.sub(r'[^\w\s-]', '', value.lower())
  return re.sub(r'[-\s]+', '-', value).strip('-_')

[z_sk]

A index mat v HTML súbore, tam môžeš mať napohľad dlhé názvy (pre používateľa) a v priečinku uložene ako indexy, md5sum alebo čo len chceš.

[X]

Trochu nechapu co je tvuj problem. Mam 1000 souboru a chci je zachovat. No tak je zabal do archivu 'muj_win_trash.zip' a nekam si je uloz. Problem vyreseny.

[Max]

Není, protože on ty soubory chce otevírat. Myslím si, že Jendovo řešení je asi nejlepší. Patlat se s db nedává smysl, je to pár souborů. Jeden script přibalený k archivu je jednoduché a nenáročné řešení.
Zdar Max

[X]

Potřebuji k nim přistupovat z Windows

Chce to otervirat na voknech jednou za rok.. tak to skladovat zabalene staci ne? Skopiruje na wokna a rozbali. Tisic souboru je nic. Nazvy zustanou zachovane ;). Proto nehcapu co se resi.

[Milan Uhrák]

VM ?

[PetebLazar]

O jak velkém objemu dat je rec? Pokud je to v řádu do jednotek GB pak by asi stačilo archiv se soubory (pokud takový existuje) rozbalit do Ramdisku (disk s kompatibilním filesystémem vytvořený v RAM s dedikovaným písmenem disku). Pochopil jsem správně že soubory se nemění, takže není nutné uchovávat změny (v případě potřeby se znovu rozbalí)?

[z_sk]

Ide RAM-disk na MS Windowse?

[Max]

Proč by nešel? A neříkej, že je pro tebe jednodušší napsat komentář, než hodit dvě slova do google. Jinými slovy, styď se :).
Zdar Max

[z_sk]

Je to natívne, alebo ako FUSE?

[PetebLazar]

Řešeních RAMdisku pro Windows je celá řada, já na Win10 používám ImDisk Toolkit.

[Max]

Nativní asi od W2k. Viz "ramdisk.sys" a utilita "Ramdisk.exe". ImDisk by pak měl do Windows nainstalovat driver, takže by to též neměla být čistě userspace záležitost.
Zdar Max

[Petr]

Už sem z práce doma a koukám že debata už jede.

Takže upřesním. Celková velikost souborů je momentálně zhruba do 20ti Gb a jsou uloženy na několika místech, částečně na fat32 na přenosném disku (staré zálohy), částečně na NTFS v počítači s Win10 a většina je uložena na disku v počítači na ext4. Můj záměr byl vytvořit úložiště na ext4 kde mám dost místa a tam mít všechno na hromadě, to nasdílet do sítě k přístupu z Win a na používání v terénu vždy nakopírovat databázi na přenosný disk s NTFS a mít data přístupná i na jiných počítačích s Win. Frekvence používání je taková, že na to půl roku nesáhnu a pak třeba týden potřebuji mít data každý den k dispozici.

[Peter Golis]

Nebol by príklad v názve súboru ktorý sa na Linuxe nedá použiť lebo je moc dlhý? Zatiaľ som sa s takým niečim nestretol, ale neukladám wordové dokumenty s názvom obsahujúcim prvú vetu z neho.

Keď som pozeral Wiki, tak FAT32 (s LFN) a NTFS (v UTF16) a EXT4 mali zhodný limit 255 znakov na názov súboru. Takže nevidím dôvod prečo by sa to nemalo zmestiť na jeden typ FS a na iný nie. Teda ak v názve nie je napr. dvojbodka, ale to bol problém NTFS. Alebo ak náhodou nepovažuješ za názov súboru aj \\, teda znak označujúci adresár ktorý nie je názov súboru. To by mi potom dávalo (ne)zmysel.

Zaujímalo by ma ako to tam nahrávaš.

[PetebLazar]

Není u FAT32 pro názvy použit OEM character set (jednobajtový)? Pokud ano šlo by něm asi uložit s diakritikou na 256 znaků delší názvy, než při uložení v UTF16(NTFS). Mám teplotu 39°C, tak možná píšu z cesty.

[Peter Golis]

Ten limit je na počet znakov, nie bajtov.

Buď trolí, alebo sa snaží nacpať do názvu súboru aj jeho cestu (znaky "\" a "/" sú rozdielne). Ale nechápem prečo to rovno nenechá na NTFS disku keď to v prípade koncového použitia na Windows aj tak na ňom chce mať.

[Petr]

Určitě netrolím, na to nemám ani čas ani povahu. Názvy souborů jsem netvořil já, zdědil jsem to a umístění je od starých CD přes disk s NTFS po ext4 na linuxu. Chci to jen dát dohromady tak, aby to na mohlo být na jednom místě a na přenosném disku použitelné i jinde.

[Peter Golis]

Podľa lexikónu je limit na max. dĺžku názvu súboru rovnaký pre NTFS a aj pre EXT4, teda 255 písmen. Trošku lepšie by na tom mal byť Reiser4 s dĺžkou 3976 bytov, ale ten nepoužívam.

Takže veľa zdaru s podporou takých názvov.

[rastos]

Tento thread sledujem od začiatku a nejak stále tápem. Môžeš uviesť konkrétny príklad, ako nejaké také dlhé meno vyzerá? Koľko má znakov? Ako vzniklo? Má viac ako 255 znakov? Na akom filesystéme ho máš teraz? Kde je problém s presunutím všetkých súborov na ten fileystém, kde teraz máš súbor s najdlhším menom? Ak súbor s najdlhším menom na nejakom filesystéme máš, tak zjavne ten filesystém vie uchovávať súbory s tak dlhým menom.

Čo sa týka diakritiky, tak windowsy sú interne UCS-2/UTF-16/unicode (či ako to dnes je). Teda na jeden znak má (aspoň?) dva bajty a to vie reprezentovať všetky znaky s ktorými sa stretneš (tipujem, že znaky, ktoré sa nevojdú do 2 bajtov sú tak exotické, že ich tam nemáš).

Windowsy vedia vraj pracovať s cestou dlhou až 32kB. Link. Nie je jasné do akej miery je tam rozdiel medzi cestou a menom súboru. Ide len o to, či ten prístup použije aplikácia.

Pre ext2/3/4 je meno súboru len postupnosť bajtov, ktorá je spravidla interpretovaná ako UTF-8. Limit je teda na počet bajtov a nie znakov. Ak nemáš názvy súborov zo samých znakov s diakritikou, CJK či arabčinou, tak nech je ten limit prakticky bajočko ~200 znakov. Prekračuješ to? Daj príklad.

Keď chceš kanón na vrabce, tak si to ulož do SQL databázy a urob si k tomu web server, ktorý to bude odtiaľ vyťahovať a ponúkať ako URL. Limit na dĺžku URL nie je a s uložením na FS nech si poradí browser.

Keby si denne premenoval ručne 100 súborov (čo je práca na 1-2 hodiny), tak už to máš.

[Jendа]

Ak súbor s najdlhším menom na nejakom filesystéme máš, tak zjavne ten filesystém vie uchovávať súbory s tak dlhým menom.

Píše že to má v rootu FS a nemůže to dát do podadresáře.

Dostal poraděno že může soubory přejmenovat a pak přejmenovávat zpět on-demand, nebo že si může vyrobit „loopback“ a namapovat ho jako další písmenko, a pár dalších věcí, ale nijak se nevyjádřil a furt řeší jak to udělat aniž by napsal proč jsou popsané věci špatné.

Na Linuxu bych ještě zvážil udělat si FUSE které bude soubory materializovat, ale těžko říct jak se tohle dělá na Windows.

Windowsy vedia vraj pracovať s cestou dlhou až 32kB. Link. Nie je jasné do akej miery je tam rozdiel medzi cestou a menom súboru. Ide len o to, či ten prístup použije aplikácia.

Píše že aplikace používají náhodné staré API co to neumí.

[Petr]

Byl sem služebně chvíli mimo net.

Řešení popsaná v diskuzi jsou většinou možná ale takřka všechna všechna jsou vázaná na jeden počítač kde mám admin práva.

Myslel jsem že najdu univerzální řešení kdy budu všechno moct dát na přenosný disk a prohlížet na libovolném počítači i tam kde nemám práva takřka na nic. Tenhle bordel vznikl historicky právě neřešením diakritiky, délky cest a sběrem dat od dodavatelů kdy něco přišlo z úložiště, něco na CD a tak podobně. Bůh ví na čem to kdo kdy tvořil. Mezi soubory jsou v některých případech vazby kdy se na sebe přes relativní cestu odkazují, takže přejmenování by znamenalo všechno prohlédnout a předělat.

[OldFrog {Ondra Nemecek}]

Pokud jde o izolované soubory, které nejsou prolinkované (jako to je třeba u html), tak je IMHO nejlepší postup ty soubory přejmenovat tak, aby s nim šlo na běžných souborových systémech bez problému pracovat a potřebná metadata (dlouhý název apod.) evidovat bokem (v .txt souborech, v nějakém archivačním softu apod.). Což již bylo řečeno výše.

[Jendа]

Jak to funguje s tím že ten soubor nejde dát do adresáře? Zkusil jsem si to na ext4 i na NTFS (na Linuxu, možná na Windows bude nějaký limit) - vytvořil jsem soubor s dlouhým jménem v /: touch `cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 255` (na 256 už to odmítne) a pak jsem ho normálně přesouval do adresářů a šlo to.

[panpanika]

afaik je na widlich nekolik zpusobu jak pracovat s cestou a maj ruzny bolesti. jedna z nich je limit 255 znaku. neovlivnis jakej se zrovna pouziva.

[Petr]

Právě že na Win je limit 256 znaků a já k tomu potřebuju z Win přistupovat. Část souborů, i když ne velká, má mezi sebou linky, přejmenování nejde jednoduchým způsobem. Ty Win nejsou vždy moje takže vytváření ramdisku není vždy možné.

[ttttttttttttttttt]

Na Windows (NTFS) jde povolit cesta delší než 260 znaků v registrech. Internety říkají, že to je HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem\LongPathEnabled. Nevím, na co všechno to má vliv, můžeš vyzkoušet.

[Petr]

Tohle jsem neznal a maximální celkovou délku cesty 32 767 znaků bych asi opravdu nepotřeboval překročit, bohužel to platí jen pro WIN10 od určité verze a je třeba zásah do registrů na což nemám všude práva. Je fakt že se to asi dlouho připravovalo, už i Winxp za určitých podmínek dokázaly vytvořit soubor ve struktuře složek a pak ho kvůli dlouhé cestě nedokázaly otevřít ani smazat, jdnou se mě to povedlo ani nevím jak .

[Ovrscout]

Zkuste nějakého jiného správce souborů, z historických důvodů mají některé (např "Průzkumník") omezení cesty na tch 260 znaků nebo kolik, ale není to limitace samotných windows ntfs. Pak by mělo jít normálně vykopírovat do C:\ dle potřeby.

Pokud to ale nemusí být zrovna na C:\ tak by možná bylo elegantnější si vytvořit virtuální HDD(CHD/VHDX) případně obraz CD/DVD(ISO), to totiž jde ve windows přímo namountovat/otevřít na nějaké jiné písmeno a pak s tím normálně pracovat. A ten samotný obraz může být kdekoliv :)