Dotaz: obrovský textový soubor - rozdělit bez otvírání

[Rum]

Zdravím a prosím o tip na řešení následujícího problému.

Mám obrovský textový soubor o velikosti 3,3 GB. Jedná se o inbox z thunderbirdu. Tento soubor se v TB přestal zobrazovat, patrně právě z důvodu velikosti. Osvědčené postupy selhaly a tak hledám náhradní způsob. Napadlo mně ten soubor natvrdo rozdělit na třeba 5 menších souborů. Nehledím na to, že pravděpodobně příjdu o maily, které budou v místě zlomu (případně je spojím). Jde taková operace provést, aniž bych ten texťák otevíral? Otevřít se mi jej totiž v ničem nepovedlo (včetně vi) a největší naděje vkládám v nějaký linuxový nástroj, ale moc zběhlý v tom nejsem.

Abychom se tady zbytečně nezabývali tím, že schránku v TB je potřeba udržovat, podotýkám, že ten inbox není můj, jsem jen hasič požáru...

Díky

---

---

Odpovědi

[Rum]

split

[Ladislav Hagara]

Rozdělit lze samozřejmě pomocí příkazu split. Co ale zkusit v Thunderbirdu provést údržbu složek? Zkusit vyexportovat do něčeho jiného?

[Rum]

...no, jak píšu na začátku, osvědčené postupy selhaly. V každém případě split vyzkouším, díky za tip.

[Rum]

...hmm, tak sice vím, jak rozdělit soubor, ale TB je stejně nenačte Nemá někdo nápad, co s tím? Mám teď 7 500MB souboru, o kterých TB tvrdí, že v nich není nic, Opravu jsem zkoušel, exporty importy taky...

[Kit]

Nevím to jistě, ale mám takové tušení, že by ten soubor mohl mít strukturu databáze SQLite nebo jakékoli jiné. V tom případě je jakékoli řezání nesmyslné a je potřeba ji otevřít tím správným nástrojem.

Co o tom souboru tvrdí utilita file?

[Jendа]

Můj Thunderbird to má jako obří texťák, kde je jedna zpráva za druhou + jakýsi index .msf, což je prý exported SGML document text.

[Kit]

Jestli je to obří texťák, mohl by být ve formátu mbox. S tím by si mohl poradit třeba poštovní klient Mutt.

[Rum]

Příkaz file vypíše jen "data"

S tím Muttem nevím, jestli si poradím, ale zkusím to, nic jinéhop v tuto chvíli nevypadá aspoň trochu nadějně...

[dustin]

I obyčejný less zvládne otevřít mnohagigový texťák (samozřejmě jen k prohlížení), pokud nechce člověk skákat na konec. Není problém se podívat, co ty soubory obsahují. Můžeš sem pak postnout ukázky a lze to řešit dál.

Pokud jsou to mboxy, data máš OK, dá se s tím pak pracovat dát.

[dustin]

Jinak i vim je OK, pokud nemá texťák hodně dlouhé řádky (desítky MB) a když si dopředu vypneš zvýrazňování syntaxe, příp. historii změn.

Pokud to bude mbox, jsou nástroje na rozlámání na jednotlivé maily, s těmi si pak můžeš dělat cokoliv.

[Ash]

Vzal bych první splitnutou část, uříznul bych na konci případnou poškozenou zprávu, a zkusil ho načíst a reindexovat.

[Petr Šobáň]

3,3G není zase až tak velký soubor a mělo by to jít bez problémů číst textákem - akorát to možná bude trvat doskákat třeba na konec.....

Ale nebude spíš problém s tím že tam došel nějakej virus ? Mě kdysi se to párkrát stalo že to pošták nechtěl přečíst - většinou byl na vině poslední mail který byl nějaký spam - virus a pod.... a stačilo ho v textáku odstranit a bylo to zase OK.

Takže skuste zjistit co je na konci souboru.

Jinak taky záleží na jakém FS to je zda není problém s velikostí .... 3G viz 32bit OS na FAT atd.....

[Rum]

hmm, tak nevím, někde je bota, otevřu to v less a vidím jen zavináče a stříšky...

[Petr Šobáň]

A to v celém souboru ?

Právě zda to není nějaký virus hrající si na přetečení zásobníku tak tam nacpal hromadu zavináčů

A nebo nějaká chyba na FS (HDD) ?

[Jiří Lisický]

Asi to spíš budou stříšky a zavináče. Stříškou se zobrazuje nějaký control znak. Jako třeba Ctrl-L (formfeed, odstránkování) tam bude zobrazen jako ^L (hexa 0C).

No a ^@ (jako jeden znak) je binární nula, tedy hexa 00. Což je divné.

Zkus nám někde uložit třeba prvních 10kB souboru. Získáš je třeba pomocí

dd if=tvuj-soubor of=prvnich10k bs=1k count=10