Dotaz: zmena kodovani u 50GB textoveho souboru

[dik]

Ahoj, potrebuji rekodovat z l2 do utf8 50GB textovy soubor,ale osvecene nastroje recode a iconv selzou v dusledku preteceni pameti. Poradi mi nekdo? Diky dik

Odpovědi

[Jan Drábek]

Je možné vůbec tolik paměti naalokovat na normálním stroji (za čistě hypotetických podmínek)?

Nepomohlo by dočastně zvětšit swap někam k 50 GB, sice to bude velice pomalé řešení, ale časem se k řešení snad dopracuje.

[Jan Drábek]

Ještě mě napadá jeden způsob, ale netuším jestli může fungovat a to, pustit to ve stylu

#cat file > recode > file2

[dik]

to nepomuze.... Nakonec jsem si udelal 100GB swapfile na 64bit masine s 16 GB ram a ted cekam navysledek :) dik za snahu, dik

[the.max]

..jen tak pro zajimavost, co muze obsahovat takovy 50gb textovy soubor? nejak si to nedokazu predstavit kolik je tam textu

[Jirka]

ascii art porno

[Heron]

V tom případě by to ale nepotřeboval převádět do utf-8.

[Jirka]

Třeba je to obzvláště perverzní porno.

[Balu]

Niečo podobné mal kamarát astrofyzik na diplomku, nejaké surové záznamy meraní slnečnej aktivity, ale to mal tuším na páskach a spracovával to vo fortrane.

[JS]

Ale to hadam nepotreboval menit kodovani, to asi bylo jen ciste ASCII. Coz o to, takhle velka textova data si dovedu predstavit, ale takhle velka textova data co potrebuji rekodovat? Tipoval bych to bud na nejaky dump databaze, nebo data pro testovaci data pro zpracovani prirozeneho jazyka, treba nejaky korpus nebo tak.

[jirka22]

U textu by neměl být problém rozsekat ho nějakým skriptem na menší soubory (když je vstup 1 bytový tak to jde utrhnout kdekoliv), převést a spojit.

[happy barney]

man split

[Jiří Poláček]

Což takhle si to naprogramovat, třeba v Javě?