Dotaz: Zmenšení velkého obrázku (650MB)

[zombik]

Dobrý den,

řeším jedem malý problém. Mám velký obrázek (650MB) ve formátu tiff a chci jej zmenšit. Zkoušel jsem ImageMagick, ale ten mi hlasí "alocation memory failed". Nevite o programu, který by byl schopen zacvičit s takovýmto souborem?

Dekuji

Jura D.

Odpovědi

[Petr Šobáň]

A kolik máš fyzicky v PC ram ?

Pokud málo tak to asi nikdo nezvládne protože potřebuješ podle mě blok o velikosti 650M do kterého by se ten tiff nahrál, pak nějakou ram pro převod a zápis + něco na chod OS atd....

[Michal Kubeček]

Proveditelnost by neměla záviset na množství fyzické paměti, ale na tom, kolik je k dispozici paměti virtuální. Jen to samozřejmě bude poněkud pomalejší…

[Petr Šobáň]

Ale závisí to na fyzické paměti, pro správnou funkci potřebuje načíst určitou část do ram - tento úsek většinou musí být souvislý, ale pokud má málo ram tak jsou v ram volné bloky roztroušené a nenajde se potřebný volný blok v celku. (i když tam ta volná paměť je, nevím jak je ten program dělaný ale předpokládám že aspoň pro jeden řádek musí být místo ve fyzické ram) a proto se mu nepovede alokace. Kdešto pokud je ram více snáže se najde volný blok o požadované délce.

[Luboš Doležel (Doli)]

K čemu souvislé bloky ve fyzické paměti, když se používá paměť virtuální? Ta už se může namapovat kamkoliv.

[Michal Kubeček]

Souvislost fyzické paměti - nebo vůbec fyzické adresy stránek - procesy nezajímá, k těm se vůbec nedostanou. Všechno kromě příslušné části jádra pracuje s virtuální pamětí. Jinak jsem si teď zkusil vyrobit TIFF 15000x15000 pixelů (velikost 644 MB) a convert mi ho bez problémů zmenšil na 1500x1500, jen při tom potřeboval skoro 2 GB paměti (samozřejmě virtuální).

[Petr Šobáň]

To jste na omylu program požádá třeba o 1M ram a tu potřebuje dostat v celku, takže pro alokaci musí být v RAM volný blok o velikosti 1M.

Ovšem pro program se musí přidělit souvyslý blok o velikosti 1M jak to jádro udělá je tomu programu jedno - samozřejmě to jádro může rozdělit do více nesouvyslých bloků - ovšem mám dojem že dnešní jádra toto neumí.

Samozřejmě pokud program bude požadovat třeba 10 bloků o velikosti 1M tak těch 10 bloků nemusí být fyzicky souvislé.

[cronin]

program požádá třeba o 1M ram a tu potřebuje dostat v celku, takže pro alokaci musí být v RAM volný blok o velikosti 1M.

V Linuxe je to pravda, v BSD nikoli, tam neexistuje fragmentacia pamate.

[Petr Šobáň]

Ono i v Linuxu se dělá na tom aby se volné bloky spojovaly, mám dojem že je to popsáno v nějakých jaderných novinách.

Prostě program mu to napsal jasně = ImageMagick, ale ten mi hlasí "alocation memory failed"

Takže uvolnit paměť, aby jí bylo fyzycky více, případně skusit přidat RAM fyzicky, podle mě program potřebuje načíst aspoň jeden řádek obrázku což podle mě dělá dost u tak velkého tifu.

Případně vyskoušet jiný program který není založen na ImageMagicku a který s tím obrázkem bude pracovat jinak a nebude potřebovat tolik RAM.

PS. Teď mě napadlo co si skusit přeložit ImageMagick z src zda v tom balíčku není nějaké omezení třeba pouze na to 1G ?

[Michal Kubeček]

program požádá třeba o 1M ram a tu potřebuje dostat v celku, takže pro alokaci musí být v RAM volný blok o velikosti 1M

Musí být volný blok virtuální paměti, ne fyzické (ta může být klidně celá plná - tedy až na rezervu definovanou v /proc/sys/vm/min_free_kbytes).

[moira]

To jste na omylu program požádá třeba o 1M ram a tu potřebuje dostat v celku, takže pro alokaci musí být v RAM volný blok o velikosti 1M.

Nejsem expert na jadro ale jak to popisujete, tak mi z toho plyne, ze virtualni pamet je prakticky nanic. Resp. pokud by se neco odswapovalo, tak by to musel byt cely alokovany blok pameti. Funguje to opravdu takto? Ja zil doted v predstave, ze fyzicka pamet a pamet jak ji vidi proces spolu vubec nesouvisi a provadi se preklad v procesoru pomoci tabulek.

[Michal Kubeček]

Nefunguje. Alokátor (i ta jaderná část - brk() a mmap(), natož user space - malloc(), new) samozřejmě pracuje s virtuální pamětí.

[moira]

Aha, cili teda pulka bloku pameti zustane v RAM a druha bude na disku. Mezitim se ta odswapovana fyzicka RAM zaplni necim jinym (to je jedno cim) a nasledne nastane potreba priswapovat puvodni odswapovany blok zpet do RAM (rekneme, ze bude potreba). Protoze uz nemuze na sve puvodni misto, bude to nekam jinam. Dojde tedy k tomu, ze onen puvodni blok se ve fyzicke RAM "roztrhne". Proc tedy nejde naalokovat takto "roztrzeny" blok hned na zacatku, ale jak tvrdite, musi byt ve fyzicke RAM souvisly?

Nebo je nekde v me uvaze chyba?

[Michal Kubeček]

Chyba je pouze v tom, že mi přisuzujete něco, co tvrdil kolega Šobáň. Já od začátku tvrdím, že alokátor pracuje s virtuální pamětí a ne s fyzickými adresami.

[moira]

Pravda, omlouvam se, nevsiml jsem si.

[Andrej Herceg]

Tento program alokuje pamäť až kým malloc nevráti NULL (už nie je voľná pamäť). Potom sa každý druhý blok uvoľní a pokúsi sa alokovať blok veľký 2*SIZE. U mňa to vypíše chybu, napriek tomu, že je polovica pamäte voľná (ak sa nemýlim, volá sa to fragmentácia pamäte; častý problém pri používaní malloc).

PS: viem prečo to tak funguje :)

#include <stdlib.h>
#include <stdio.h>
#include <string.h>

#define	MAX	1024*1024
#define	SIZE	1024*1024

char *pointers[MAX];

int main(void)
{
	int 		i;
	char		*tmp;
	char		buf[16];

	for (i = 0; i < MAX; i++) pointers[i] = NULL;

	for (i = 0; i < MAX; i++) {
		pointers[i] = malloc(SIZE);
//		memset(pointers[i], 'A', SIZE);
		if (pointers[i] == NULL) {
			fprintf(stderr, "Nemozem alokovat pamat (pointers)\n");
			break;
		}
	}

	for (i = 0; i < MAX; i += 2) {
		if (pointers[i] != NULL) {
			free(pointers[i]);
			pointers[i] = NULL;
		}
	}

	tmp = malloc(SIZE*2);
	if (tmp == NULL) {
		fprintf(stderr, "Nemozem alokovat pamat (tmp1)\n");
	}

	for (i = 0; i < MAX; i++) {
		if (pointers[i] != NULL) {
			free(pointers[i]);
			pointers[i] = NULL;
		}
	}

	tmp = malloc(SIZE*2);
	if (tmp == NULL) {
		fprintf(stderr, "Nemozem alokovat pamat (tmp2)\n");
	}
	fgets(buf, sizeof(buf), stdin);
	return EXIT_SUCCESS;
}

[Michal Kubeček]

To je sice hezké, ale to pořád pracujete s virtuálním adresním prostorem, ne s fyzickou pamětí.

[Andrej Herceg]

Aha. Takže existuje nejaký program, ktorý na úpravu tiff obrázka používa fyzickú pamäť a nepoužíva virtuálnu?

Samozrejme je pravda, že na úrovni fyzickej pamäte fragmentácia nie je problém (kernel môže dať stránku kamkoľvek a aj tak sa bude zdať, že virtuálna pamäť je spojitá).

[Michal Kubeček]

Ne, proč? User space aplikacím po fyzické paměti nic není, ty s ní vůbec nepřijdou do styku. To je to, co tu celou dobu od začátku tvrdím - že má-li convert problémy s alokací paměti, není třeba přidávat fyzickou paměť, ale stačí dočasně zvětšit virtuální (přidáním swapu). Dokonce i ten zmiňovaný convert si poradí s 32 MB fyzické paměti a 256 MB swapu…

[Andrej Herceg]

Áno je pravda, že stačí pridať akúkoľvek pamäť (teda stačí aj ten swap).

Ale problém s alokáciou pamäte môže spôsobiť aj fragmentácia pri zlom používaní malloc. Ale to som mal napísať k inému komentáru (keďže tam kde som to dal, sa rozoberala fyzická a nie virtuálna pamäť).

[Michal Kubeček]

Tak ještě jeden argument pro ty, kdo stále tvrdí, že je potřeba mít dostatečně velký souvislý blok ve fyzické paměti: právě jsem úspěšně pomocí malloc() alokoval 224 MB blok (pochopitelně virtuální) paměti na počítači s 32 MB fyzické paměti a 256 MB swapem. Kdo nevěří, může si to klidně vyzkoušet sám.

[repli]

Jednou jsem pracoval s obrázke 250 MB (mám 256 MB paměti), v Gimpu jsem ho za pár minut načetl. (Každopádně je to jako páchat sebevraždu)

[Dalibor Smolík]

convert obrazek.jpg -resize 1600x1200 obrazek.jpg (vyžaduje imagemagick)

[Petr Šobáň]

ImageMagic mu nejde málo ram.

[Petr Šobáň]

Ono záleží v čem to je a podle mě se musí aspoň načíst do RAM jeden řádek obrázku naráz a u tiff v velkém rozlišení to dělá třeba několik Mega a programu se nepovede alokovat tak velkou souvislou část, pokud je málo Ram a je třeba moc fragmentovaná.

PS. Proč nám neřekneš kolik tam máš ram ? Na 256M to asi neuděláš. On je totiž rozdíl 250M v 256M fyzické a 650M v 256M fyzické.

[zombik]

Zdravi,

a děkuji za reakce. V PC je celkem 1G RAM a je k dispozici cca 900MB swapu.

Jura D.

[Michal Kubeček]

Zkuste dočasně přidat swapfile (máte-li dost místa na disku). Také zkontrolujte, zda není problémem resource limit (podívejte se na výstup 'ulimit -a').

[Petr Šobáň]

A jak už tu řekly taky bych to skusil s co nejmenším počtem spuštěných démonů a programů, takže povypínat vše co jde a není třeba aby to běželo, a potom to skusit.

[Michal Kubeček]

Na 256M to asi neuděláš. On je totiž rozdíl 250M v 256M fyzické a 650M v 256M fyzické.

Právě jsem zmíněnou operaci, tj. zmenšení 15000x15000 obrázku (644 MB TIFF) příkazem convert z balíčku ImageMagick provedl na stroji s 64 MB fyzické paměti. Mám pro zajímavost zkusit ještě 32 MB?

[Michal Kubeček]

Za slovem ImageMagick má být samozřejmě čárka.

[Aleš Kapica]

Podle mě by to mohlo jít přes nástroje netpbm. Bohužel nemám žádný takhle zrůdně velký obrázek (je to vůbec obrázek? Velikost 650MB by spíš vypadala na image CD?) tak to nemohu vyzkoušet.

[Peter Lehotsky]

Muze to byt nekomprimovany Tiff a v tom pripade to nemusi byt ani barevne (300DPI a vetsi nez A2 resp. A1).

[Michal Kubeček]

Při 1200 dpi by to byla necelá A3…

[Aleš Kapica]

Bohužel teď nemám čas na hraní, ale použijte tifftopnm, pamscale a pak některý z nástrojů pnmtoněco, podle toho jaký chcete výsledný formát..

[Aleš Kapica]

tifftopnm -byrow big.tiff | pamscale -xscale=0.5 -yscale=0.5 | pnmtopng > output.png

Tahle kolona zmenší původní tiff na polovinu a uloží výsledek ve formátu png

[zombik]

Děkuji za pomoc, ale nemám k dispozici pamscale (tifftopnm mám), prestože baliček Netpbm mám naistalovaný. Distribuce je debian testing. Pamscale je součástí jiné verze ?

[Marble]

s/pamscale/pnmscale/

[Aleš Kapica]

pnmscale je v novější verzi netpbm obsolete

[zombik]

Jedná se o mapy zakoupené v největším rozlišení a potřebuji je zmešit pro učely prezentace.

J.D.

[rastos]

Aký soft (hoci aj ne-linuxový) odporúča na spracovanie použiť predajca?

[zombik]

Prodejce nic nedoporučuje. Myslel jsem, že kolegyně si s obrázky poradí v GISu, ale také jí to nešlo a tak to zbylo na mě...

[rastos]

To znamená, že vám predal 650MB dát, o ktorých ani neviete povedať či nie sú random. Super. Koľko ste zaplatili? (Zo zbežného pohľadu na TIFF format špecifikáciu to vyzerá, že TIFF súbor môže mať až 4GB )

[fakenickname]

Btw, zkoušel jsi to převést imagemagickem při minimálním ztížení systému? například v single režimu nebo jestli máš náhodou po ruce nějaké SGIčko či Apple ;)

[R]

Skus namiesto imagemagicku pouzit nieco ine. Mozno otvorit v gimpe alebo v xnview.

[Semo]

Este by som si overil, ze je zapnuta podpora High Memory Support na 4GB. Inak z 1GB fyzickej pamate jadro vyuziva iba cca 900MB. Nie je to zasadny rozdiel, ale trocha to pomoze. Overit sa to da jednoducho prikazom free.

[zombik]

High memory Support je zapnut a je využívana veškerá pamět.

[Aleš Kapica]

Zkusil jsi použít tu kolonu s tím pnmscale? pamscale je v novější verzi, ale to co máš ty bude mít nejspíš tohle. (Přejmenovali to..)

[zombik]

Obrázek se mi podařilo zmenšit pomocí příkazů z Vaší kolony. Děkuji za pomoc! Nešlo mi to použít jako kolona a tak jsem použil příkazy postupně.

tifftopnm big.tiff >vystup.pnm
pnmscale vystup.pnm -xscale=0.1 -yscale=0.1 > vystup_zmenseno.pnm

Toto cvičeni jsem provedl na P4 1.5GHz s 512 MB RAMM a šlo to docela rychle. Děkuji všem za odpovědi a názory na problém.

Zdraví a hezký den přeje.
Jirka Dušek

[Petr Šobáň]

Kolik to sežralo RAM při převodu jste se nekouknul co ?

[cronin]

GIMP by to mal zvladnut.

[klingger]

Vyskúšajte VIPS, ten je priamo robený na takéto veci.

[zombik]

Dobrý den,
vyzkoušel jsem program VIPS (nip2) a provedl požadované změny. Mohu vřele doporučit. Na PC P4 1.5GHz s 512 MB RAMM a 256 MB swapem bylo použito cca 120 MB paměti a cca polovina swapu. Změna velikosti obrázku trvala cca 1-2 minuty a bylo hotovo. Samotné načtení obrázku trvalo do 30 sekund.

Zdraví a hezký den přeje.
Jirka Dušek