abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 23:44 | Nová verze

Google Chrome 95 byl prohlášen za stabilní. Nejnovější stabilní verze 95.0.4638.54 přináší řadu oprav a vylepšení (YouTube). Opraveno bylo 19 bezpečnostních chyb. Za nalezení nejvážnější z nich bylo vyplaceno 20 000 dolarů. Vylepšeny byly také nástroje pro vývojáře (YouTube).

Ladislav Hagara | Komentářů: 0
včera 21:00 | IT novinky

Google představil telefony Pixel 6 a Pixel 6 Pro. Předobjednat je lze za 599 a 899 dolarů. Z Česka a ze Slovenska zatím stále ne.

Ladislav Hagara | Komentářů: 5
včera 20:33 | Nová verze

Julius je open source reimplementace počítačové hry Caesar III. Vydána byla verze 1.7.0. Julius potřebuje ke spuštění originální média Caesar III. Lze zakoupit na GOG.com nebo na Steamu.

Ladislav Hagara | Komentářů: 1
včera 12:44 | IT novinky

Apple představil nové MacBooky Pro s novými vlastními čipy M1 Pro a M1 Max. Nejvýkonnější M1 Max má na sobě 10 CPU jader a 32 GPU jader. Vývojáři Asahi Linuxu si díky podpoře na Patreonu nové MacBooky Pro již objednali.

Ladislav Hagara | Komentářů: 28
včera 11:44 | IT novinky

Rodina produktů Raspberry Pi se rozrostla o rozšiřující desku Raspberry Pi Build HAT umožňující propojit Raspberry Pi s motory a senzory LEGO Technic z portfolia LEGO Education SPIKE. Současně byl představen 48W napájecí zdroj pro Raspberry Pi Build HAT a knihovna pro Python Build HAT.

Ladislav Hagara | Komentářů: 0
18.10. 18:33 | Nová verze

VKD3D-Proton byl vydán ve verzi 2.5. Jedná se fork knihovny vkd3d z projektu Wine pro Proton. Knihovna slouží pro překlad volání Direct3D 12 na Vulkan.

Ladislav Hagara | Komentářů: 1
18.10. 17:11 | Nová verze

Rozšíření GNOME Shellu Dash to Dock bylo po roce vydáno v nové verzi 70. Přidána byla podpora GNOME Shellu 40.

Ladislav Hagara | Komentářů: 0
18.10. 07:00 | Zajímavý software

L0phtCrack (Wikipedie), nástroj pro auditování a obnovu hesel v Microsoft Windows, je nově open source. Zdrojové kódy nejnovější verze 7.2.0 byly zveřejněny na GitLabu.

Ladislav Hagara | Komentářů: 4
15.10. 21:44 | IT novinky

V dubnu letošního roku byla hodnota Bitcoinu, decentralizované kryptoměny téměř 65 000 dolarů. V červnu hodnota klesla pod 30 000 dolarů. Aktuálně opět překonala 60 000 dolarů.

Ladislav Hagara | Komentářů: 51
15.10. 16:00 | Nová verze

Společnost PINE64 stojící za telefonem PinePhone, notebooky Pinebook a Pinebook Pro, IP kamerou PineCube, hodinkami PineTime, páječkou (pájecím perem) Pinecil, zdroji PinePower nebo RISC-V vývojovou deskou PineCone publikovala na svém blogu říjnový souhrn novinek (YouTube) a představila nový vylepšený PinePhone Pro.

Ladislav Hagara | Komentářů: 25
Kolik monitorů (obrazovek) používáte současně?
 (49%)
 (36%)
 (14%)
 (1%)
Celkem 375 hlasů
 Komentářů: 29, poslední včera 07:04
Rozcestník



Dotaz: fread binárního souboru 16bit dat do 32bitového pole

7.8. 01:01 Jirka | skóre: 25
fread binárního souboru 16bit dat do 32bitového pole
Přečteno: 338×
Zdravím všechny,
dá se nějak přímo načíst binární soubor, který obsahuje např. 1000000 16bitových hodnot do unsigned int pole[1000000] ?
Načítá mi to po dvou hodnotách do jedné buňky jako 32bitové číslo, což je špatně. Mezikrok v podobě 16bit pole samozřejmě funguje, ale raději bych tolik neplýtval pamětí. Díky. :-)
Dokud to funguje, nešťourej se v tom!...

Řešení dotazu:


Odpovědi

Řešení 1× (Jirka (tazatel))
Jendа avatar 7.8. 01:27 Jendа | skóre: 77 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Nedá. Použil bych dočasné pole, stačí třeba 128 bajtů (overhead fread je malý, a pokud použiješ fread_unlocked, tak ještě menší) a do něj to vždycky načetl a přesypal. Nebo řešíš interní buffery, co si fread udržuje?
Turn ecology up to eleven! | Měl jsem meruňkovou buchtu a vinnou klobásu = na návštěvě byli Schillerová a Babiš
7.8. 09:07 Jirka | skóre: 25
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Tady se jedná o globální pole o velikosti 12mega, ve kterým rovnou probíhají i výpočty. Ale jedno 16bitové globální pole potřebné velikosti už v programu mám, využité jen pro zápis, jinak zahálí, tak se využije i pro čtení. Oboje se dělat najednou asi nebude. :-D
Díky. :-)
Dokud to funguje, nešťourej se v tom!...
Jendа avatar 7.8. 12:17 Jendа | skóre: 77 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
No a? To se dělá tak jak píšu: funkce, která to pole plní, si udělá třeba na stacku, pole o pár prvcích, a pak vždycky načte pár prvků do tohoto pole a nasype to do toho globálního, načte dalších pár prvků a nasype do toho globálního atd.

Pokud bys používal přímo read, tak by toto dočasné pole muselo mít tak megabajt. Pokud ale používáš fread, tak u tohoto dočasného pole stačí řádově těch 128 bajtů.
Turn ecology up to eleven! | Měl jsem meruňkovou buchtu a vinnou klobásu = na návštěvě byli Schillerová a Babiš
7.8. 05:37 Radovan
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Byla by jedna dvaatřicetibitová proměnná, kterou si rozřízneš na dvě půlky, plýtvání pamětí?
7.8. 08:54 Jirka | skóre: 25
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Mám dojem, že např. 32bitový systém, když v něm vytvořím 16bit proměnnou, těch zbylých 16 bitů neumí využít. Kdyžtak mě někdo opravte.
Dokud to funguje, nešťourej se v tom!...
11.8. 08:00 10minuteman
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Ja to kdysi řešil tak, že jsem měl union { uint32_t, uint16_t[2] }, skrze ten jsem to konvertoval. Možná je to ale oficiálně UB.
7.8. 08:59 debian+ | skóre: 26 | blog: analyzy
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Standardne je int vacsi ako 2B, tak to musis spracovat nejak tak.
#include <stdio.h>
#include <stdint.h>
#include <string.h>

// Licence: CC0

#define COUNT 10

int main()
{
	int a;
	uint16_t data[COUNT]={0};
	FILE *file;
	uint16_t tmp;
	
	// nastavi hodnoty
	for(a=0;a<COUNT; a++)
		data[a]=a;
	
	// ulozi hodnoty
	file=fopen("data.bin", "wb");
	if(file == NULL)
		return(1);
	if(fwrite(data, COUNT*sizeof(uint16_t), 1, file) != 1)
		return(2);
	fclose(file);
	
	// mazem data
	bzero(data, COUNT);
	
	// nacitavam data zo suboru
	file=fopen("data.bin", "rb");
	if(file == NULL)
		return 3;
	for(a=0;a<COUNT; a++) // nacitava subor po sekvencne, da sa aj blokovo
	{
		if(fread(&tmp, sizeof(uint16_t), 1, file) != 1)
			return 4;
		data[a]=tmp;
	}
	fclose(file);
	
	// kontrolujem, ci nacitalo to, co som zapisal
	for(a=0;a<COUNT; a++)
		if(data[a] != a)
		{
			fprintf(stderr, "data[a] != a: %u != %d\n", data[a], a);
			return 5;
		}
	return 0;
}
debian.plus@protonmail.com
7.8. 13:31 debian+ | skóre: 26 | blog: analyzy
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Spravne je riadok 29:
bzero(data, COUNT*sizeof(uint16_t));
debian.plus@protonmail.com
Řešení 1× (Andrej)
10.8. 22:46 R
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Fuj, co je to za sracku?
7.8. 13:54 rastos | skóre: 62 | blog: rastos
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Keďže pravdepodobne sizeof(int)>=sizeof(int16_t), tak
int pole[1000000];
fread(pole,sizeof(int16_t),1000000,f);
int16_t *p=(int16_t *)&(pole[0]);
... a "p" môžeš použiť ako pole: p[i]
Jendа avatar 7.8. 14:19 Jendа | skóre: 77 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Jasně, ale on tam pak předpokládám potřebuje dělat nějaké int32 operace inplace.

Ale teď mě napadla zběsilost, jak to udělat bez paměťového overheadu jedním načtením: načte to do druhé poloviny pole jako int16 a pak to začne inplace konvertovat (tj. bude číst od poloviny pole int16 a zapisovat je jako int32 od začátku). Teoreticky to vypadá dobře, prakticky narazí na problém, že tam bude aliasing pointerů a překladač to kvůli tomu nejspíš nezvládne autovektorizovat (je na to instrukce v SSE4.1 a AVX2: pmovsxwd: Sign extend packed 16-bit integers in a to packed 32-bit integers, and store the results in dst.) a ukáže se, že udělat si bokem malý scratchpad bude výhodnější.
Turn ecology up to eleven! | Měl jsem meruňkovou buchtu a vinnou klobásu = na návštěvě byli Schillerová a Babiš
10.8. 22:50 R
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Bola to prva vec, co mi napadla. Urobi by som to tak bez rozmyslania. Je to jeden for cykus.

Rozmyslat o nejakej vektorizacii je nezmysel. Aj moj stary Celeron, ktory ma akurat tak prvu generaciu SSE, to predsa zvladne okamzite. V porovnani s nacitanim z disku je to zanedbatelny cas.
11.8. 00:37 Andrej | skóre: 49 | blog: Republic of Mordor
Rozbalit Rozbalit vše Re: fread binárního souboru 16bit dat do 32bitového pole
Mezikrok v podobě 16bit pole samozřejmě funguje, ale raději bych tolik neplýtval pamětí.

Huh? Vždyť není třeba nikde plýtvat pamětí:

void stretch16b32b(void* array, size_t size) {
  const uint16_t *input = (uint16_t*)array + size - 1;
  uint32_t *output = (uint32_t*)array + size - 1;
  while (output >= (uint32_t*)array) { *output-- = *input--; }
}

Tady je totéž v nějakém kontextu:

#include <errno.h>
#include <stddef.h>
#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>

static void stretch16b32b(void* array, size_t size) {
  const uint16_t *input = (uint16_t*)array + size - 1;
  uint32_t *output = (uint32_t*)array + size - 1;
  while (output >= (uint32_t*)array) { *output-- = *input--; }
}

static int try_close(FILE *f) {
  int errors = 0;
  if (ferror(f)) { fputs("Read error\n", stderr); ++errors; }
  if (fclose(f)) { perror("Close error"); ++errors; }
  return errors;
}

static int fread16b(const char* file, void *array, size_t size) {
  FILE *const f = fopen(file, "r");
  if (!f) { perror("Open error"); return 0x1; }
  size_t items = fread(array, sizeof(uint16_t), size, f);
  if (items != size) {
    fputs("Too few elements or read error\n", stderr);
    return 0x2 + try_close(f);
  }
  if (fread(array, 1, 1, f)) { fputs("Input too long\n", stderr);
                               return 0x4 + try_close(f); }
  if (!feof(f)) { fputs("This must not happen\n", stderr);
                  return 0x6 + try_close(f); }
  const int retval = try_close(f);
  if (retval) { return 0x8 + retval; }
  return 0;
}

static size_t readuint(const char *input, int *error) {
  char *end;
  errno = 0;
  const size_t result = strtoul(input, &end, 10);
  if (errno) { perror("Invalid number\n"); ++*error; return 0; }
  if (*end || input == end) { fputs("Invalid number\n", stderr);
                              ++*error; return 0; }
  return result;
}

int main(int argc, const char *const *argv) {
  if (argc != 3) {
    fprintf(stderr, "Usage: %s <number of shorts> "
                    "<input file>\n", argc ? argv[0] : "program");
    return 0x1;
  }

  int error = 0;
  const size_t size = readuint(argv[1], &error);
  if (error) { return 0x1 + error; }

  uint32_t *const array = malloc(size * sizeof(uint32_t));
  if (!array) { fputs("Out of memory\n", stderr); return 0x4; }
  const uint32_t *const end = array + size;

  const int retval = fread16b(argv[2], array, size);
  if (retval) { free(array); return 0x10 + retval; }

  stretch16b32b(array, size);
  for (const uint32_t *i = array; i < end; ++i) {
    if (printf("%u\n", *i) < 0) { free(array); return 0x5; }
  }

  free(array);
  return 0;
}

Přeložíme to…

clang -std=c11 -march=native -O3 -Wall -Wextra -pedantic compactread.c -o compactread

…a trochu to otestujeme:

Příklad 1 (little endian):

$ echo -en '\x1\x0\x2\x0\x3\x0\x4\x0\x5\x0\x6\x0\x7\x0' | ./compactread 7 /dev/stdin
1
2
3
4
5
6
7

Příklad 2 (little endian):

$ echo -en '\x1\x1\x1\x1' | ./compactread 2 /dev/stdin
257
257

Příklad 3 (little endian):

$ echo -en '\xff\xff' | ./compactread 1 /dev/stdin
65535

Příklad 4 (naprosto k hovnu, ale valgrindem taky projít musí):

$ echo -en '' | ./compactread 0 /dev/stdin

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.