Dotaz: čtečka bitů v C, převod do Pythonu

[Milan Uhrák]

Zdravím ...

Mám zase takový specifický problém

Jistý program ukládá 4 znaky neuvěřitelně šíleným způsobem, mám k dispozici makro v C, které slouží pro čtení těch znaků. Jako v C občas něco spíchnu, ale toto jen odhaduji, co vlastně dělá, jistý si nejsem. Navíc ty znaky potřebuju načíst v Pythonu ( tedy to makro z C přepsat do Pythonu ), ale dle popisu nějak nechápu, jak to funguje a to makro ... tápu.

Toto je popis, jak jsou uloženy ty znaky ... to jsem vedle ..

 Bit offset               ...   76    80    84    88    92    96   100   104   108  ...
Char boundaries           |    |-----1-----|-----2-----|-----3-----|-----4-----|    |
Bits in byte order         0010 1010   0001 0111   0001 0011   0000 0011   0000 0010
Bits in bit field order    0101 0100   1110 1000   1100 1000   1100 0000   0100 0000
Char bits in byte order         0111   0010 0011   0001 0011   0001 0010   0000
Hex vals of char bits               7 2         3 1         3 1         2 0
Char val of char bits               'r'         '1'         '1'         ' '

a makro, které to načtení provede : (taky jen odhaduju, co to vlastně dělá - nějaké bitové posuny, masky ale jen hádám )

#define read_bits(data,start,size) \
    ((*((uint64_t*) &(data)[(start) / 8]) >> ((start) & 7)) & (((uint64_t)1 << (size)) - 1))

Osvětlil by mi někdo, co to makro jako dělá ? Tedy tápu, proč je tam uint64_t a hvězdička u toho na začátku, možná je to vymezení typu, se kterým se bude to šibování provádět, ale jako jsem z toho mimo

Děkuji za výklad....

---

---

Odpovědi

[X]

Muzes poskytnout nejaka vzorova data a vystup? To bude mozna jednoduzsi.

[Andrej]

Ty explicitně napsané bitové operace vypadají složitější, než je nutné.

C i C++ mají bitfield (struct s dvojtečkami). Tím by se možná dalo něco zjednodušit. (Ne pokud tam je nějaká hodně netriviální transformace nebo komprese, nicméně pokud jde o extrakci / ukládání některých specifických bitů ve dlouhém řetězci bitů, tam bitfield opravdu hustě pomáhá.)

Co se Pythonu týká, asi bych tu funkci pro manipulaci s bity sesmolil v C nebo C++ a pak zpřístupnil přes SWIG v Pythonu.

[luky]

To je neprenositelne, protoze poradi alokovani bitfieldu neni definovane standardem. Posuvy definovane jsou.

[Milan Uhrák]

Zkuste toto def read_bits(data, start, size): return ((int.from_bytes(data[start // 8:], 'big') >> (start % 8)) & ((1 << size) - 1))

[Milan Uhrák]

šílené .... a ono to fakt funguje (jen místo big musím dát little )

jinak celá omáčka toho je tady.

[X]

A pri tom stacilo si to precist:

Rather than describe everything in terms of byte offsets, I'm going to define the layout as a series of variable-length bit fields. This is a critical part of the item format, because the position of many of the fields can change depending on what comes before it. If I say a certain value is a 3-bit field starting at bit position 150, for example, this translates to bits 6 and 7 of the byte 18 and bit 0 of byte 19 in the data structure. You can read an arbitrary bit field programatically using the following code (in C):

#define read_bits(start,size) \ ((*((unsigned long *) &data[(start) / 8]) >> ((start) & 7)) & ((1 << (size)) - 1))

[Milan Uhrák]

Na tuto část jsem nenarazil, ale myslíte, že by mi to nějak osvětlilo, co ten C kód skutečně dělá abych to mohl přepsat do Pythonu?

[X]

Amatersky bych to popsal takto:

&data[(start) / 8] -- dereference na vychozi byte 150 / 8 = 18

 17          18      19
........|......xx|x.......|...
      ->

(start) & 7 -- zjistim offset 8 & 7 = 0, 9 & 7 = 1 .. 150 & 7 = 6

........|......xx|x.......|...
      ->       67|0

(&data[(start) / 8]) >> ((start) & 7) -- posunu se na zacatek

........|......xx|x.......|...
             ->67|0

((1 << (size)) - 1) -- pripravim si "masku" 1 << 3 = 8 - 1 = 7 0x00000111 - chci tri bity

........|......xx|x.......|...
             ->67|0

((&data[(start) / 8]) >> ((start) & 7)) & ((1 << (size)) - 1)) -- Vyctu tri bity.

Pytnon cte data po celych bytech a musel by si vyresit to "prekrivani" se hodnot..

[X]

prekryvani

[Milan Uhrák]

To tvé osvtělení dává doplňkový obrázek toho, co ten kód vlastně dělá... Je to (alespoň pro mně) vcelku zajímavá exkurze do bitových operací v C na praktickém příkladu. Děkuji.

Ten převod do Pythonu provedla Wivern, a skvěle to funguje ...

[Milan Uhrák]

Jako v tom šoku z nabídnutého řešení jsem vám Wivern zapomněl poděkovat za snahu a čas ... Takže dodatečně díky.