Dotaz: D: class reference to void*

[Jardík]

Potřebuji v D pracovat s jednou knihovnou v C, která má callbacky a jako user_data void*. Potřebuju té fci předat pointer na instanci mé třídy, takže přetypuji na void*:

// C interface

alias extern(C) void function(void*) CallbackFunc;

extern(C) extern void nejaka_c_fce(CallbackFunc func, void* data);

extern(C) extern void cekej_na_callback();

// 

class Bla
{
  uint[] nejakyData;

  this()
  {
    nejakyData = new uint[1024*1024*10]; // 40M
    nejaka_c_fce(&cCallback, cast(void*)this);
  }

  void callback()
  {
    // něco tady
  }

  static extern(C) cCallback(void *data)
  {
    Bla self = cast(Bla)data;
    self.callback();
  }
}

// ...

Bla bla;

void main()
{
  while (true)
  {
    bla = new Bla();

    cekej_na_callback();
    // tahle fce čeká na nějaký data a až dorazí
    // tak zavolá ten callback v tomhle samým vlákně,
    // pak vrátí
  }
}

Něco v tom stylu výše. Referenci na objekt samozřejmě držím stranou, dokud není zavolán callback, takže problém se zrušením objektu by neměl nastat (a ani nenastane, o čemž jsem se přesvědčil přidáním destruktoru).
Problém je, že po 4 iteracích to spadne na alokaci toho pole (po více, když zmenším velikost). Nějaký problém s GC a přetypováním?
Tady je zkompilovatelný kód v D, kde je něco podobného, z nějakého důvodu to padá stejně jako můj kód výše, pokud z kódu odstraním všechny přetypování const(void*)this, tak kód funguje.

import std.stdio;
import core.thread;
//import wayland.callback;

class Callback
{
	void delegate(uint) m_callback;
	Callback m_next;
	uint[] m_lotsOfData;
	
	public this(void delegate(uint) cb)
	{
		writefln("Callback %s create", cast(void*)this);
		m_lotsOfData = new uint[1024*1024*10]; // 40M
		writefln("Callback %s alloc done", cast(void*)this);
		m_callback = cb;
	}
	
	~this()
	{
		writefln("Callback %s destroy", cast(void*)this);
	}
	
	public void call(uint bla)
	{
		m_callback(bla);
	}
}

class Bla
{
	Callback m_callbacks;
	Callback m_last;
	
	public Callback createCallback(void delegate(uint) cb)
	{
		Callback ret = new Callback(cb);
		
		if (m_last is null)
			m_callbacks = ret;
		else
			m_last.m_next = ret;
		
		m_last = ret;
		
		return ret;
	}
	
	public Callback createCallback(void function(uint) cb)
	{
		return createCallback( (uint bla) { cb(bla); } );
	}
	
	public void run()
	{
		while (m_callbacks !is null)
		{
			Callback cb = m_callbacks;
			
			m_callbacks = cb.m_next;
			cb.m_next = null;
			
			if (m_callbacks is null)
				m_last = null;
			
			cb.call(111);
		}
	}
}

Bla bla;

void proc(uint serial)
{
	writeln("call");
	Thread.sleep(dur!("msecs")(10));
	bla.createCallback(&proc);
}

void main()
{
	bla = new Bla();
	bla.createCallback(&proc);
	
	bla.run();
}

/*
Display display;
SyncCallback cb;

void proc(uint serial)
{
	writeln("sync");
	Thread.sleep(dur!("msecs")(10));
	cb = display.sync(&proc);
}

void main()
{
	display = new Display(null);
	
	cb = display.sync(&proc);
	
	while (true)
		display.dispatch();
}
*/

---

---

Odpovědi

[gamer]

Jseš si jistý, že třída v D bude binárně kompatibilní se třídou v C++? Já si myslím, že to zaručeno není:

http//www.digitalmars.com/d/1.0/class.html

The D compiler is free to rearrange the order of fields in a class to optimally pack them in an implementation-defined manner.

[pavlix]

Nečetl jsem kód, ale proč řešíš binární kompatibilitu, když on chce podle všeho pouze protáhnout generický pointer skrze C API zpět do D.

[gamer]

Potřebuji v D pracovat s jednou knihovnou v C, která má callbacky a jako user_data void*. Potřebuju té fci předat pointer na instanci mé třídy, takže přetypuji na void*

[pavlix]

Potřebuji v D pracovat s jednou knihovnou v C, která má callbacky a jako user_data void*. Potřebuju té fci předat pointer na instanci mé třídy, takže přetypuji na void*

[gamer]

No zjevně to chápeme každý jinak, takže se k tomu bude muset vyjádřit původní autor.

[pavlix]

Možná se autor nevyjádřil zpočátku úplně přesně, ale vzhledem k tomu, že přiložil i kód, tak je zcela jednoznačné, co chtěl sdělit. Název user_data se běžně používá pro pointer, který se předává společně s callbackem, aby byl tomuto callbacku předán a tedy vrácen zpět.

Stejná technika se implicitně používá v objektově orientovaných jazycích, kdy se k nějaké události registruje metoda i s objektem, nad kterým se má zavolat. V jazycích, které nedisponují takovými prostředky (například C), je potřeba toto provádět explicitně.

Registrující či asynchronní funkce v takovém případě user_data neinterpretuje, udržuje je pouze ve formě generického pointeru za účelem předání zpět do modulu, který ji volal.

[Jardík]

Takto

[gamer]

Možná to nefunguje z tohoto důvodu:

http://www.digitalmars.com/d/1.0/garbage.html

void* p;
...
int x = cast(int)p;   // error: undefined behavior

garbage collector v D takové přetypování nedovoluje udělat

[Jardík]

Já nepřetypovávám na int, přetypování pointeru na nějaký číselný typ o jiné velikosti je blbost. O co se já ale pokouším je přetypovat referenci na instanci té třídy na "Céčkový" void* pointer, předat ho C funkci, ten se mi potom vrátí v callbacku, přetypuji ho zpět na referenci a chci ten objekt použít. Během doby, kdy je pointer uchováván někde uvnitř Céčkových struktur referenci na objekt držím v mém kódu, aby objekt nebyl odstraněn GC.

Jak ukazuji v 2. kódu výše, i když daný void* pointer nepředám do žádné fce, tak už kvůli samotnému přetypování na void* (abych dostal adresu) ve writefln() způsobuje nějaký trable v GC, jinak si nedokážu vysvětlit, že to spadne při alokaci toho pole, vidím to na nějaké rozbití GC struktur při přetypování, když to totiž odstraním, tak program spadne až dojde paměť, nikoliv po 4 iteracích.

[gamer]

Přečti si všechno, co se píše v tom odkazu. Je úplně jedno, jestli přetypováváš na int nebo na instanci nějaké třídy. Navíc garbage collector v D se může kdykoliv rozhodnout přesunout ten objekt v paměti jinam, takže jakýkoliv void pointer ztrácí platnost (což bude ten důvod, proč to padá):

A copying garbage collector can arbitrarily move objects around in memory

Možný workaround by byl získat pointer na referenci místo objektu, ale musel bys zajistit, že ta reference nezanikne a taky to není hezké řešení.

[Jardík]

Tak jsem odstranil všechny writefln v destruktorech, co jsem tam měl pro debug účely a všechno zázračně funguje. Vypadá to, že se tomu nelíbilo to přetypování na void* v destruktoru.

Ale tím, že "copying garbage collector" mi může hýbat s objekty jste mě zarazil. Ale to bych asi pořešil něčím jako mít strukturu, v ní referenci, alokovat strukturu přes malloc (tj. GC ji nebude rušit), říct GC, že v ní mohou být reference, předat pointer na onu strukturu do C fce, GC stále bude hlídat data v té struktuře a vidět tu referenci (??), a ani bych pak nemusel držet referenci na objekt v D kódu (??). Nebo by to tak nebylo ok?

[pavlix]

A copying garbage collector can arbitrarily move objects around in memory

To zní docela zajímavě. Možná by Jardíkovi pomohl odkaz na nějaké howto jak předávat callbacky s odkazem na třídu, protože to při kombinování D a C musí být každodenní use case. Není něco takového? Přecijem je D novější jazyk než C a tudíž se dá počítat, že chce fungovat i ve stávajícím ekosystému.

[Jardík]

Nakonec jsem našel příklad, jak to udělat:

// Typical C-style callback mechanism; the passed function
// is invoked with the user-supplied context pointer at a
// later point.
extern(C) void addCallback(void function(void*), void*);

// Allocate an object on the GC heap (this would usually be
)// some application-specific context data.
auto context = new Object;

// Make sure that it is not collected even if it is no
// longer referenced from D code (stack, GC heap, …).
GC.addRoot(cast(void*)context);

// Also ensure that a moving collector does not relocate
// the object.
GC.setAttr(cast(void*)context, GC.BlkAttr.NO_MOVE);

// Now context can be safely passed to the C library.
addCallback(&myHandler, cast(void*)context);

extern(C) void myHandler(void* ctx)
{
    // Assuming that the callback is invoked only once, the
    // added root can be removed again now to allow the GC
    // to collect it later.
    GC.removeRoot(ctx);
    GC.clrAttr(ctx, GC.BlkAttr.NO_MOVE);

    auto context = cast(Object)ctx;
    // Use context here…
}