Dotaz: epoll, odebrání deskriptoru

[Jirka]

Ve své aplikaci používám epoll, počet monitorovaných file deskriptorů je v řádu stovek. epoll_wait() předávám buffer 100 epoll_event strukturami. Můj problém je, jak vyřešit odebrání deskriptoru. Ke každému mám přiřazeny "user data", jedná se o ukazatel na strukturu, která obsahuje pointer na funkci a další data spojená s daným typem deskriptoru. Přes epoll_ctl odeberu deskriptor, ale nelíbí se mi, že musím projít celé pole (resp. "jen" do výše zaplnění, což je obvykle ~80%), kontrolovat "user data", a pokud najdu ten správný, tak nastavit user data na NULL a pak takový ignoruji. Jde toto vyřešit nějak lépe?

Odpovědi

[Sten]

Moc nechápu, co děláte. epoll_wait vyplní poskytnuté pole epoll_eventů událostmi na registrovaných deskriptorech. Pokud přes epoll_ctl odeberete nějaký deskriptor, nebude epoll_wait události k tomu deskriptoru vracet, takže ve vráceném poli epoll_data_t asociovaný s tím deskriptorem nebude.

[Jirka]

Já mám na mysli situaci, kdy mi epoll_wait naplní mé pole a zavolání callbacku - řekněme - prvního deskriptoru má za následek odebrání deskriptoru, který už byl taky "připraven" a vrácen do toho pole. Z epollu samozřejmě odeberu přes epoll_ctl, ale ještě mě to nutí projít celé to pole lineárně a hledat, jestli tam už není v připraveném stavu.

[Sten]

man epoll:

If you use an event cache or store all the file descriptors returned from epoll_wait(2), then make sure to provide a way to mark its closure dynamically (i.e., caused by a previous event's processing). Suppose you receive 100 events from epoll_wait(2), and in event #47 a condition causes event #13 to be closed. If you remove the structure and close(2) the file descriptor for event #13, then your event cache might still say there are events waiting for that file descriptor causing confusion.

One solution for this is to call, during the processing of event 47, epoll_ctl(EPOLL_CTL_DEL) to delete file descriptor 13 and close(2), then mark its associated data structure as removed and link it to a cleanup list. If you find another event for file descriptor 13 in your batch processing, you will discover the file descriptor had been previously removed and there will be no confusion.

[Jirka]

Takže si mám vybrat mezi lineárním procházením všech nacachovaných položek při každém odebrání, nebo mezi malloc(), extra dereferencí a případným free() malých wrapper struktur při každém přidávání a volání.

[pavlix]

Vždyť tam píšou, že stačí tu strukturu namísto uvolnění označit jako zrušenou a teprve po projití všech události ji uvolnit.

[pavlix]

Píšeš to dost nesrozumitelně. Trochu mi to připomíná podobné problémy, které jsem s epoll řešil, tedy mám dojem, že konkrétně race condition mezi zrušením objektu a jeho vrácením v epoll. Můj problém byl hlavně v tom, že jsem měl nad epoll abstrakci a tudíž kód, který odhlašoval zdroj událostí neměl přístup k tomu seznamu. Mám dojem, že jsem použil nějaké nehezké dočasné řešení a měl bych se k tomu ještě vrátit a vyřešit to podle těch instrukcí v manuálové stránce.

[pavlix]

Když nad tím tak přemýšlím, tak ta abstrakce vede k tomu, že ty objekty nemají datovou položku pro označení za smazané a tudíž by v mém případě opravdu došlo na speciální objekt, který by tuto položku obsahoval a k tomu obsahoval i odkaz na ten objekt, kterého se to má týkad. To je mírně neefektivní, ale zásadní problém bych v tom neviděl.

[Jirka]

Mé původní řešení je něco takového:

#include <errno.h>
#include <inttypes.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <unistd.h>

typedef struct JRPollable JRPollable;
typedef void (*JRPollableReady)(JRPollable*, uint32_t);
typedef struct JREpoll JREpoll;

struct JRPollable
{
	JRPollableReady jrCallback;
	int jrFD;
	uint32_t jrEvents;
};

struct JREpoll
{
	int jrEpollFD;
	int jrEventsAvail;
	struct epoll_event jrEvents[100];
	
};

int JREpoll_init(JREpoll *jrEpoll)
{
	jrEpoll->jrEpollFD = epoll_create1(EPOLL_CLOEXEC);
	if (jrEpoll->jrEpollFD == -1)
		return errno;
	jrEpoll->jrEventsAvail = 0;
	return 0;
}

int JREpoll_add(JREpoll *jrEpoll, JRPollable *jrPollable)
{
	struct epoll_event ee = { .events = jrPollable->jrEvents,
							  .data = { .ptr = jrPollable } };

	if (epoll_ctl(jrEpoll->jrEpollFD, EPOLL_CTL_ADD, jrPollable->jrFD, &ee) != 0)
		return errno;
	return 0;
}

int JREpoll_remove(JREpoll *jrEpoll, JRPollable *jrPollable)
{
	struct epoll_event kernelBugDummyEv_lt2_6_9;
	if (epoll_ctl(jrEpoll->jrEpollFD, EPOLL_CTL_DEL, jrPollable->jrFD,
				  &kernelBugDummyEv_lt2_6_9) != 0)
		return errno;
	

	int avail = jrEpoll->jrEventsAvail;
	struct epoll_event *events = jrEpoll->jrEvents;
	
	for (int i = 0; i < avail; ++i)
	{
		if (events[i].data.ptr == jrPollable) {
			events[i] = events[avail-1];
			--jrEpoll->jrEventsAvail;
			break;
		}
	}

	return 0;
}

int JREpoll_destroy(JREpoll *jrEpoll)
{
	if (close(jrEpoll->jrEpollFD) != 0)
		return errno;
	return 0;
}

int JREpoll_wait(JREpoll *jrEpoll)
{
	int ret = epoll_wait(jrEpoll->jrEpollFD, jrEpoll->jrEvents,
						 sizeof(jrEpoll->jrEvents) / sizeof(struct epoll_event),
						 -1);
	if (ret < 0) {
		int errnoSave = errno;
		if (errnoSave != EINTR)
			return errnoSave;
		ret = 0;
	}
	jrEpoll->jrEventsAvail = ret;
	return 0;
}

void JREpoll_dispatch(JREpoll *jrEpoll)
{
	struct epoll_event *events = jrEpoll->jrEvents;
	
	for (int avail = jrEpoll->jrEventsAvail;
		 avail > 0;
		 avail = jrEpoll->jrEventsAvail)
	{
		jrEpoll->jrEventsAvail = --avail;
		
		struct epoll_event ev = events[avail];
		JRPollable *pollable = ev.data.ptr;
		pollable->jrCallback(pollable, ev.events);
	}
}

Ta struktura JRPollable může být pak součástí většího objektu, který v příslušném callbacku dostanu po "hrátkách" s offsetof(), nebo přetypováním, pokud je struktura jako první prvek. Schválně jsem to navrhl tímto stylem, abych se vyhnul extra alokacím. Strukturu JRPollable tedy vlastní samotný objekt, nikoliv ten epoll wrapper. Abych dosáhl tedy rychlejšího remove, tak se zdá, že se extra alokacím wrapperům nevyhnu, budu muset udržovat list odebraných položek a ty uvolňovat na konci cyklu, až projdu všechny položky.

[Jirka]

Jinak ten dispatch je psán tak, jak je, proto, že to musí být schopno rekurze.