Linux: systémové volání splice()

14. 5. 2013 | Nikola Pajkovský | Systém | Programování | 19595×

Ukážeme si, jak elegantně kopírovat soubory mezi dvěma otevřenými souborovými deskriptory bez nutnosti kopírovat obsah z jádra do uživatelského prostoru a zpět.

Systémové volání splice() má dlouhou historii. splice() byl poprvé navržen Larrym McVoyem v roce 1998 jako způsob vylepšení I/O operací na serverech. Přestože se často v následujících letech zmiňovalo o splice(), žádná implementace nikdy nebyla vytvořena pro hlavní řadu linuxového jádra. Nicméně, situace se změnila těsně před uzavřením začleňovacího okna pro 2.6.17, kdy Jens Axboe zaslal sadu změn i s množstvím oprav, které byly začleněny.

Prototyp systémového volání splice() vypadá následovně:

	long splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out,
                    size_t len, unsigned int flags);

Při pohledu na koncept na vyšší úrovni se v jádře objevuje nový pojem "náhodný jaderný buffer" (random kernel buffer), který je vystaven do uživatelského prostoru. Jinými slovy, splice() pracuje na jaderném bufferu, nad kterým má uživatel kontrolu.

Volání splice() způsobí přesun dat mezi dvěma popisovači souboru (file descriptors), bez nutnosti přesunout data z jádra do uživatelského prostoru a zpět. Jádro přesune až len dat z deskriptoru souboru fd_in do deskriptoru souboru fd_out, kde jeden z deskriptorů musí být roura (pipe). Takže ve velmi realném (ale stále abstraktním) smyslu, splice() není nic jiného, než read()/write() do jaderného bufferu.

Dvě hodnoty offsetu (off_in a off_out) ukazují, na kterou pozici by měl každý deskriptor souboru být umístěný před začátkem přesunu dat. Všimněte si, že offsety se předávají pomocí ukazatelů, které jsou příslušným způsobem upraveny po čtení/zápisu z/do bufferu. Z uživatelského prostoru se může použít ukazatel NULL k indikaci, že se má použít stávající offset. Nicméně je chyba použít NULL ukazatel jako offset k přiřazené rouře (pipe).

Argument flags upravuje, jak se kopírování provádí:

• SPLICE_F_MOVE Pokusí se přesunout stránky místo kopírování. Toto je pouze doporučení jádra: stránky se stále mohou kopírovat, jestliže jádro nemůže přesunout stránky z roury (pipe), anebo buffery rour (pipe buffers) neodkazují na celé stránky.
• SPLICE_F_NONBLOCK Neblokuj I/O. Toto udělá spojovací operace nad rourou (splice pipe operation) neblokující. Nicméně i tak splice() může blokovat; deskriptory souboru, které jsou spojovány do/z mohou blokovat (za předpokladu, že nemají nastavený flag O_NONBLOCK).
• SPLICE_F_MORE Více dat bude přicházet v následujících subsekvenčních spojích. Pouze užitečné doporučení jádra, pokud fd_out je socket.

A kde byste ve skutečnosti chtěli použít splice()? Normálně byste použili splice()tam, kde chcete kopírovat z jednoho zdroje do druhého, aniž byste chtěli vidět data, která se kopírují. Použití splice() vám nabízí efektivnější způsob, jak to udělat. Takto se vyhnete zbytečné alokaci paměti a memcpy() z/do bufferu v uživatelském prostoru.

Pokud byste chtěli kopírovat soubor, mohli byste to napsat tradičním způsobem v uživatelském prostoru:

	for (;;) {
		char *p;
		int ret = read(input, buffer, BUFSIZE);

		if (!ret)
			break;
		if (ret < 0) {
			if (errno == EINTR)
				continue;
			.. exit with an inpot error ..
		}

		p = buffer;
		do {
			int written = write(output, p, ret);
			if (!written)
				.. exit with filesystem full ..
			if (written < 0) {
				if (errno == EINTR)
					continue;
				.. exit with an output error ..
			}
			p += written;
			ret -= written;
		} while (ret);
	}

s tím rozdílem, že byste neměli buffer v uživatelském prostoru, a kde jsou systémová volání read() a write() nahrazena systémovým voláním splice() do/z roury (pipe). Takže jediné, co se změní je to, kde ve skutečnosti existuje buffer:

	int pipefd[2], r;

	r = pipe(pipefd);
	if (r < 0)
		die("pipe");

	for (;;) {
		int nr = splice(fd_in, NULL, pipefd[1], NULL, INT_MAX,
				SPLICE_F_MOVE | SPLICE_F_MORE);
		if (!nr)
			break;
		if (nr < 0) {
			if (errno == EINTR)
				continue;
			.. exit with an inpot error ..
		}

		do {
			int ret = splice(pipefd[0], NULL, fd_out, NULL, nr, SPLICE_F_MOVE);
			if (!ret)
				.. exit with filesystem full ..
			if (ret < 0) {
				if (errno == EINTR)
					continue;
				.. exit with an output error ..
			}

			nr -= ret;
		} while (nr);
	}

Ne každý deskriptor souboru se může použít se splice() a důvodem je to, že to ješte nikdo nepotřeboval, a tudíž ani nikdo nenapsal.

Kombinace možných souborových deskriptorů:

\out

in	pipe	reg	chr	unix	tcp	udp	raw
pipe	yes	yes	yes	yes	yes	yes	yes
reg	yes	no	no	no	no	no	no
chr	yes	no	no	no	no	no	no
unix	no	no	no	no	no	no	no
tcp	yes	no	no	no	no	no	no
udp	no	no	no	no	no	no	no
raw	no	no	no	no	no	no	no

       

Komentáře

[CruX]

No prave na kopirovanie suborov by som skor pouzil sendfile()

[Suchý čert]

Jo, na kopírování stačí sendfile(). V článku by to chtělo zmínit i funkci vmsplice(), díky které to teprve začne být zajímavé — lze jí totiž v kombinaci se splice() udělat zero‐copy „send“ z uživ. prostoru (teoreticky i „recv“, ale v jádře to není implementované, resp. je to tam implementované pomocí kopírování). Pak se ještě v souvislosti se splice() může hodit funkce tee(), která umí z jedné roury zduplikovat data do druhé.

[Nikola Pajkovský]

Ano, chtěl jsem, ale članek mi připadal hodne dlouhý, když byl zalomený na 80 znaků v mojem editoru, tak jsem to zámerně vynechal. Neměl jsem.

[Nikola Pajkovský]

jak se to vezme, API je o něco jednodušší, ale sendfile je implemetovaný pomocí splice.

Můj snippet jsem ve skutečnosti použil pro kopírování tcp ipv4 spojení na disk. Což jsem mohl zmínit. Moje chyba.

[Tomáš Bžatek]

Pamatuju si, ze sendfile() ve 2.4 fungoval dobre, ale ve 2.6 byl omezeny jen na sockety. Ted koukam do man a uz to zase zprovoznili:

In Linux kernels before 2.6.33, out_fd must refer to a socket.  Since Linux 2.6.33 it can be any file.  If it is a regular file, then sendfile() changes the file offset appropriately.

Nastesti slo chytat chybovy kod a fallbacknout do manualniho blokoveho rezimu.

[JS]

Zdravim,

dik, zajimavy clanek, ale klidne by mohl byt i o spetku mene odborny (pro nas co nedelame v Linuxu). Take mi neni jasna veta:

Nicméně je chyba použít NULL ukazatel jako offset k přiřazené rouře (pipe).

Nema to byt opacne? V prikladech je NULL..

[Josef Kufner]

Nezajímavého hnoje je všude dost. Buď rád že ten článek je, jaký je.

[JS]

Vzdyt ja jsem za nej rad.

[Nikola Pajkovský]

Roura (pipe) je proud (stream) dat bez pozice. Muže se to zdát divné, ale ve skutečnosti, je to hodně dobrá věc. Nemusíš předávat "tento soubor, tento offset, tato délka" - pouze předáš jednoduše deskriptor souboru a nakrmíš jej daty, aniž by ses zajímat, co dělá čtenár (reader) na druhé straně roury. Čtenář nemuže vyhledávat data pomocí seek v proudu dat a také čtenář nebude zmatený, kde je konec souboru.

Takže čtení z roury s offsetem 1 je chyba a proto se musí offset u roury nastavit na NULL. Následuje chybné čtení z roury:

        int pipefd[2];
        pipe(pipefd)

        loff_t pipe_offset = 1;
        splice(pipefd[0], &pipe_offset, ...);

[JS]

Ano, tak jsem to pochopil, a proto mi ta veta prisla divna - prijde mi, ze rika, ze se tam NULL predavat nesmi a pritom se predavat nesmi nic jineho nez NULL.

[petr_p]

Chápu, že pokrok nelze zastavit, otázka ale zůstává, nakolik se vázat na linuxově specifické služby. (Poslední dobou mě třeba nadzvedlo zavedení printf("%m") v util-linux.)

[David Watzke]

To je ale rozšíření glibc, ne?

K věci: asi člověk nebude používat splice jen tak ze srandy, ale když už máš linux-only software (který např. přímo používá epoll a kdoví co), tak proč toho nevyužít...

[Nikola Pajkovský]

ne, je to systémové volání. V glibc je wrapper. A ano, i bez glibc můžes volat jakékoliv systémové volání.

[petr_p]

Ano, je to věc standardní knihovny, jen to byla první věc, na kterou jsem si vzpomněl. Z oblasti systémových volání mě teď napadá systemd, který bezpodmínečně závisí na cgroups.

[frEon]

#ifdef

[Michal Kubeček]

nakolik se vázat na linuxově specifické služby

V praxi stejně použijete nějaký wrapper, který zavolá splice() tam, kde je k dispozici, a nahradí ho pomocí univerzálních funkcí tam, kde není.

Poslední dobou mě třeba nadzvedlo zavedení printf("%m") v util-linux

Pominu-li, že tohle zrovna bude spíš glibc-specific než linux-specific, tak zrovna v util-linux mi použití linux-specific featur zas až tak absurdní nepřipadá. :-)

[petr_p]

%m je glibc-specific, tedy s jinou standardní knihovnou i na Linuxu budete mít smůlu.

[Michal Kubeček]

Není nad to přečíst si celý příspěvek, na který se chystáte reagovat…

[R]

Asi to nikomu nevadilo, tak to tam je. Ak ti to vadi, tak posli vyvojarom patch.

[pc2005]

Jo je to ještě horší (teda pokud v eglibc apod. ten %m není definovaný).

[michich]

eglibc to určitě má (glibc to umělo ještě před eglibc forkem). uclibc to má (volitelně při konfiguraci). bionic to asi nemá.

[Luboš Doležel (Doli)]

Chápu, že pokrok nelze zastavit, otázka ale zůstává, nakolik se vázat na linuxově specifické služby.

Vzhledem k rozšířenosti Linuxu vs. ostatních unixových OS na nových strojích... asi bych to neřešil. Ať si to řeší ti, co tu "exotiku" provozují.

Proč exotiku? Minimálně na desktopu za měřenou dobu existence AbcLinuxu BSD/Solaris/ostatní trvale padají a jestli ta křivka nezmění tvar, tak to za pár roků bude nula. A nejsem ochoten věřit, že by to na serverech bylo až tak jinak. Taková bomba to ZFS není.

[Mti.]

Ehm... zatim "nam" tohle delaji vyrobci hw i sw s ohledem na prevahu woknousu, ze?

[Michal Kubeček]

Ano. A je mi moc smutno, když vidím, že ani tahle zkušenost mnoha lidem nebrání chovat se úplně stejně k jiným.

[Luboš Doležel (Doli)]

Takže používat Linux-specific funkce se zapovídá a vývojáři by se měli starat o to, aby to chodilo na všech možných a nemožných platformách? To jako proč by si s tím měli dávat práci? Ať si to naportují ti, co tu platformu používají.

[Michal Kubeček]

Nezapovídá. Ale program by měl být napsaný tak, aby se obešel i bez ní, pokud k dispozici není (viz můj včerejší příspěvek z 23:38).

[pavlix]

Je krásné mít své ideály.

[Luboš Doležel (Doli)]

Já na tom u SW nevidím nic špatného. To mají podporovat každou minoritní platformu?

[Michal Kubeček]

Smutné. Opravdu velmi smutné. Jen nevím, jestli je to povahou nebo jestli se opravdu tak strašně moc změnilo za těch deset let mezi tím, kdy jsem s Linuxem začínal já, tím, kdy jste začínal vy.

[Ivan]

+1 Prenositolenost na urovni zdrojaku byla jedna hlavnich vyhod Unixu. Bylo tu nekolik konkurencnich ale vice-mene kompatibilnich systemu. Cele to fungovalo, i kdyz to nekdy bylo dost drahe. Linux ohrome tezil z toho ze mohl kopirovat a nemusel vymyslet svoje standarty. Skoda, ze to takhle nejde dal. Dneska si kazdy vymysli svoje kolo a neohlizi se na to jak vypadaji kola tech ostatnich.

[Michal Vyskočil]

Dneska si kazdy vymysli svoje kolo a neohlizi se na to jak vypadaji kola tech ostatnich.

Dneska?

Unfortunately, in particular since OpenSSH does authentication, it runs into a *lot* of differences between Unix operating systems OpenSSH Portable Release

[Luboš Doležel (Doli)]

Jste ve světě open source. Lidé programují to, co se hodí jim. Nikdo mě přece nemůže nutit podporovat něco, o co nemám zájem.

[Václav HFechs Švirga]

Myslím, že chápu názor obou stran - a nechci se zastávat ani jedné, ale dovolil bych si podotknout, že u Windows je největší problem v uzavřenosti kodu. Pokud už byl kód nějakým způsobem k dispozici (třeba ho autor dodotečně zveřejnil, atd...), linuxáci (a další) si dali tu práci a program naportovali (známe je to třeba u her). Jinak museli psát program znova od píky. Samozřejmě, zde to trošku idealizuju, něco se rozumně naportovat nedá a musí se to zgruntu přepsat. Ale i tak můžou zdrojáky sloužit aspoň k inspiraci.

Pokud ale vývojář použije specifické konstrukce pro Linux a řekne, že na ostatní platformy kašle, je to jeho právo, ale pokud zveřejní kód, může se najít někdo jiný, kdo to patchne / forkne. Tedy je situace u OSS oproti closed source na windows lepší.

[Tomáš Bžatek]

Dovolil bych si upozornit, ze v pripade pouziti na prenos dat ze souboroveho systemu se spolehlivost vyrazne lisi implementace od implementace. Takovy reiser4 vraci nuly misto dat a indikuje success. Verim, ze u jinych fs se problem neobjevuje, ale clovek nikdy nevi, kdo co pouziva za jadro a jake data tam opravdu proudi. Meli jsme v Gnome trosku bugreportu na ztracene data...