Kopírujeme...

25.10.2006 11:06 | Přečteno: 1784× | Linux | | poslední úprava: 25.10.2006 11:42

Došly krásné nové stroje, takže jsem přesouval /home na nové železo.. S disky nechci hýbat a NFS i SMB je zbytečně složité, takže svištím netcat + tar přes jednoho svišťě. Kupodivu na 100M ethernetu byl slabší stroj CPU bound, netcat bral cca 30%, tar asi 45%, a propustnost eth0 kolem 4.5MBps. Zabiju dhcpcd, který z nějakého neznámého důvodu sniffuje traffic a bere asi 20%, a propustnost jde na 6.5MBps. Hmm, zajímavé. Možná by pomohlo kdyby tar četl a zapisoval přímo do socketu, ušetří se jedno kopírování v netcatu a jedna anonymní pipe (takže zřejmě další dvě kopírování v jádře). Bohužel netcat v nainstalované verzi exec neumí, tak napíšeme vlastní. Hurá, už to fičí, mám 11.5MBps tar sice bere přes 85% cpu, ale víc přes 100Mbit stejně neprojde, takže rychlejší tar není nutný. Ještě se pochlubit do blogu zdrojákem, a může se pracovat.

$ cat /usr/local/bin/ntar.py
#! /usr/bin/python
import socket, os, sys

def poll():
        s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        s.bind(('', 2000))
        s.listen(1)
        c, _ = s.accept()

        os.close(0)
        os.dup2(c.fileno(), 0)
        os.execlp('tar', 'tar', 'xv')

def push(host, *src):
        c = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        c.connect((host, 2000))

        os.close(1)
        os.dup2(c.fileno(), 1)
        os.execlp('tar', 'tar', 'cv', *src)

if __name__ == '__main__':
        if sys.argv[1] == 'poll': poll(*sys.argv[2:])
        if sys.argv[1] == 'push': push(*sys.argv[2:])

       

Komentáře

[..]

nekdy -pokud je to net-bounded- je vhodne zvazit komprimaci. Treba takovy lzop je na to jako delany - komprimace moc nezatezuje, a i na beznych datech jde precejen krapet poznat.

[zde]

Gzip jsem vyhodil jako první, zpomaloval to snad na desetinu. Content byl stejně až na mailboxy a CVS repository nekomprimovatelný. LZO jsem nezkoušel, ale je to docela bomba, uncompress jen asi 3x pomalejší než memcpy(). Hezký kód pod lampičku na zimní večery.

[bazil]

mnooo po FTP se dá fpohodě dosáhnout rychlosti 10Mbit .... ale když si někdo umí napsat takovouhle věcičku

[zde]

FTP nemám rád. ftpd je na konfiguraci snad ještě horší než Samba, je velmi neefektivní na malých souborech (TCP handshake), a často děravý. Mám pocit že snad všechny exploity co nejsou na bind, sendmail nebo ssh, jsou na nějaký *-ftpd. :)

[bazil]

ok to potom jo, sice odporuju v tom, že konfigurace fpt je složitější než samba (vsftpd) ale když ho nemáte rád tak to chápu já nemám rád sambu ...

[zde]

Já jednou asi před 5 lety konfiguroval jakési wu-ftpd, a trvalo mi to asi dva nebo tři dny- furt přístupová práva fungovala úplně nepochopitelně, a celé se mi to zdálo jakési rozbité. Samozřejmě mohla být chyba i u mne.

[R]

WuFTPD: Providing *remote* root since at least 1994

[Vskutečnosti Saýc]

neco podobnyho uz napsal fefe: http://www.fefe.de/ncp/

[zde]

Hmm, používat multicast jen proto, aby druhá strana nemusela zadat IP adresu, mi přijde trochu jako overkill.

[Non_E]

Jen jsem tak brouzdal protage a napadlo mě, jestli by problém místo cvičení v pythonu nevyřešil socat? Je to jen nápad (pustá teorie)