HP Microserver N40L - sťahovanie a hot-plug

5.4.2012 16:18 | Přečteno: 2939× | 3 | poslední úprava: 5.4.2012 16:59

Po predstavení, krátkom otestovaní prichádzam s ďalším zápiskom postrehov o mojom HP Microserveri N40L. Dnes niečo o nastavení služieb sťahovania a hot plugu.

Od minulého zápisku server dostal 8GB non-ecc RAM, ale iba na skúšku a na testovanie (na 2 dni). Plánujem totiž kúpu 2x4GB ECC RAM pamäťových modulov. A spravil som upgrade z Debian stable na testing - nakoľko sa nejedná o internetový server s kritickým nasadením ale iba domáci a hlavne zatiaľ stále ešte testovací - dokiaľ sa nedoriešia 2x1,5TB alebo 2 x 2TB disky a nenahodí sa na ne už finálny Debian stable. Na serveri momentálne bežia tieto služby: http (apache2), mysql + phpmyadmin, samba, ftp (vsftpd) a ssh. Ďalej ešte prehľadové služby a to vstat (+phpvnstat),phpsysinfo a uptimed. Rozhodol som sa doinštalovať ešte sťahovacie služby ovládané cez webové rozhranie - a to konkrétne niečo na torrenty a niečo na upload servery.

Torrenty

uvažoval som to vyriešiť prvotne ako rtorrent + webová nadstavba, prípadne transmission + web rozhranie ale nakoniec som sa rozhodol pre projekt Torrentflux. Inštalácia je jedoduchá - stačí stiahnuť zo stránky aktuálnu verziu, rozbaliť ju voľakde do /var/www, poprípade ešte nastaviť .htaccess prístup, vytvoriť v mysql databázu pre torrentflux, importovať SQL šablónu nachádzajúcu sa v torrentflux inštalačke, nastaviť danú databázu a prístupové údaje do nej v súbore config.php (v TorrentFlux adresári) a nasmerovať prehliadač na torrentflux, kde po prvotnom prihlásení dobehne nastavenie. Obyčajne je treba iba nastaviť zápis pre adresár downloads. Používanie aj nastavenie torrentfluxu je intuitívne a ľahké. Podobne aj nastavenie sťahovania z upload serverov.

Upload servery

Tu som tiež uvažoval o riešení na báze nejakých bashových skriptov (povaľujúcich sa aj tu na abcčku) a k nim doprogramovaný webový prístup, ale nakoniec padla voľba na pyLoad. Je až prekvapivo rýchly, no zároveň jednoduchý na nastavenie. Takže samotná inštalácia (na Debian Wheezy/SID a odporúčam inštalovať pod bežným užívateľom a sťahujeme verziu bez GUI čiže iba pyload-cli-v0.4.9-all.deb):

sudo aptitude install python python-crypto python-pycurl 
tesseract-ocr spidermonkey-bin
wget http://get.pyload.org/get/ubuntu-cli
sudo dpkg -i pyload-cli.deb

Toľko samotná inštalácia, teraz pristúpime k nastaveniu:

/usr/bin/pyLoadCore -s
Choose your Language / Wähle deine Sprache ([en], de, fr, it, es, nl, sv, ru, pl, cs, sr, pt_BR):<enter>

Welcome to the pyLoad Configuration Assistent.
It will check your system and make a basic setup in order to run pyLoad.

The value in brackets [] always is the default value,
in case you don't want to change it or you are unsure what to choose, just hit enter.
Don't forget: You can always rerun this assistent with --setup or -s parameter, when you start pyLoadCore.
If you have any problems with this assistent hit STRG-C,
to abort and don't let him start with pyLoadCore automatically anymore.

When you are ready for system check, hit enter.<enter>

## System Check ##
Python Version: OK
pycurl: OK
sqlite3: OK

pycrypto: OK
py-OpenSSL: OK

py-imaging: OK
tesseract: OK

PyQt4: missing

jinja2: OK
beaker: OK
JS engine: OK

System check finished, hit enter to see your status report.<enter>

## Status ##

Features available: container decrypting, ssl connection, automatic captcha decryption, Webinterface, extended Click'N'Load

Continue with setup? ([y]/n):<enter>

Do you want to change the config path? Current is /home/services/pyload
If you use pyLoad on a server or the home partition lives on an iternal flash it may be a good idea to change it.
Change config path? (y/[n]):<enter>

poznámka: nastavenie cesty som teraz nemenil, takže ak chcete zmenu cesty dáte "y", enter a zadáte vlastnú cestu k pyload adresáru v ktorom budú jeho konfiguráky, a pod. a do ktorého bude ťahať.

Do you want to configure login data and basic settings?
This is recommend for first run.
Make basic setup? ([y]/n): <enter>

## Basic Setup ##

The following logindata is valid for CLI, GUI and webinterface.
Username [User]: michal
Password:
Password (again):

External clients (GUI, CLI or other) need remote access to work over the network.
However, if you only want to use the webinterface you may disable it to save ram.
Enable remote access ([y]/n): <enter>

Language ([en], de, fr, it, es, nl, sv, ru, pl, cs, sr, pt_BR):<enter>
Downloadfolder [Downloads]:<enter>
Max parallel downloads [3]:
Use Reconnect? (y/[n]): y <enter>
Reconnect script location [./reconnect.sh]:<enter>

Do you want to configure ssl?
Configure ssl? (y/[n]): <enter>

Do you want to configure webinterface?
Configure webinterface? ([y]/n): <enter>


## Webinterface Setup ##

Activate webinterface? ([y]/n):<enter>

Listen address, if you use 127.0.0.1 or localhost, the webinterface will only accessible locally.
Address [0.0.0.0]:<enter>
Port [8000]:<enter>

pyLoad offers several server backends, now following a short explanation.
builtin: Default server, best choice if you dont know which one to choose.
threaded: This server offers SSL and is a good alternative to builtin.
fastcgi: Can be used by apache, lighttpd, requires you to configure them, which is not too easy job.
lightweight: Very fast alternative written in C, requires libev and linux knowlegde.
        Get it from here: https://github.com/jonashaag/bjoern, compile it
        and copy bjoern.so to module/lib

Attention: In some rare cases the builtin server is not working, if you notice problems with the webinterface
come back here and change the builtin server to the threaded one here.
Server ([builtin], threaded, fastcgi, lightweight):

tu stačí dať enter a teda builtin ale ja dávam threaded

Setup finished successfully.
Hit enter to exit and restart pyLoad

vytvoríme si spúšťanie danej služby skrz /etc/init.d a to takto:

sudo mcedit /etc/init.d/pyload
#!/bin/sh
NAME=pyload
DAEMON=/usr/bin/pyLoadCore
USER=michal
STOP_TIMEOUT=3
PIDFILE=/var/run/$NAME.pid

export PATH="${PATH:+$PATH:}/sbin"

[ -x $DAEMON ] || exit 0

[ -e /etc/default/$NAME ] && . /etc/default/$NAME

. /lib/lsb/init-functions

start_daemon () {
    start-stop-daemon --start --pidfile $PIDFILE --chuid $USER --exec $DAEMON -- $OPTIONS | cut -d" " -f 3 > $PIDFILE
}

stop_daemon () {
    start-stop-daemon --stop --retry="TERM/30/KILL/5" --pidfile "$PIDFILE" --user "$USER" --chuid "$USER"
}

case "$1" in
    start)
        log_daemon_msg "Starting pyLoadCore" "$NAME"
        start_daemon
        log_end_msg 0
        ;;
    stop)
        log_daemon_msg "Stopping pyLoadCore" "$NAME"
        stop_daemon
        log_end_msg 0
        ;;
    restart)
        log_daemon_msg "Restarting pyLoadCore" "$NAME"
        stop_daemon
        start_daemon
        log_end_msg 0
        ;;
    *)
        echo "Usage: /etc/init.d/$NAME {start|stop|restart}"
        exit 2
        ;;
esac

exit 0

hrubo vyznačeného užívateľa je potrebné nastaviť podľa seba . zmeníme spúšťaciemu súboru práva:

sudo chmod /etc/init.d/pyload 

a pridáme medzi služby a službu spustíme

sudo insserv pyload
sudo /etc/init.d/pyload start

ak sme postupovali správne tak po zadaní adresy http://adresaservera:8000 by nás malo vítať prihlasovacie okno pyLoadu .

Hot-Plugujeme disky

Tento server (navzdory nápisom na diskových krytoch že "Non-Hot plug HDD") hot plug podporuje. Pozor - iba v Linuxe a iba v AHCI móde. Vloženie voľného disku prebieha podľa dmesg takto:

[161941.149327] ata5.00: HPA detected: current 1465147055, native 1465149168
[161941.149338] ata5.00: ATA-6: ST3750330NS, SN04, max UDMA/133
[161941.149342] ata5.00: 1465147055 sectors, multi 0: LBA48 NCQ (depth 31/32)
[161941.150965] ata5.00: configured for UDMA/133
[161941.150979] ata5: EH complete
[161941.151137] scsi 4:0:0:0: Direct-Access     ATA      ST3750330NS      SN04 PQ: 0 ANSI: 5
[161941.151476] sd 4:0:0:0: [sdd] 1465147055 512-byte logical blocks: (750 GB/698 GiB)
[161941.151536] sd 4:0:0:0: [sdd] Write Protect is off
[161941.151540] sd 4:0:0:0: [sdd] Mode Sense: 00 3a 00 00
[161941.151566] sd 4:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[161941.178870]  sdd: sdd1
[161941.179908] sd 4:0:0:0: [sdd] Attached SCSI disk

pred odpojením je odporúčam dať disk do standby módu (hdparm -y). Takže teraz sa pozrime na proces odpojenia disku:

$ sudo hdparm -y /dev/sdd

teraz môžeme disk vybrať. Tento disk netvorí raid, ale je samostatný na zálohy takže postup je jednoduchý, pri raidovom disku je to zložitejšie a je potrebné disk pred jeho prehodením do standby módu a vybraním ešte vyhodiť z raidového poľa. Výpis v dmesg:

[162312.184655] ata5: exception Emask 0x10 SAct 0x0 SErr 0x10202 action 0xe frozen
[162312.184783] ata5: irq_stat 0x00400000, PHY RDY changed
[162312.184871] ata5: SError: { RecovComm Persist PHYRdyChg }
[162312.184968] ata5: hard resetting link
[162312.908121] ata5: SATA link down (SStatus 0 SControl 300)
[162317.908108] ata5: hard resetting link
[162318.228121] ata5: SATA link down (SStatus 0 SControl 300)
[162318.228134] ata5: limiting SATA link speed to 1.5 Gbps
[162323.228106] ata5: hard resetting link
[162323.548122] ata5: SATA link down (SStatus 0 SControl 310)
[162323.548134] ata5.00: disabled
[162323.548154] ata5: EH complete
[162323.548170] ata5.00: detaching (SCSI 4:0:0:0)
[162323.549567] sd 4:0:0:0: [sdd] Synchronizing SCSI cache
[162323.549624] sd 4:0:0:0: [sdd]  Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK
[162323.549630] sd 4:0:0:0: [sdd] Stopping disk
[162323.549640] sd 4:0:0:0: [sdd] START_STOP FAILED
[162323.549643] sd 4:0:0:0: [sdd]  Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK

Ešte poznámka - aj keď mám info o fungovaní hot-plugu potvrdené z viacerých strán (a aj niekoľkokrát mnou vyskúšané) ale výrobca samotný uvádza že disky nieje možné vyberať, postupy hot-plugu v tomto blogu uvádzané si na Microservery N40L prevádzkujete na vlastnú zodpovednosť a ja ako autor tohto návodu nepreberám žiadnu zodpovednosť za prípadné havárie .

Dnes troška rozsiahlejšie, ale hádam inšpiratívne.

       

Obrázky

Komentáře

[Patrik Uhrak]

Aky dovod moze mat clovek stahovat nieco z internetu ako torrentflux , ked je aj v repozitaroch v main vetve dokonca ? Ale inak fajn, ja sa snazim uz nejaky piatok rozchodit nieco trocha podobne, akurat nad vsetkymi uzivatelmi, sluzbami atd. si hovie ldap databaza s kerberosom. A ak este zistim, ako donutit pracovat mac osx lion klientov s nfs4 , tak to nebude mat chybu. Teda, bude o jednu menej, dost podstatnu.

[Michal Fecko]

Aky dovod moze mat clovek stahovat nieco z internetu ako torrentflux , ked je aj v repozitaroch v main vetve dokonca ?

Asi ziaden - nenapadlo ma to cez aptitude pohladat Dik za upozornenie

[Michal Fecko]

A ak este zistim, ako donutit pracovat mac osx lion klientov s nfs4 , tak to nebude mat chybu.

http://ivanvillareal.com/osx/nfs-mac-osx-lion/

[kapo]

Ahoj, osobně se mi spíš líbí, udělat si na serveru AFP démona. Funguje pak automatické zjišťování z Mac kompa, mount/umount je jen z GUI a pohodlně. Navíc si to můžeš nakonfigurovat jako timemachine pro automatické zálohy.

Osobně jsem si to tak rozjel na CentOS 6.2 a je to supr :).

k.

[Liborek]

Netatalk? Přemýšlím nad podobným řešením (až seženu nějaký ten server).

[kapo]

Ano netatalk na serveru. Klient na OSX Lion se s tim normalne domluvi a funguje v pohode.

[Liborek]

Přidám ještě pro zájemce odkaz na diskuzi, kde se řeší modifikace BIOSu, která umožní spousty zajímavých nastavení. Zde je pak možné upravený BIOS stáhnout.

[trubicoid2]

pred odpojenim disku by se melo udelat toto: echo 1 > /sys/block/sde/device/delete