Server - Díl druhý - Software: Apache - EDIT

11.1.2007 20:25 | Přečteno: 2978× | Nápady | poslední úprava: 16.1.2007 19:40

Takže je tady druhý díl o mém snažení, jež má za cíl vytvoření fungujícího a celkově prostě pěkného hostingu. Dnes se budu zabývat konfigurací Apache, protože potřebuju taky vyřešit jeden problém s ním související ;)

Ukončení - pro ty, co nechtějí číst až do konce:

Po dlouhém experimentování s MPM-ITK, MPM-Peruser, Apachem 2.2, suPHP, FastCGI, benchmarkování a podobně jsem došel k následujícím závěrům:

• Víceuživatelské MPM (ITK a Peruser) ještě nejsou zralé pro provoz. Ani jeden nefungoval podle očekávání, navíc, protože neumí thready, měly podobný výkon jako MPM-Worker s FastCGI (který zajišťuje funkčnost PHP rozšíření, která nezvládají thready i potřebné spouštění pod daným uživatelem). Tedy - konečná volba - Apache s nějakým funkčním MPM, které podporuje threads, tedy buď worker nebo threadpool. (co se týče výkonu, tak údajně lighttped dosahuje s FastCGI lepších výsledků, než Apache s mod_php - vyzkouším to, ale kdo ví.)
• Mod_php je, alespoň pod Apachem, nejrychlejší řešení pro PHP. V porovnání s MPM-Worker dosahovalo řešení přes FastCGI asi dvoutřetinového výkonu. MPM-Peruser a ITK (tedy ta, která nevláknují), dosahovala výkonu srovnatelného s FastCGI
• Jediné opravdu a napoprvé funkční řešení je suPHP - akorát je desetkrát pomalejší, než mod_php, což je vcelku obtěžující. Fakt.

Nakonec to tedy dopadne tak, že se pokusím udělat mass hosting s FastCGI/PHP/MPM-Worker, pokud se mass hosting nepodaří, budou to normální VirtualHosty. To už je stejně jedno ... Hotové configy tady potom někde vystavím, aspoň pro ty, kteří se po nich ptali. Díky všem za komentáře a pokud se vám to aspoň trošku líbilo, tak se můžete těšit vbrzku na další díl. Pax!

---

Takže - na serveru teď běží Gentoo Linux, se kterým jsem byl vždycky spokojený a o kterém věřím, že se s pomocí skvělého nástroje glsa-check se vyrovná i některým ... "profesionálnějším" distribucím. Já mám prostě Gentoo rád a myslím, že popisované problémy nejsou gentoo-specific, takže prosím no flame :) Co už mám: skoro nic. Vpodstatě hlavně myšlenky a lehce započatou práci s Apachem. Kde jsem se zasekl:

Mám Apache 2.0.58-r2. Chci, aby Apache běžel s dynamickými vhosty (tzn. že sleduje nějaký adresář a podle názvů adresářů uvnitř "přidává" vhosty. Zkrátka každou složku interpretuje jako vhost. Více přímo na odkazovaných stránkách). To se mi podařilo - dokonce oběma možnými způsoby - první je přes mod_rewrite, kterýžto nevypadá tak hezky, ale funkčně je to to samé a umožňuje jednoduše přesměrovat na předdefinovanou výchozí stránků v případě, že Apache požadované stránky nenajde. Druhý způsob je přes "VirtualDocumentRoot" direktivu, která toto (prý, oprav te mně, jestli se mýlím) neumožňuje. A teď opravdový problém - chtěl bych zfunkčnit věc, která mi chybí na všech zatím mnou používaných hostech - totiž, že FTP uživatel a uživatel, kterým jsou stránky interpretovány, není stejný. Vyplývá to z toho, že Apache provádí všechny operace jako jeden uživatel a skupina (ať už www:www-group, nebo apache:apache, viděl jsem všechno možné) a vy pak nemůžete dělat některé operace, které by se vážně přes to FTP hodily - obvzlášť v případě, že třeba redakční systém uploaduje soubory jako 0600 :D. Co s tím? Použít mpm-peruser, který umožňuje pro každý VHost nadefinovat jiného uživatele:skupinu, pod kterým má Apache běžet. Ale jak to skloubit s dynamickými vhosty? To se mi zatím nepodařilo. Asi by se hodilo vypsat důležité části mých konfiguráků :)

Tohle je ta metoda dynamických vhostů přes mod_rewrite

/etc/apache2/httpd.conf

UseCanonicalName Off

RewriteEngine On

# a ServerName derived from a Host: header may be any case at all
RewriteMap  lowercase  int:tolower

RewriteCond  %{REQUEST_URI}  !^/icons/
# Duplicate the above for whatever other system-wide aliases you have
RewriteCond  /storage/www/hosts/${lowercase:%{SERVER_NAME}} -d
RewriteRule  ^/(.*)$  /storage/www/hosts/${lowercase:%{SERVER_NAME}}/$1 [L]

RewriteCond  %{REQUEST_URI}  !^/icons/
# Duplicate the above for whatever other system-wide aliases you have
RewriteRule  ^/(.*)$  /storage/www/default/$1

# this log format can be split per-virtual-host based on the first field
LogFormat "%V %h %l %u %t \"%r\" %s %b" vcommon
CustomLog logs/access_log vcommon

A tohle přes regulérní direktivy Apache pro to určené. Jméno souboru více méně nepodstatné.

/etc/apache2/vhosts.d/10_dynamic_vhosts.conf

<VirtualHost *:80>
    # Security Directive
    #
    <Directory "/storage/www/hosts/">
    Options -Indexes FollowSymLinks MultiViews

    AllowOverride All

     Order allow,deny
      Allow from all
    </Directory>
    <IfModule mod_vhost_alias.c>
#Přesně tohle by to nějak mělo dělat. Jenže. Tahle direktiva nemá co dělat v <VirtualHost>, ale mimo něj zase nevím jak získat ty %0.0 pro název hostu. 
<IfModule peruser.c>
    ServerLimit          256
    MaxClients           256
    MinSpareProcessors     2
    MaxProcessors         10
    MaxRequestsPerChild 1000

    # kill off idle processors after this many seconds
    # set to 0 to disable
    ExpireTimeout       1800

    # Přesně tohle nefunguje
    Multiplexer %0.0 %0.0

    Processor %0.0 %0.0

    # chroot dir is optional:
    # Processor user group /path/to/chroot
</IfModule>
#Odsuď dále to zase funguje ;)
<IfModule>
      # CGI Directives
      #
      <DirectoryMatch "^/storage/www/hosts/[^/]+/cgi">
        AllowOverride None
        Options ExecCGI
        <IfModule mod_access.c>
          Order allow,deny
          Allow from all
        </IfModule>
      </DirectoryMatch>
    </IfModule>

  </VirtualHost>

</IfDefine>

Snad je to alespoň trošku srozumitelné. Díky všem za pomoc - slibuju, že to dolním do těch konfiguráků tady, aby to mohl kdokoliv příště použít :). Příště: FTP, SSH, MySQL a kokmplexní správa přes nějaké webové rozranní (jak pro mě, tak pro uživatele/zákazníka). Stay tuned!

       

Komentáře

[Valoun]

V debianu je tento balicek: libapache2-mod-vhost-hash-alias

mod_vhost_hash_alias is a simple, fast and efficient way to automatically manage virtual hosting. It allow administrator to build massive virtual web servers, without the need to describe each virtualhost document root. It use the servername extract from the HTTP request to build a path to the real document root. It build a digest based on the servername and split it according to a configurable directory scheme. As digest could collide, mod_vhost_hash_alias add the servername to distinguish between hash value (and allow human to do inverse lookup on directory path).

Nezkousel jsem, ale mozna by to mohlo pomoci.

[al-Quaknaa]

Ano, tohle vypadá, že by mohlo pomoci vyřešit ten problém s přesměrováním na výchozí stránky v případě, že požadovaný host neexistuje. Ale problém, který mě teď pálí víc, je ten s oddělenými uživateli pro jednotlivé VHosty ... I tak díky :)

[lm]

ak som spravne pochopil v com vidis problem, tak ja by som sa na to pozral opacne: je potrebne nastavit ftp server tak, aby kazda ftp session bezala pod uzivatelom apache-a, resp. aspon s grupou pod ktorou bezi apache a umask nastavit na 0027 alebo 0022. vsetko z toho bezny ftp server dokaze.

[al-Quaknaa]

To právě nepůjde - uživatelé by si pak "lezli do zelí". PHP skripty by nejspíš mohly běžet i mimo svůj dynamický vhost a když by běžely všehcny za jednoho uživatele, tak by mohly i psát do dalších hostů.

Problém spočívá asi hlavně v tom, že já potřebuju, by to byl systémový uživatel, protože chci dát i SSH účet, chci, aby FTP používalo systémové účty, zkrátka složka /www/stranky by byla vlastněna uživatelem, stranky, přistupovalo by se k ni s ftp uživatelem stranky, php skripty by v ní běžely za uživatele stranky a přes ssh by s tím vším pracoval uživatel stranky, který by nebyl vpuštěn nikam jinam. Doufám, že to jde z tohohle zmatku pochopit :)

[lm]

tak potom chroot do kazdy do svojho home-u (ssh aj ftp) s nejakym busyboxom by to nemal byt problem. do /etc/skel/ pridat adresar bin/ so staticky skompilovanym busyboxom a po vytvoreni adresara, sa nemusis o nic starat.

[Luk]

A teď opravdový problém - chtěl bych zfunkčnit věc, která mi chybí na všech zatím mnou používaných hostech - totiž, že FTP uživatel a uživatel, kterým jsou stránky interpretovány, není stejný. Vyplývá to z toho, že Apache provádí všechny operace jako jeden uživatel a skupina (ať už www:www-group, nebo apache:apache, viděl jsem všechno možné) a vy pak nemůžete dělat některé operace, které by se vážně přes to FTP hodily - obvzlášť v případě, že třeba redakční systém uploaduje soubory jako 0600 :D. Co s tím?

Nyní si mohu přihřát svoji polívčičku a říci, že by se na to dal použít incron (při vytvoření nebo přesunu souboru do adresáře by se automaticky spustilo něco jako chown uzivatel:skupina soubor). Jenže incron zatím není dostatečně stabilní na to, abych ho mohl doporučit na produkční server

[al-Quaknaa]

Situaci kolem incronu samozřejmě sleduju a pro některé účely se určitě bude hodit. Ale - pokud tady tohle už má nějak Apache v sobě (a to s tím, že nejde jen o vlastníky souborů, ale i vlastníky procesů), tak mi přeci jenom jde spíš o to rozchodit něco, co ještě není dokonale zdokumentované (tedy MPM-Peruser), než vymýšlet nějaký (nechci se nikoho dotknout :D) quick'n'dirty řešení. Ale jinak - incronu přeju hodně úspěchu!

[Luk]

tak mi přeci jenom jde spíš o to rozchodit něco, co ještě není dokonale zdokumentované

Spíš bych řekl nezdokumentované Aspoň ne v normální dokumentaci. Navíc bych se docela obával, že to bude bugovité - už proto, že to používá dost málo lidí a tudíž není moc možností na ty chyby přijít. Ale třeba ne

[Semo]

Dokaze incron sledovat cely podstrom? Mal som pocit, ze inotify to vobec neumoznuje a ani nemoze. Jedine, ze by uplodavani adresara rovno pridalo samo zebe, aby sledovalo aj tento podadressar. Proste si myslim, ze upload niekam do hlbky stromu sa neda sledovanim korena detekovat.

[Luk]

Dokaze incron sledovat cely podstrom?

Nedokáže. Zatím.

Mal som pocit, ze inotify to vobec neumoznuje a ani nemoze.

Neumožňuje (a může, i když to není implementováno - jenže je otázka, jaké by mělo výkonnostní dopady, kdyby se to implementovalo). Proto mám v plánu implementovat to na úrovni aplikace. Jenže je to složité, takže to nebude hned.

Jedine, ze by uplodavani adresara rovno pridalo samo zebe, aby sledovalo aj tento podadressar.

Ano, tohle je zatím bohužel jediné řešení. Navíc netriviální, protože by se muselo zjišťovat, jestli to nově vložené (vytvořené/přesunuté) je adresář.

[k3]

libapache2-mod-suphp - Apache2 module to run php scripts with the owner permissions treba se ti to bude libit :) (nikdy jsem to nepouzil jen to tam jako pkg je)

[Vskutečnosti Saýc]

co pouzit ftp s virtualnimi ucty, ktere jsou kazdy chrootnuty jinam, a maji stejneho uzivatele a skupinu jako apache?

spis je otazka, jak na dynamic virtual hosty napasovat nejakej phpckovej open_basedir (nebo jak se to presne pise), aby uzivatele nemohli lezt do souboru nekomu jinemu pomoci php.

[Semo]

Az to nejak uspokojivo vyriesis (to spustanie php skriptov pomocou mod_php, ale so specifickym uid pre kazdy virtual host), tak to tu prosim napis. Prave riesim to iste na serveri.

[volvox]

Poskytovat virtuální hosty pod různými uživateli jde v zásadě těmito způsoby:

• Pro skripty přes CGI/FastCGI
• Pomocí vhodného MPM
• Přes proxy

Pokud by to zajímalo víc lidí, jsem ochotný napsat pro abíčko článek... ;)

[al-Quaknaa]

Ano, to by bylo rozhodně skvělé. Taky jsem se k tomu už nějak dohrabal (jaké jsou možnosti), ale zajímalo by mě srovnání z praxe. Osobně jsem třeba zjistil, že nevím, jestli jde použít MPM-peruser pro dynamický virtuální hosting, protože mu mod_vhost_alias asi nemůže předat %0 (jméno hostu), aby podle něj pracoval pod nějakým uživatelem (direktiva ServerEnvironment). Teď se chystám vyzkoušet mod_suphp, ale nevím, jak je na tom zase výkonostně ve srovnání s MPM. A řešení přes proxy? Tohle by asi chtělo podrobnější vysvětlení. Díky :)

[al-Quaknaa]

No, tak zatím to funguje pomocí mod_suphp. Běží to pod správným uid:gid a všechno, co jsem vlastně chtěl, akorát se zdá, že je to přes CGI, což je prý pomalejší, bohužel nevím, jak to otestovat. Našel jsem httperf benchmark, který vyzkouším, ale nevím, jestli je to to, co hledám (benchmark výkonu Apache/PHP). Uvidím. Takže: zatím to chodí, jak má, akorát ne přes MPM (peruser segfaultoval a po odladění, aby nesegfaultoval tak jsem stejně nevěděl, jak ho nastavit tak, aby spouštěl pod uživatelem, který se získal pomocí mod_vhost_alias jako %0), ale přes mod_suphp, tedy CGI. Za další reakce budu samozřejmě vděčný ;)