Jak se migrovalo AbcLinuxu a spol. (diskuse)

[Zdenek]

Jako webmail Dovecot s rozšířeními pro managesieve a změnu hesla.

Ten Dovecot tam asi nepatri. RoundCube?

[Luboš Doležel (Doli)]

Jasně.

[Heron]

Skvělé popsáno, ať se v novém prostředí daří. Virtualizace se netřeba bát.

Pro autory PHP je nějaká kompatibilita naprostý výsměch.

+ INT_MAX

Čekal jsem hyper-super neomezenou spolehlivou věc a namísto toho jsem dostal věc s lehce nižším výkonem, tunou omezení a poškozením dat po pár minutách experimentů.

Já už od MySQL nečekám naprosto nic. Replikace nefunguje (a tím myslím master-slave, ne jakože fake master master režim, kterým se to chlubí), nastavit se to pořádně nedá, neumí to obecně transkace (protože někdo musel nutně použít MyISAM na nějakou pičovinu). V MySQL nevidím žádnou výhodu, jen samé nevýhody. Vlastně ano, člověk se dobře procvičí v data recovery. To, že nefunguje NDB (u nás to taky chtěli nasazovat) mě nepřekvapuje. To už bych raději poradil nad SQL udělat nějakou memcached/redis vrstvu.

[msk]

Super. Otazne je, co clovek moze realne pouzit. MySQL to nevie, Postgres to nevie, ... Co z opensource sveta clovek moze pouzit ako databazu, ktora sa da prevadzkovat v master-master mode?

[Stanislav Petr]

MySQL je mozne v kruhove replikaci pouziat, ale s urcitymi omezenimi - zejmena je potreba na to brat ohledy pri psani aplikace, v dotazech a strukture databaze se vynout nekterym konstrukcim a tak podobne.

Takove nejdulezitejsi body:

1) na kazdem serveru mit nastavene posuniti generatoru autoincrementu

2) vyhnout se nedeterministickym funkcim

3) vsechny update/insert/delete dotazy provadet v transakci

4) dusledne dodrzovat unikatni identifikaci pomoci primarniho klice ve vsech update/delete dotazech

5) mit garantovanou linku mezi obema servery - replikace po internetu (a to vcetne propojeni po paternich linkach) rozhodne nedoporucuju - z vlastni zkusenosti

6) omezit pouzivani kaskady triggeru, pokud mozno vubec nepouzivat

7) nemixovat tabulky ruznych typu - pro replikaci pokud mozno pouzivat InnoDB

8) pro master-master nepouzivat statement based, ale pouze row based.

9) a to nejdulezitejsi - s verzi starsi nez 5.1.55 se o to ani nepokousejte...

[Aleš Kapica]

Vivat la patches!

[nyan]

9) a to nejdulezitejsi - s verzi starsi nez 5.1.55 se o to ani nepokousejte...

Muzu vedet co je za problem v < 5.1.55 verzich ?

[Stanislav Petr]

http://dev.mysql.com/doc/refman/5.1/en/news-5-1-55.html - Pomerne zasadni opravy v replikacich. Po teto varce oprav nam to zacalo celkem dobre chodit. Samozrejme s kazou dalsi verzi se dostavaji dalsi a dalsi opravy replikaci. Ale tohle byla alespon podle nasich zkusenosti prelomova verze od ktere se to da pouzivat.

[nyan]

MongoDB, mozna CouchDB a par dalsich... samozrejme pokud vam nevadi non-sql a javascript ;)

[trekker.dk]

Na vině byl kruhový buffer ve virtio, který se zaplňoval daty ve špatném pořadí, a to hlavně kvůli zvýšené latenci (zátěži) v dané době.

To jsi našel v nějaké bugzille, nebo tě už userspace přestal bavit a tak hackuješ jádro?

[Luboš Doležel (Doli)]

Ne, že by mě jádro nezajímalo , ale tohle řeší Standa z Hostingu 90 (a že mě vždycky těší, že tihle šikovní lidé mají profil na AbcLinuxu).

Já jsem si zatím ani neopravil ten prokletý dvbloopback, aby se nezasekával na novějších jádrech

[Stanislav Petr]

To jsme nasli u nas - provozovatele VPS kde abclinuxu.cz bezi. Se stejnou chybou, ikdyz s trochu odlisnym projevem jsme se setkali uz v jednom pripade zhruba pred mesicem - v te dobe jsme ale problem prisoudili chybe na strane zakaznika. V zasade jde o zahlceni bufferu fragmentovanymi odpovedmi na diskove pozadavky kdy host nemuze pokracovat protoze jeste neodebral nejstarsi data o ktera zadal. Ta ale neni mozne zapsat protoze pri vyrizovani na realnem HW byly pozadavky z hlediska vykonu prehazeny jinak takze byly vraceny v jinem poradi a do bufferu se nedari zapsat zacatek dat. Tohle se dela kvuli vykonu, protoze virtualizovany system nema ani poneti o fyzicke geometrii disku, pozici a trase hlavicek, atd.. Docasnym resenim bylo upraveni vah deadline planovace (snizeni latence), cimz by nemelo dojit k tak velkemu zprehazeni pozadavku ze by se buffer zaplnil drive nez bude obsahovat vsechna data vcetne jejich zacatku.

Dalsi vec ktera by mela v takovemto pripade zlepsit chovani je patch, ktery se pred tremi dny obevil v gitu a ktery definuje minimalni granularitu dat ve virtio:

diff --git a/hw/virtio-blk.c b/hw/virtio-blk.c
index b14fb99..91e0394 100644
--- a/hw/virtio-blk.c
+++ b/hw/virtio-blk.c
@@ -290,6 +290,10 @@ static void virtio_blk_handle_write(VirtIOBlockReq *req, 
MultiReqBuffer *mrb)
         virtio_blk_rw_complete(req, -EIO);
         return;
     }
+    if (req->qiov.size % req->dev->conf->logical_block_size) {
+        virtio_blk_rw_complete(req, -EIO);
+        return;
+    }
 
     if (mrb->num_writes == 32) {
         virtio_submit_multiwrite(req->dev->bs, mrb);
@@ -317,6 +321,10 @@ static void virtio_blk_handle_read(VirtIOBlockReq *req)
         virtio_blk_rw_complete(req, -EIO);
         return;
     }
+    if (req->qiov.size % req->dev->conf->logical_block_size) {
+        virtio_blk_rw_complete(req, -EIO);
+        return;
+    }
 
     acb = bdrv_aio_readv(req->dev->bs, sector, &req->qiov,
                          req->qiov.size / BDRV_SECTOR_SIZE,
-- 

[Bluebear]

Doposud byly na Google Apps a my GA neradi. Máme radši e-maily u sebe a máme plnou kontrolu nad nabízenými funkcemi atd.

Výrazy "u sebe" a "plná kontrola" na jedné straně a "virtuální server na cizím stroji" na druhé straně mi nějak nejdou k sobě A to nebudu komentovat to zálohování na Amazon.

[Luboš Doležel (Doli)]

Po zkušenostech s placenou podporou Google (dostal jsem ticket# a nikdy mi neodpověděli)... Teď je to sice na cizím stroji, ale u někoho, s kým se znám.

Extra zálohování kamsi do pryč je nekritická operace. To klidně Amazonu svěřím.

[zulu]

Jako třešnička na dortu je pak VNC klient ve Flashi, takže člověk má server rovnou v prohlížeči... Na jednu stranu to může znít jako "machrovina", ale takhle se zase například nemusím nikdy bát vyměnit jádro.

To jsem nepochopil.

[Heron]

Tím chtěl zřejmě říct, že pokud update jádra z nějakého důvodu selže a nové jádro nenabootuje, tak je opravava velmi snadná. Stačí se připojit na vnc, zjistit co se stalo a v boot manageru vybrat starší jádro, případně problém vyřešit. U fyzického serveru (bez managovací karty či kvm over ip) by v takovém případě bylo nutné k danému serveru fyzicky přijít a vyřešit to na místě připojením monitoru, klávesnice, nebo seriové linky apod. (což je zdlouhavé).

[Filip Jirsák]

S Grubem se to dá udělat i tak, že se nenastaví pořadí položky menu, které se má ve výchozím nastavení bootovat, ale určí se, že se má použít uložená položka. Do té si dám aktuální jádro a v sekvenci příkazů je i takový, který uloženou položku přepne na původní jádro. Mezi startovacími skripty je pak takový, který uloženou položku nastaví zase na aktuální jádro. Takže když se boot podaří a provede se startovací skript, je v Grubu nastaveno, aby se příště nabootovalo zase aktuální jádro. Pokud se boot nepodaří, je v Grubu nastaveno, že se má bootovat z předchozího jádra – takže pak stačí na dálku počítač resetovat. Případně těch záložních jader může být i víc a může to končit nějakým, které nabootuje z nějaké záchranné oblasti minimální systém.

Ale KVM je samozřejmě pohodlnější, ono se to s tím Grubem ne vždy podaří nastavit na první pokus správně.

[msk]

No hej, ale to aby sa clovek potom posral strachom, kde sa uklepol a ci to zafunguje

[pavlix]

Tohle nevidím jako udržitelný stav... pravda, naposled, když jsem vyřadil nějaký server restartem z provozu (tzn včera večer), tak se nakonec ukázalo, že jsem žádnou chybu neudělal a hw prostě jen odmítl znovu startovat... ale v minulosti jsem těch chyb udělal až dost.

A i tentokrát jsem pracoval s minimálně 200km vzdáleným strojem, takže „dojít“ si do serverovny, jako když dělám z domova a server je v Master Internet (tedy cca pět minut pěšky), nepřipadalo v úvahu.

[msk]

On to mozno zulu myslel tak, ze v pripade virtualizacie sa to povazuje tak trochu za samozrejmost ( technologicky aspekt vynecham ).

[Radek Hladik]

Ten Flash VNC klient sice vypadá jako machrovina, ale může být i poměrně užitečný. Ale jak je to s bezpečností? Prohlížel jsem různé Flash VNC klienty a žádný z nich neuměl VNCEncrypt (tedy SSL/TLS, které používá Qemu).

[Leoš Literák]

Migrace Abc byla pohoda. Tady asi není nic dodat. Na původním Abc jsem dal read-only režim, překopíroval jsem data, spustil jsem Abc na novém, změnil záznamy v DNS a bylo hotovo. To samé se týkalo Linkboxu, který je rovněž v Javě.

podobnými migracemi jsem si párkrát prošel, takže teď máš práci ulehčenou