Dotaz: Vlastní repo cache?

[MilanC]

Ahoj,

předem napíšu co je cílem a jaká je představa. Mám řekněme 30 strojů s Ubuntu16 a cílem je na všech udržet jednotné prostředí co se týká instalovaných balíčků. Když je budu aktualizovat z netu, jednak se verze mohou v čase lišit a také si nemohu dovolit příliš riskovat update všech strojů najednou / kdyby se něco rozjelo.

To je představa, ale dál úplně přesně nevím, jak toho docílit. Všechny servery by mohli odkazovat na můj vlastní repo, kde budu mít jen "katalog" (?), který pak obsahuje odkazy na konkrétní balíčky na oficiální repo. Tento katalog by bylo možné aktualizovat jen ručně. Po jeho aktualizaci bych třeba na 2 strojích urelal ručně apt update/upgrade a nějaký čas testoval. Pokud by bylo vše ok, udělal bych hromadně totéž na všech ostatních. Za nějakou dobu bych ručně z netu aktualizoval "katalog" a celou proceduru opakoval. Takto nějak by to asi mohlo fungovat?

Našel jsem několik vodítek, jako reprepro, apt-cacher, dpkg... Ale úplně nevím, který z nástrojů nejblíže odpovídá. Také je to možná vymyšleno špatně. Nechci nějaké extra nástroje typu puppet, raději něco jednoduchého a rychle zprovoznitelného, počítám s ruční interakcí.

Díky za nasměrování.

Odpovědi

[NN]

Co jit naprikad cestou Ansible? Nebo jinou variantou software pro hromadnou spravu?

[pavlix]

Jak přesně cestou ansible vyřeší tu cache?

[Sten]

Pokud mají mít všechny stejnou verzi, pak by nejblíže bylo mít server, kam ručně synchronizujete package list (Packages.gz) a stahované balíčky budete cachovat třeba pomocí apt-cacheru. Ještě jednodušší by bylo rozjet plnohodnotný mirror (který aktualizujete, jen když uznáte za vhodné), ale to bude potřebovat okolo terabajtu místa.

Anebo pokud to budete dělat ručně, tak můžete z testovacího stroje exportovat seznam balíčků a jejich verzí a nainstalovat to na ostatních.

[MilanC]

Ahoj, já mám trochu problém s tím pochopením (15 let FreeBSD a nezkušenost s Linuxem). Třeba nevím, kde najdu na ubuntu nainstalované balíčky.

Ale jinak. Mám mezi těmi 30 stroji NFS link na jeden společný. Tak předpokládám, že bych to mohl využít místo tahání z web serveru ok? Ten Packages.gz mohl mít ve sdíleném share adresáři (NFS). Na každém stroji bych měl nastavit v /etc/apt/sources.list - deb file:/var/NFS/myrepo ./ (nic víc) Přičemž jestli chápu, Packages.gz má být dostupný také ve /var/NFS/myrepo/

Teď mam problém s tím, jak vytvářet Packages.gz. Předpokládám, že dpkg-scanpackages . /dev/null | gzip -9c > Packages.gz

musím pustit někde v adresáři s nainstalovanými balíčky, což je na Ubuntu kde? /var/cache/apt/archives/? Tady mám ale jen 96 deb souborů. V systému mám ale aktuálně balíčků.

s# dpkg -l | wc -l 835

Díky za pomoc.

[Sten]

Nainstalované balíčky jsou rozbalené a nainstalované. Před rozbalením se stahují do /var/cache/apt/archives/, ale to je jenom cache. Ve /var/lib/apt jsou metadata ohledně nainstalovaných balíčků (jména, verze, instalační skripty). Samotné balíčky se nikde neskladují.

Můj návrh byl spíš stáhnout Packages.gz z oficiálního repozitáře. Dokud Packages.gz neaktualizujete, tak se nezmění verze, které tam jsou uvedeny. Tím budete mít stejné verze na všech počítačích. Při aktualizaci pak aktualizujete Packages.gz a na všech strojích spustíte aptitude update, tím se všechny aktualizují na stejné novější verze.

[MilanC]

Aha, ale já nikde v systému Packages.gz nemám. Nepoužívám aptitude ale apt, jestli to není tím. Nicméně mezitím jsem si rozjel apt-mirror, protože nastavení a použití mi přišlo asi nejsnadnější. Ale krom jiného mám problém, že miroruji také z neofic. repo (nvidia) a nevím jak vyřešit problém s podpisem.

Jinak jsem musel v sources.list na "klientovi" vydefinovat každé repo. Myslel jsem, že to půjde nějak najednou (?). Alespoň v některých příkladech jsem to viděl.

v sources mam např. deb file:/var/share/apt-mirror/mirror/ppa.launchpad.net/graphics-drivers/ppa/ubuntu xenial main

apt-update

W: GPG error: file:/var/share/apt-mirror/mirror/ppa.launchpad.net/graphics-drivers/ppa/ubuntu xenial InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY FCAE110B1118213C
E: The repository 'file:/var/share/apt-mirror/mirror/ppa.launchpad.net/graphics-drivers/ppa/ubuntu xenial InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.

sources.list / klient

deb file:/var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu xenial main restricted
deb file:/var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu xenial-updates main restricted
deb file:/var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu xenial universe
deb file:/var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu xenial multiverse
deb file:/var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu xenial-updates multiverse
deb file:/var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu xenial-backports main restricted universe multiverse
deb file:/var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu xenial-security main restricted
deb file:/var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu xenial-security universe
deb file:/var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu xenial-security multiverse
deb file:/var/share/apt-mirror/mirror/ppa.launchpad.net/graphics-drivers/ppa/ubuntu xenial main

mirror.list / server

################## config ##################
set base_path           /var/share/apt-mirror
#set mirror_path        $base_path/mirror
#set skel_path          $base_path/skel
#set var_path           $base_path/var
#set cleanscript        $var_path/clean.sh
set defaultarch         i386 amd64
#set postmirror_script  $var_path/postmirror.sh
#set run_postmirror     0
set nthreads            20
set _tilde              0
################## end config ##################

deb http://cz.archive.ubuntu.com/ubuntu xenial main restricted
deb http://cz.archive.ubuntu.com/ubuntu xenial-updates main restricted
deb http://cz.archive.ubuntu.com/ubuntu xenial universe
deb http://cz.archive.ubuntu.com/ubuntu xenial-updates universe
deb http://cz.archive.ubuntu.com/ubuntu xenial multiverse
deb http://cz.archive.ubuntu.com/ubuntu xenial-updates multiverse
deb http://cz.archive.ubuntu.com/ubuntu xenial-backports main restricted universe multiverse
deb http://security.ubuntu.com/ubuntu xenial-security main restricted
deb http://security.ubuntu.com/ubuntu xenial-security universe

deb http://ppa.launchpad.net/graphics-drivers/ppa/ubuntu xenial main
# deb-src http://ppa.launchpad.net/graphics-drivers/ppa/ubuntu xenial mai

clean http://archive.ubuntu.com/ubuntu

[k3dAR]

Packages.gz je ulozene na adrese repositare, pri aktualizaci seznamu z repositaru(apt update) se stahne a rozbali do /var/apt/list s nazvem neco jako repourl_distro_release_section_type_arch_Packages...

[k3dAR]

btw: apt nebo aptitude je jedno

[Jindřich Makovička]

Doporučoval bych začít man debmirror. Pokud nepotřebujete všechny architektury a stačí i386 + x86-64, mělo by na zrcadlo stačit pár desítek GB místa.

[k3dAR]

doporucil bych venovat pozornost komu na co odpovidas ;)

[MilanC]

A jaký je rozdíl třeba mezi debmirror a apt-mirror? apt-mirror mi teď zabírá i386 a amd64 asi 150GB. Nevím proč, ale háže mi pak klient nějaké chyby že něco nemůže najít. Když pouštím apt-mirror tak bez chyb.

File not found - /var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu/dists/xenial-security/main/binary-i386/Packages (2: No such file or directory) Get:16 file:/var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu xenial-security/universe i386 Packages [282 kB] Ign:16 file:/var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu xenial-security/universe i386 Packages Reading package lists... Done E: Failed to fetch file:/var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu/dists/xenial-updates/main/binary-i386/Packages File not found - /var/share/apt-mirror/mirror/cz.archive.ubuntu.com/ubuntu/dists/xenial-updates/main/binary-i386/Packages (2: No such file or directory) E: Failed to fetch file:/var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu/dists/xenial-security/main/binary-i386/Packages File not found - /var/share/apt-mirror/mirror/security.ubuntu.com/ubuntu/dists/xenial-security/main/binary-i386/Packages (2: No such file or directory) E: Some index files failed to download. They have been ignored, or old ones used instead.

[lertimir]

Tak pro opensuse jsem dělal synchronizaci a update podle How to cache openSUSE repositories with Squid asi by nemělo být težké upravit použití pro Ubuntu. primární výhoda pro mne byla snížení zátěže na síti, repozitory se stahovalo jednou. a pro Ubuntu existuje přímo Apt-Cacher-Server. A moje zkušenost je, že když se něco rozjelo a to bylo velmi výjmečné, tak náprava byla vetšinou velmi rychle, spíše v řádu hodin. Samozřejmě neznám politiku ubuntu.

[pavlix]

Kdysi jsem na tenhle účel squid používal, ale nějak mi to řešení nesedělo. Mam pocit, že jsem měl problém s tím, že to bylo jen pro pár strojů a ten squid neměl nejmenší tušení, co bude ještě potřeba a co ne. Ale univerzální řešení mě jinak nenapadá a u desítek strojů by to mohlo aspoň trochu fungovat.

[Sten]

Squid je vhodný jen jako transparentní proxy, která to přesměruje na apt-cacher-ng nebo něco podobného. On sám právě nedokáže poznat, kdy už může balíčky smazat či je má ještě ponechat. apt-cacher-ng a podobní sledují Packages.gz a tak ví, kdy už určité balíčky nejsou odkazované a mohou je odstranit.

[pavlix]

To mi přijde jako nehorázná prasárna. Asi si umím představit situaci, kdy bych transparentní proxy nějak překousl a možná i pro ty balíčky, ale podle mě si tím člověk zadělává na těžko odhalitelné problémy.

[PanZvedavy]

https://www.aptly.info/

[Josef Kufner]

Šel bych na to jinak. Namísto aktualizování jednotlivých počítačů bych je nechal používat centrálně spravovaný image systému. Při aktualizaci by se udělal nový image a počítače by rebootnuli do nového. Pokud by byl problém, rebootnuli by si zpět do starého. Dalo by se zde s výhodou používat btrfs snapshotů nebo podobného mechanismu.

Tím "image" nemyslím přímo obraz disku, ale jen adresářovou strukturu, kterou lze připojit po NFS nebo pomocí rsync přenést. V případě použití rsyncu bych asi šel cestou dvou systémových partition, kdy jedna by se používala a na druhou šla nová verze, pak by se jen v grubu přehodila výchozí. Pokud by nevadila chvilka offline při aktualizaci, tak bych udělal na každém stroji miniaturní systém s ssh a rsyncem, který by byl schopen provést aktualizaci hlavního systému (rsync z vybraného vzoru) a rebootnout do nového systému.