Buildujeme portable VIM pro RHEL5+

16.10.2013 22:41 | Přečteno: 1048×

Před několika měsíci jsem kolegovi ukázal návykovost a sílu jedi-vim (jedi-vim spolu se sadou dalších pluginů promění vim v plnohodnotné Python IDE), jenže kolega si už o pár dní později začal stěžovat, že jedi-vim nemůže používat na testovacích serverech, na kterých převážně běží RHEL5 a RHEL6 (to znamená více než pět let starý vim a to navíc bez podpory pythonu). Instalovat na všechny servery nejnovější python a vlastní vim rozhodně není idealní řešení. Raději si zkusíme pohrát s build procesem (a zdrojákama) vimu a zkompilovat vim, který bude stačit rozbalit a poběží na (skoro)jakémkoliv moderním (glibc-based) linuxu...

Následující postup jsem ověřoval na panenské minimální instalaci CentOS 5, takže začneme opravdu od začátku, instalací základních závislostí.

yum install gcc make ncurses-devel gcc-c++
# mercurial získame z EPEL:
wget http://download.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
rpm -Uvh epel-release-5-4.noarch.rpm 
yum install mercurial

Přestože bude náš build "portable", tak v něm stejně budou natvrdo zadrátované cesty odvozené z --prefix parametru pro ./configure. Mít v portable binárce stringy jako /home/luv/sandbox/vim_build/ je prostě lame, takže si připravíme více sexy prefix.

mkdir /vim_build/

Ještě před kompilací vimu zkompilujeme Python do /vim_build

wget http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tgz
tar xfz Python-2.7.5.tgz
cd Python-2.7.5
./configure --prefix=/vim_build/python --enable-shared
make
make install

A teď už zkompilujeme samotný vim.

hg clone https://vim.googlecode.com/hg/ vim
cd vim
# A tady je potřeba si dát pozor!
# 1) python-config k instalaci pythonu, proti které budeme kompilovat musí být první v PATH
# 2) také musíme upravit LD_LIBRARY_PATH (přidat cestu ke knihovnám k naší instalaci pythonu)
# 3) configure musíme předat -–enable-pythoninterp=dynamic (dynamic je důležité)
export PATH=/vim_build/python/bin/:$PATH
export LD_LIBRARY_PATH=/vim_build/python/lib/:$LD_LIBRARY_PATH
./configure --disable-nls --enable-multibyte --disable-selinux --enable-pythoninterp=dynamic --disable-rubyinterp --with-features=huge --without-x --disable-gui --disable-gpm --with-tlib=ncurses --prefix=/vim_build/vim/
# Teď můžeme v src/auto/config.log ověřit, že vim bude zkompilován oproti správné verzi pythonu
make
make install
# A můžeme ověřit, že všechno funguje:
/vim_build/vim/bin/vim
# a ve vimu ověříme pomocí ":python import operator; print(operator)", že funguje podpora skriptování v pythonu.

Paráda, máme funkční vim s pythonem. Jenže tady je samozřejmě problém, že vim bude vždycky hledat python moduly ve /vim_build/python/... a runtime soubory ve /vim_build/vim/shared/. Naštěstí toto všechno se dá změnit pomocí manipulace proměnných LD_LIBRARY_PATH, PYTHONPATH a VIMRUNTIME. Nejdříve ale vytvoříme nový adresář, který bude obsahovat jak vim, tak python, ať máme všechno pokupě:

cd /vim_build
mkdir relocatable_test
cd relocatable_test
cp -r ../vim/bin/ .
cp -r ../vim/share/vim/vim74/ runtime
mkdir deps
cp -r ../python deps

Funguje? Mělo by

cd /vim_build/relocatable_test
LD_LIBRARY_PATH=`pwd`/deps/python/lib PYTHONPATH=`pwd`/deps/python/lib/python2.7/:`pwd`/deps/python/lib/python2.7/lib-dynload:`pwd`/deps/python/lib/python2.7/site-packages VIMRUNTIME=`pwd`/runtime bin/vim

A teď příjde okamžik pravdy a ověříme, že manipulace těchto proměnných prostředí opravdu stačí.

cd /vim_build/
rm -rf python vim
# a ověříme, že vim stále funguje
# doporučil bych opět ověřit pomocí ":python import operator; print(operator)", že funguje podpora skriptování v pythonu.
cd relocatable_test
LD_LIBRARY_PATH=`pwd`/deps/python/lib PYTHONPATH=`pwd`/deps/python/lib/python2.7/:`pwd`/deps/python/lib/python2.7/lib-dynload:`pwd`/deps/python/lib/python2.7/site-packages VIMRUNTIME=`pwd`/runtime bin/vim

Opravdový portable build

Jenže takto vim pouštět pokaždé není zrovna pohodlné, a "portable" buildem bych se takovéto rešení nazvat neodvážil. Samozřejmě, nejjednodušší rešení by bylo přidat jednoduchý wrapper, který tyto proměnné před spuštěním nastaví, ale když už je vim open-source, tak proč toho nevyužít, a neupravit si těch 20 řádku kódu, aby nám všechno fungovalo po vůli.

• Opatchujeme VIM aby nastavil relativně PYTHONPATH před spuštěním vim_7.4.24-kill_pythonpath.patch
• Opatchujeme VIM aby používal relativní cestu při hledání runtime souborů vim_7.4.24-kill_vimruntime.patch
• Při kompilaci Pythonu nastavíme rpath $ORIGIN
• Při kompilaci vimu nastavíme rpath $ORIGIN

Nejdříve vyčistíme po předchozí instalaci:

rm -rf /vim_build
mkdir /vim_build

Překompilujeme Python s nastavením rpath $ORIGIN:

cd Python-2.7.5 # cd do zdrojáků pythonu
make clean
export LDFLAGS='-Wl,-rpath,\$$ORIGIN/../lib/'
./configure --prefix=/vim_build/python --enable-shared
make
make install

Opatchujeme a překompilujeme vim:

cd vim # cd do zdrojáků vimu
make clean
patch -p1 < vim_7.4.24-kill_pythonpath.patch
patch -p1 < vim_7.4.24-kill_vimruntime.patch
export LDFLAGS='-Wl,-rpath,\\\$$ORIGIN/../deps/python/lib/'
export PATH=/vim_build/python/bin/:$PATH
export LD_LIBRARY_PATH=/vim_build/python/lib/:$LD_LIBRARY_PATH
./configure --disable-nls --enable-multibyte --disable-selinux --enable-pythoninterp=dynamic --disable-rubyinterp --with-features=huge --without-x --disable-gui --disable-gpm --with-tlib=ncurses --prefix=/vim_build/vim/
make
make install

Připravíme samotný portable build:

cd /vim_build
mkdir vim_py27_rhel5
cd vim_py27_rhel5
cp -r ../vim/bin/ .
cp -r ../vim/share/vim/vim74/ runtime
mkdir deps
cp –r ../python deps
bin/vim # teď už by vše mělo fungovat
rm -rf ../python ../vim
mv /vim_build/vim_py27_rhel5 test_location
cd test_location
bin/vim # a tento build by měl být opravdu relocatable

Nakonec ještě můžeme otestovat jedi-vim:

# nainstalujeme pathogen
mkdir -p ~/.vim/autoload
cd ~/.vim/autoload
wget 'http://www.vim.org/scripts/download_script.php?src_id=19375' -O pathogen.vim
echo "call pathogen#infect()" >> ~/.vimrc

# nainstalujeme jedi-vim
mkdir ~/.vim/bundle/
cd ~/.vim/bundle
git clone https://github.com/davidhalter/jedi-vim
cd jedi-vim
git submodule update --init

# hotovo, jedi-vim by těd měl fungovat s naším vimem, který můžeme nakopírovat na jakýkoliv stock rhel5, rhel6 box (vlastně víceméně skoro jakýkoliv moderní linux - testoval jsem i na Ubuntu 12.04)
test_location/bin/vim

---

Pokud odkazy na patche náhodou nefungují, tak je ještě tady přikládám:

vim_7.4.24-kill_pythonpath.patch:

--- vim_source/src/if_python.c	2013-09-10 14:35:06.000000000 +0100
+++ vim_source_patched/src/if_python.c	2013-09-10 15:29:05.000000000 +0100
@@ -20,6 +20,10 @@
 #include "vim.h"
 
 #include <limits.h>
+#include <unistd.h>
+#include <libgen.h>
+#include <string.h>
+#include <stdlib.h>
 
 /* uncomment this if used with the debug version of python.
  * Checked on 2.7.4. */
@@ -663,6 +667,37 @@
 	return FAIL;
     }
 #endif
+    char curr_exe_path[1024];
+    ssize_t len;
+
+    if ((len = readlink("/proc/self/exe", curr_exe_path, sizeof(curr_exe_path)-1)) != -1) {
+        curr_exe_path[len] = '\0';
+        char* top_dir = dirname(dirname(curr_exe_path));
+        char python_path1[2048];
+        char python_path2[2048];
+        char python_path3[2048];
+        char python_path[6200];
+
+        memset(python_path1,0,2048);
+        memset(python_path2,0,2048);
+        memset(python_path3,0,2048);
+        memset(python_path,0,6200);
+
+        strcpy(python_path1,top_dir);
+        strcpy(python_path1+strlen(top_dir),"/deps/python/lib/python2.7/:");
+
+        strcpy(python_path2,top_dir);
+        strcpy(python_path2+strlen(top_dir),"/deps/python/lib/python2.7/lib-dynload:");
+
+        strcpy(python_path3,top_dir);
+        strcpy(python_path3+strlen(top_dir),"/deps/python/lib/python2.7/site-packages");
+
+        strcpy(python_path,python_path1);
+        strcpy(python_path+strlen(python_path1),python_path2);
+        strcpy(python_path+strlen(python_path1)+strlen(python_path2),python_path3);
+
+        setenv("PYTHONPATH",python_path,1);
+    }
 
     if (hinstPython)
 	return OK;

vim_7.4.24-kill_vimruntime.patch:

--- vim_source/src/misc1.c	2013-09-10 14:35:06.000000000 +0100
+++ vim_source_patched/src/misc1.c	2013-09-10 15:35:30.000000000 +0100
@@ -14,6 +14,11 @@
 #include "vim.h"
 #include "version.h"
 
+#include <unistd.h>
+#include <libgen.h>
+#include <string.h>
+#include <stdlib.h>
+
 static char_u *vim_version_dir __ARGS((char_u *vimdir));
 static char_u *remove_tail __ARGS((char_u *p, char_u *pend, char_u *name));
 #if defined(FEAT_CMDL_COMPL)
@@ -4181,6 +4186,22 @@
     if (!vimruntime && STRCMP(name, "VIM") != 0)
 	return NULL;
 
+    if (vimruntime) {
+        char curr_exe_path[1024];
+        ssize_t len;
+        if ((len = readlink("/proc/self/exe", curr_exe_path, sizeof(curr_exe_path)-1)) != -1) {
+            curr_exe_path[len] = '\0';
+            static char runtime_path[2048];
+            memset(runtime_path,0,2048);
+            char* top_dir = dirname(dirname(curr_exe_path));
+            strcpy(runtime_path,top_dir);
+            strcpy(runtime_path+strlen(top_dir),"/runtime");
+
+            default_vimruntime_dir = runtime_path;
+            p = runtime_path;
+        }
+    }
+
     /*
      * When expanding $VIMRUNTIME fails, try using $VIM/vim<version> or $VIM.
      * Don't do this when default_vimruntime_dir is non-empty.

---

A na závěr ještě odkaz na hotové buildy (vim mercurial changeset 5350, zkompilováno na CentOS 5): pro x86 a x86-64.

       

Komentáře

[KS]

Jedi-vim jsem neznal, vypada dobre, dik za tip.

[kavol]

poněkdu mi uniká pointa, když chce bleeding edge software, tak proč RHEL5 ...

jinak pro RHEL6 je k dispozici python33, to nestačí?

[smazáno]

poněkdu mi uniká pointa, když chce bleeding edge software, tak proč RHEL5 ...

tak si znova precti uvodni odstavec

[kavol]

nepomáhá :-p

[smazáno]

Jde o to, ze bychom radi pouzivali vim 7.4 s pythonem2.7 na rhel5 serverech, kterych bychom se nejradeji nedotykali . Takto staci rozbalit jeden tarball do /home (nebo na NFS) a hotovo (a system to nijak neovlivni).

[kavol]

rozumím, ale furt nechápu proč ... no to je asi jedno

[dumblob]

kterych bychom se nejradeji nedotykali

O to vice nechapu proc tam potrebujete vim s IDE-like konfiguraci. Jestli chci pracovat na necem vetsim, tak sshfs to preci jisti. Takhle resim i obskurni situace (napr. QNX, kde je dostupny SW v jaksi, slusne receno, zajimavem stavu).

Kazdopadne presne na tento typ problemu (novy soft na starem RHELu tak, aby neovlivnil zadnou z casti systemu) jsou Software Collections (SCL) jak uz kavol nize zminil.

[smazáno]

• Souhlasim, ze normalni vim by nam stacil a tohle je jen takovy bonus. Hezky priklad pouziti je vyvoj scons skriptu (kde se ten jedi-vim uzije) primo na build serveru (kam si jakychces python instalovat nemuzes) - do detailu se poustet nebudu, ale napriklad nainstalovat na tom build serveru balik pcre-devel by rozbilo buildy ... ja vim, ze to je hrozne, ale takova proste je situace
• sshfs jsme pouzivali pred tim a fungovalo dobre, obcas ale trochu nepohodlne
• Software Collections vypadaji fajn (ale ty repozitari co tam odkazuji jsou vsechno RHEL6 a navic jen par baliku)

[smazáno]

Jinak, ty Sofware Collections (scl) jsem neznal a vypada to zajimave!

[smazáno]

jinak pro RHEL6 je k dispozici python33, to nestačí?

Odkaz na repo mas?

[smazáno]

I kdyz, samotny py3.3 originalni problem neresi, protoze je potreba jeste proti nemu zkompilovany vim (a navic jedi asi nebude fungovat s py3). Ale stejne by me zajimalo oficialni/overene repo pro rhel s python3.

[kavol]

I kdyz, samotny py3.3 originalni problem neresi, protoze je potreba jeste proti nemu zkompilovany vim

to sice samo o sobě neřeší, ale přijde mi pořád příjemnější mít k dispozici novější python a jen si proti němu přebuildit srpm novějšího vimu (za předpokladu, že tam není žádná další zásadní závislost?), nežli páchat výše uvedená zvěrstva ...

[smazáno]

Budes se jeste muset vrtat v SPEC file, ale souhlasim, ze vytvorit si rpm, ktere takto nainstaluje vim napr. do /opt by bylo taky OK reseni. Ale potrebuje roota, a navic delat cokoliv mimo /home na techto serverech je .. neidealni.

Tenhle build vimu je "portable" a navic funguje v pohode i treba na stable Debianu, Ubuntu atd. Rozbalim jeden tarball ve svym home, pustim a jedu, kdekoliv. Jasne, obrovska nevyhoda je, ze ma nabundlovany cely python.

[kavol]

Budes se jeste muset vrtat v SPEC file,

no, to byla ta závorka "za předpokladu" - u dost věcí funguje prostý rebuild ... v tomto případě by bylo potřeba nejdřív nahodit scl prostředí; přiznávám, že o tom toho moc nevím, sám jsem pod tím ještě nic nebuildil, jen vím, že "řešení existuje" protože prostě různé balíčky zbuilděné proti novým verzím jsem měl pod rukama

ale souhlasim, ze vytvorit si rpm, ktere takto nainstaluje vim napr. do /opt

ale to nemusíš, tím novým vimem můžeš klidně přeplácnout systémový, jen bude záviset na tom kolekčním pythonu místo defaultního

Ale potrebuje roota,

no tak jsem-li admin, tak snad jedno su/sudo není problém ...

a navic delat cokoliv mimo /home na techto serverech je .. neidealni.

tož to už je váš boj já upgrade textového editoru, eventuelně doinstalování závislostí, za extra nebezpečný zásah nepovažuju, ale samozřejmě neznám detaily prostředí

Tenhle build vimu je "portable" a navic funguje v pohode i treba na stable Debianu, Ubuntu atd. Rozbalim jeden tarball ve svym home, pustim a jedu, kdekoliv. Jasne, obrovska nevyhoda je, ze ma nabundlovany cely python.

já hlavně nějak nerozumím, proč bys měl chtít "jet" v home na serveru, na který nechceš moc šahat, v ~ typicky "jezdím" na své workstation, ale ... stejné jako výše, nenutno rozebírat, prostě máš nějakou potřebu, nabídl jsem ti aktuálnější software v kolekcích(*), pokud to tu potřebu neřeší, hm, tak nic

(*) btw, pokud je zájem zařadit tam krom nových databází a whatever i třeba novější vim, je třeba jej projevit, nemáme křišťálové koule, abychom v RH věděli úplně o všem, co si zákazníci přejí (jistě, ne všemu vyhovíme, ale vědět o tom je první krok)

[kavol]

kolekční repa pro EL

[smazáno]

Diky!