Dotaz: Position dependent code a sdílená knihovna

[Logik]

Mám knihovnu (64bit linux), zkompilovanou bez přepínače -fPIC. Zdrojáky k ní nemám. Chtěl bych z ní udělat pomocí f2py rozšíření do pythonu: to je ale sdílená knihovna a tedy použití -fPIC vyžaduje. Neznáte někdo nějakou cestu, jak to obejít?

Napadlo mě např. nějaká transformace knihovny na PIC code? Nebo nějakej PIC wraper a vhodná kombinace přepínačů linkeru tak, by to šlo přeložit?

Jediné co mě napadlo je to spustit v podprocesu, ale vzhledem k tomu, že to je řešič a jako argument tomu lezou desítky megabajtů, tak bych se rád vyhnul zbytečný duplikaci obsazený paměti a rád bych to spustil ve stejnym adresnim prostoru.

Odpovědi

[Logik]

PS: Ještě jsem našel toto, http://eli.thegreenplace.net/2011/11/11/position-independent-code-pic-in-shared-libraries-on-x64/ ale mimo to, že netuším, jestli by python s takovouto knihovnou správně kooperoval, tak mi to odmítá můj soubor zkompilovat.

[Logik]

PS: Ještě jsem našel toto, http://eli.thegreenplace.net/2011/11/11/position-independent-code-pic-in-shared-libraries-on-x64/ ale mimo to, že netuším, jestli by python s takovouto knihovnou správně kooperoval, tak mi to odmítá můj soubor zkompilovat a hlásí to:

internal compiler error: in cselib_hash_rtx, at cselib.c:741 Please submit a full bug report, with preprocessed source if appropriate.

[graviton]

Jak taková "knihovna" vypadá? Obávám se, že bez podstatného upřesnění se nikdo nechytne.

Jak to tady čtu, tak f2py popadne zdrojáky ve fortranu a vygeneruje z nich sdílenou knihovnu (je to tento případ? asi ne, že?). Strkat do f2py sdílenou knihovnu se mi zdá poněkud proti proudu.

[Logik]

Knihovna je prostě balíček objektových (.o) souborů zabalených pomocí ar do .a souboru.

S f2py ses trefil přesně - právě on dělá tu sdílenou knihovnu a já v ideálním případě potřebuju nějakou kombinaci přepínačů tak, aby do ní uměl naliknovat i ten position dependent code z té knihovny, popř. nějakou transformaci té knihovny tak, aby byla PIC.

Konkrétně jde o jadamilu řešič: http://homepages.ulb.ac.be/~jadamilu/ a já hledám nějaký rozumný způsob, jakým volat z Pythonu (2.5), popř. Cythonu ten řešič. Varianta, že uložím zadání do souboru a spustím child process tu sice je, ale moc mě neláká.

Na sdílenou knihovnu jsem se ptal, protože pokud udělám sdílenou knihovnu, tak tu už nějak z pythonu zavolám (přinejhorším tak, že z Cythonu zavolám C kód volající knihovnu), popř. z toho jak se dělá vyšaším, jaký parametry procpat do f2py, aby to jelo.

Tak díky moc za pomoc.

[graviton]

http://www.technovelty.org/c/position-independent-code-and-x86-64-libraries.html <- nějaké další vysvětlivky k té sdílené knihovně - moc nadějí bych do toho nevkládal.

Varianta vedlejší proces+shared memory? Sice se data budou muset alespoň jednou kopírovat a pokud se jedná o stovky mega, tak si uživatel bude možná muset přenastavit v systému nějaké limity, ale rychlostně by to zas tak tragické být nemuselo.

[kralyk z abclinuxu]

Knihovna je prostě balíček objektových (.o) souborů zabalených pomocí ar do .a souboru.

Dělá to na mě dojem, že to je prostě statická knihovna.

Mělo by se to ale dát celkem jednoduše přelinkovat do dynamického .so s -fPIC. Podívej se na tohle (druhá odpověď), imho velmi podobný problém.

[Logik]

Možná mělo, ale nedá. Při linkování do sdílené knihovny to zařve, že je to position dependent code (tu hlášku si přesně nepamatuju a makefile už mám jinej, je to něco s R_X86_64_PC32). Btw. kdyby to bylo tak jednoduchý, tak bych se asi neptal , protože f2py nedělá nic jinýho, než že k funkcím vygeneruje wrappery a celý to zabalí do jedný sdílený knihovny.

fPIC je záležitost kompilace, nikoli linkování - musí se změnit způsob odkazování na globální symboly - takže "přelinkovat" pos-dependent code na independent jednoduše nelze.

[rADOn]

AFAIK pokud ten kód používá registr kde je globální offset, tak nic nenaděláš. A to by musel být hodně primitivní kód aby nechával ležet ladem nevyužitý registry

[ivan]

Nejsem si uplne jistej, ale myslim, ze -fPIC je na 64bit architekture implicitni. Co to vlastne doopravdy mas? Mas .obj soubory anebo statickou .a knihovnu?

[potato]

AFAIK x86_64 používá relativní offsety na data, to se ale netýká funkcí.

[Logik]

Implicitní není, musí se zadávat.

Mám .a knihovnu, ale ta je jen balíček .o souborů, takže mám defakto i objektový soubory. Ale jsou prokazatelně non-PIC (nebo PDC? jakej je tu vlastně správnej termit?)

[Ivan]

Aha tak to jsem byl vedle. Me to jednou fungovalo i bez -fPIC u knihovny v C++. To ze mi tam ten option chybi jsem zjistil az kdyz jsem to portoval na 32bit Linux - sam jsem se divil jakto, ze to muze fungovat.

Mam jeste jeden napad. Napis tem autorum - na webu pisou: "If you don't find in this list the combination that matches your need, you may contact the authors providing them a temporarily login on your machine; we shall use it to generate the libraries, that will be subsequently post on the web to benefit the whole community. "

Kdyz jim nabidnes wrapper pro python tak ti snad nedaji kosem.

[Logik]

To uz jsem udelal, poslali mi ale jen kody pro simple eigenvalue problem a ja potrebuju general eigenvalue problem (pritom v ty knihovne jsou). Na dalsi mail zatim neodpovedeli (tak doufám, že jsem )

PS: Na 32bit linuxu by to právě bez toho fPIC fungovat mělo, problém to je akorát na 64bit, nepřehodil's to?