Dotaz: "rozbitý" ulozto-downloader

[qwerty]

Ahoj, (asi) po updatu z ubuntu 21.10 na 22.04 se mi "rozbil" ulozto-downloader.

Po několika jiných chybách jsem se dostal k této, kterou už nedokážu vyřešit.

Píše to toto:
ImportError: /usr/local/lib/python3.10/dist-packages/tflite_runtime/_pywrap_tensorflow_interpreter_wrapper.so: invalid ELF header

Děkuji za echo.

Odpovědi

[jv.]

pip3 install --upgrade tflite_runtime ?

[qwerty]

pip3 install --upgrade tflite_runtime
Defaulting to user installation because normal site-packages is not writeable
Requirement already satisfied: tflite_runtime in /usr/local/lib/python3.10/dist-packages (2.4.0)
Requirement already satisfied: numpy>=1.16.0 in /home/tomik/.local/lib/python3.10/site-packages (from tflite_runtime) (1.23.1)
Requirement already satisfied: pybind11>=2.4.3 in /usr/local/lib/python3.10/dist-packages (from tflite_runtime) (2.9.2)

[X]

invalid ELF header

Mas instalovny tflite pro jinou platformu..

[qwerty]

No jak jsem experimentoval, tak jsem nainstaloval do Ubuntu toto:

https://github.com/iCorv/tflite-runtime
any? 3.x https://github.com/iCorv/tflite-runtime/raw/master/tflite_runtime-2.4.0-py3-none-any.whl

[X]

To je pro Mac.

[Bugsa]

Na 22.04 není tensorflow-lite. Podařilo se ho někomu sehnat?

[Bugsa]

Oprava, pro Python 3.10 není tensorflow-lite.

[k3dAR]

prvni odkaz z google na tva slova "Python 3.10 tensorflow-lite":
The newly released TensorFlow 2.8 supports Python 3.10 on all operating systems

[Bugsa]

No ale to je tensorflow, ne tensorflow-lite.

[k3dAR]

a neni to pip balik tflite-runtime?

[Bugsa]

Ano, ale ten není pro Python 3.10. Proto nám nefunguje v Ubuntu 22.04, kde je 3.10 jako výchozí. Dřív to šlo stáhnout přes nějaký Google Coral, ale tam aktuálně mají jen .whl pro 3.10 jen pro OSx.

[trubicoid2]

Někdy je lepší dát python3.9. Protože ho ale ve 22.04 už nemají, dá se kompilovat ručně. Viz třeba návod: https://www.build-python-from-source.com

[Olaf]

Proboha. A proč nepoužít pyenv? Může mít verzí, kolik chce. A mezi nimi přepínat.

[Bugsa]

Díky za tip. Tohle jsem neznal.

[trubicoid2]

Jako přepínat je dobrý, ale muselo by být co přepínat. Na 22.04 není python3.9

[Olaf]

Pyenv si stáhne zdrojáky, zkompiluje je k sobě. Nehledě na to, co je a není pro Ubuntu, tedy v ubuntích repos.

[trubicoid2]

aha, tak tím pádem to je dobrý

[gepard]

Tak jsem to zkusil a mám s tím furt problémy:

Když chci nainstalovat tflite-runtime pro 3.7

tomik@notebook:~$ pip3 install Stažené/tflite_runtime-2.4.0-cp37-cp37m-linux_x86_64.whl
/home/tomik/.pyenv/pyenv.d/exec/pip-rehash/pip: řádek 20: 128760 Neoprávněný přístup do paměti (SIGSEGV) (core dumped [obraz paměti uložen]) "$PYENV_COMMAND_PATH" "$@"

a když chci něco stáhnout tak

tomik@notebook:~/Stažené$ /home/tomik/.local/bin/ulozto-downloader --auto-captcha --parts 4 "https://uloz.to/file/xxxx"
Starting downloading for url 'https://uloz.to/file/xxxx'
Getting info (filename, filesize, ...)
CAPTCHA protected download - CAPTCHA challenges will be displayed

Starting TOR...
Traceback (most recent call last):, trying to solve
File "/home/tomik/.local/bin/ulozto-downloader", line 8, in module
sys.exit(run())
File "/home/tomik/.local/lib/python3.10/site-packages/uldlib/cmd.py", line 44, in run
d.download(args.url, args.parts, args.output)
File "/home/tomik/.local/lib/python3.10/site-packages/uldlib/downloader.py", line 237, in download
download_url = next(self.captcha_download_links_generator)
File "/home/tomik/.local/lib/python3.10/site-packages/uldlib/page.py", line 278, in captcha_download_links_generator
captcha_answer = captcha_solve_func(
File "/home/tomik/.local/lib/python3.10/site-packages/uldlib/captcha.py", line 87, in __call__
import tflite_runtime.interpreter as tflite
File "/usr/local/lib/python3.10/dist-packages/tflite_runtime/interpreter.py", line 34, in module
from tflite_runtime import _pywrap_tensorflow_interpreter_wrapper as _interpreter_wrapper
ImportError: /usr/local/lib/python3.10/dist-packages/tflite_runtime/_pywrap_tensorflow_interpreter_wrapper.so: invalid ELF header
Terminating tor..
Removed tor data dir: tor_data_dir_ea66a8f3-00e4-44ab-a1f7-90aee986cbf9
tomik@notebook:~/Stažené$ python --version
Python 3.7.0
tomik@notebook:~/Stažené$


Byť mám v systému python 3.7.0, tak downloader používá 3.10

[X]

https://www.abclinuxu.cz/poradna/linux/show/480450#2

[k3dAR]

ulozto-downloader nepouzivam, nicmene sem zkusil Xubuntu 22.04: tor, pres pvenv nainstaloval 3.9.13 (proc ty 3.7.0?) pak:

pyenv shell 3.9.13
pip3 install ulozto-downloader
pip3 install tflite-runtime

a ulozto-downloader mi 3.9.13 pouzije, ale zarve pri ziskani url captchy, s tim ze se snazi ho brat z "https:https://xapca.uloz.to/....", viz:

$ ulozto-downloader --auto-captcha --parts 4 "https://uloz.to/file/XXX/YYY"
Starting downloading for url 'https://uloz.to/file/XXX/YYY'
Getting info (filename, filesize, ...)
CAPTCHA protected download - CAPTCHA challenges will be displayed

Starting TOR...
Traceback (most recent call last):HA
  File "/home/k3dar/.pyenv/versions/3.9.13/bin/ulozto-downloader", line 8, in <module>
    sys.exit(run())
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/uldlib/cmd.py", line 44, in run
    d.download(args.url, args.parts, args.output)
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/uldlib/downloader.py", line 237, in download
    download_url = next(self.captcha_download_links_generator)
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/uldlib/page.py", line 278, in captcha_download_links_generator
    captcha_answer = captcha_solve_func(
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/uldlib/captcha.py", line 94, in __call__
    u = requests.get(img_url)
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/requests/api.py", line 73, in get
    return request("get", url, params=params, **kwargs)
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/requests/api.py", line 59, in request
    return session.request(method=method, url=url, **kwargs)
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/requests/sessions.py", line 573, in request
    prep = self.prepare_request(req)
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/requests/sessions.py", line 484, in prepare_request
    p.prepare(
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/requests/models.py", line 368, in prepare
    self.prepare_url(url, params)
  File "/home/k3dar/.pyenv/versions/3.9.13/lib/python3.9/site-packages/requests/models.py", line 445, in prepare_url
    raise InvalidURL(f"Invalid URL {url!r}: No host supplied")
requests.exceptions.InvalidURL: Invalid URL 'https:https://xapca.uloz.to/9274de46f3a7c1ff5f87872bd3b6c9c60efd1b36/image.jpg': No host supplied
Terminating tor..
Removed tor data dir: tor_data_dir_5b3cd4f7-8444-48a1-8fd2-54d7e7eb64f1

vsimni si ze mi bere python z "${HOME}/.pyenv/versions" a ne z "${HOME}/.local/lib" jako tobe, tzn. asi si pyenv zapracoval nejak spatne a i ten tensorflow-lite si asi nejak zprasil kdyz ti rve "invalid ELF header"

[X]

Jeste to neni patchute https://github.com/setnicka/ulozto-downloader/pull/83/commits

[k3dAR]

tak s timto patchem to stahne ok :)

[k3dAR]

pro tazatele... postup aplikovani patche pro opravu "https:https://..."

cd ${HOME}/.pyenv/versions/3.9.13/lib/python3.9/site-packages/uldlib
wget https://patch-diff.githubusercontent.com/raw/setnicka/ulozto-downloader/pull/83.patch
patch --backup --suffix .orig <83.patch

cesta pro "cd ..." zmenit dle prislusne verze pod kterou je ulozto-downloader nainstalovan...
(a resit to az po te co zpravis ty 2 zprasenosti

[k3dAR]

vysla verze ulozto-downloader 3.0.0 kde uz je problem opraven

[Bugsa]

V mém kontejneru s Alpine Linuxem se mi ani pyenv nepodařilo rozjet. Při instalaci jakékoliv verze Pythonu do pyenv vždy chyba. Například:

Last 10 log lines:
  File "/tmp/python-build.20220816070809.25129/Python-3.9.0/Lib/ensurepip/__init__.py", line 210, in _main
    return _bootstrap(
  File "/tmp/python-build.20220816070809.25129/Python-3.9.0/Lib/ensurepip/__init__.py", line 129, in _bootstrap
    return _run_pip(args + [p[0] for p in _PROJECTS], additional_paths)
  File "/tmp/python-build.20220816070809.25129/Python-3.9.0/Lib/ensurepip/__init__.py", line 38, in _run_pip
    return subprocess.run([sys.executable, "-c", code], check=True).returncode
  File "/tmp/python-build.20220816070809.25129/Python-3.9.0/Lib/subprocess.py", line 524, in run
    raise CalledProcessError(retcode, process.args,
subprocess.CalledProcessError: Command '['/tmp/python-build.20220816070809.25129/Python-3.9.0/python', '-c', '\nimport runpy\nimport sys\nsys.path = [\'/tmp/tmp8x1qv4e3/setuptools-49.2.1-py3-none-any.whl\', \'/tmp/tmp8x1qv4e3/pip-20.2.3-py2.py3-none-any.whl\'] + sys.path\nsys.argv[1:] = [\'install\', \'--no-cache-dir\', \'--no-index\', \'--find-links\', \'/tmp/tmp8x1qv4e3\', \'--root\', \'/\', \'--upgrade\', \'setuptools\', \'pip\']\nrunpy.run_module("pip", run_name="__main__", alter_sys=True)\n']' returned non-zero exit status 1.
make: *** [Makefile:1254: install] Error 1

"Vyřešil" jsem to zatím tak, že mám ulozto-downloader nainstalovaný přímo v Proxmox hostu, kde zatím je Python 3.9.2...

[k3dAR]

alternativni/snadna/rychla/"nenakladna" moznost dostat Python 3.9 do *buntu 22.04 je pouzit toto PPA, otestoval sem postup na ciste instalaci Xubuntu 22.04:

# pridani PPA s pythony verze nizsi a vyssi nez 3.10 (v pripade pridani na 22.04)
# url: https://launchpad.net/~deadsnakes/+archive/ubuntu/ppa?field.series_filter=jammy
sudo add-apt-repository --yes --no-update ppa:deadsnakes/ppa

# mainstalovani python3.9 modulu venv (dotahne si potrebne python3.9* baliky) a tor (vyzadovan ulozto-downloader(em))
sudo apt update -qq && sudo apt install --yes python3.9-venv tor

# vytvoreni virtualniho prostredi pro python 3.9
python3.9 -m venv ~/.local/lib/python3.9-venv

# (docasna) aktivace virtualniho prostredi pro python 3.9
source ~/.local/lib/python3.9-venv/bin/activate

# nainstalovani ulozto-downloader
# - instaluje se v tom aktivovanem prostredi
# - sam (od verze ulozto-downloader 3.0.0) si dotahne tflite-runtime
pip3 install ulozto-downloader

# vytvoreni symbolickeho linku z virtualniho python prostredi
ln ~/.local/lib/python3.9-venv/bin/ulozto-downloader --symbolic /usr/local/bin

# pousteni lze pak primo
# - diky symbolickemu linku v ceste co je v $PATH
# - tim ze link vede na soubor kterej ma v "hlavicce" cestu k python 3.9 ve virtualnim python prostredi
# - diky te hlavicky ^ neni jiz potreba aktivovat virtualni prostedi pres "source cesta/bin/activate"
# - od ulozto-downloader je parametr --auto-captcha vychozi, netreba ho tedy uvadet
ulozto-downloader --parts 50 'https://ulozto.cz/file/qg5jLJkVimbQ/klub-rvacu-1999-cz-mkv'

[k3dAR]

pripadna budouci aktualizace ulozto-downloaderu:

# (docasna) aktivace virtualniho prostredi pro python 3.9
source ~/.local/lib/python3.9-venv/bin/activate

# aktualizace balicku v tom virtualnim prostredi
pip3 install --upgrade ulozto-downloader

[Max]

Vzhledem k dlouhé diskusi mi to nedalo a podíval jsem se na to. Sakra, ten soft vypadá dost dobře. Doteď jsem používal Freerapid s ulozto pluginem. Toto vypadá mnohem lépe.
Zdar Max

[k3dAR]

taky sem to zkusil az pri teto diskuzi a prekvapilo me jak to taha rychle :)
BTW: od verze ulozto-downloader 3.1.0 zmena:

# toto opet jiz NEnainstaluje samo tflite-runtime
pip3 install --upgrade ulozto-downloader

# pro instalaci s auto tflite-runtime je nyni potreba 
pip3 install --upgrade ulozto-downloader[auto-captcha]

(ty to asi nepotrebujes, tazatel uz nereaguje ani opet pod jinym nickem, tak snad pro nekoho kdo pujde okolo

[Max]

Já jsem totiž koukal do dokumentace, kde je vysvětleno, jak funguje to tahání souborů (že si to generuje odkazy přes tor síť, takže lze obejít limit dvou souběžně sosaných spojení) + ta implementace TensorFlow tomu dodává další level.
Zdar Max

[Olaf]

No a já těď ať dělám, co dělám, na každém macOS stroji dostávám tuto hlášku:

TypeError: cannot pickle '_io.BufferedRandom' object

Ještě to vyzkouším v openSUSE.

[X]

Se kterou verzi?

[Olaf]

Ve 3.10.4. Balíček pro 3.9.9 není dostupný (s [auto-captcha]), ve 3.8.13 to funguje.

[k3dAR]

toto mi jelo (na Xubuntu 22.04) s python 3.9.13 a ulozto-downloader 3.0.0, ted overeno na stejnem systemu (po: pip uninstall ulozto-downloader tflite-runtime) ze "pip install ulozto-downloader[auto-captcha]" projde a nainstaluje i tflite-runtime...

[Olaf]

Dík, v noci na to mrknu. Nějak to jako nepotřebuju, ale když už je problém, tak je ho potřeba vyřešit, že ano. :o) Ale já si myslím, že to bude něco specifického s macOS.

[X]

Myslel jsem tu verzi downloaderu. V 3.0.0 s prechazelo z mutiplrocessing na multithreading.

[Olaf]

Ta, co funguje v Py3.8, je 3.1.0. Ta v 3.10.4 je kupodivu 2.6.0.

Aha, když přímo specifikuju, že chci 3.1.0, zařve toto:

ERROR: Could not find a version that satisfies the requirement tflite-runtime; extra == "auto-captcha" (from ulozto-downloader[auto-captcha]) (from versions: none)
ERROR: No matching distribution found for tflite-runtime; extra == "auto-captcha"

No, není tam.

[k3dAR]

no jako o tom je cele tohle vlakno ze pro autocaptchu potrebnej tflite-runtime neni dostupnej pro python >3.9 nicmene kdyz sem to puvodne hledal, tak myslim sem zahlidl ze pro macOS naopak nekde/nejak tflite-runtime s podporou python 3.10 je :)tflite-runtime

[k3dAR]

ale asi neslo o tflite-runtime ale o tensorflow-macos

[Olaf]

No jo, člověk zapomíná. Jo, tuším, že je pro čipy M1, ale nezkoušel jsem. Mrknu na to pak. :o) Ono to je fuk, přepínání v pyenvu je pohoda.

[tyxo]

Příloha:

• Screenshot_2022-09-19_19_02_16.png (568019 bytů)

tak dal som to s novou verziou 3.1.0. niektore linkz kde nie je captcha idu super, do niektorych som daval captchu manualne, a niektore nejdu a pise toto {OBRAZOK v prilohe|

[k3dAR]

tos jiste nepouzil postup #25 + #28, protoze s nim mi tvuj link normalne taha

[X]

Jses si jistej? Patch na tvuj problem je tam uz od verze 3.0.0.

[trubicoid2]

Uz to myslim zase nejede? Verze 3.5.1, říká:

....
[Link solve]	ERROR: Cannot parse CAPTCHA image URL from the page. Changing Tor circuit.
[Link solve]	TOR get new CAPTCHA (timeout 30)
[Link solve]	ERROR: Cannot parse CAPTCHA image URL from the page. Changing Tor circuit.
[Link solve]	TOR get new CAPTCHA (timeout 30)
[Link solve]	ERROR: Cannot parse CAPTCHA image URL from the page. Changing Tor circuit.
[Link solve]	TOR get new CAPTCHA (timeout 30)
[Link solve]	ERROR: Cannot parse CAPTCHA image URL from the page. Changing Tor circuit.
[Link solve]	TOR get new CAPTCHA (timeout 30)
[Link solve]	ERROR: Cannot parse CAPTCHA image URL from the page. Changing Tor circuit.
[Link solve]	TOR get new CAPTCHA (timeout 30)
[Link solve]	ERROR: Cannot parse CAPTCHA image URL from the page. Changing Tor circuit.
[Link solve]	TOR get new CAPTCHA (timeout 30)
...

[X]

Je to nahlasene..