Dotaz: Uložená webová stránka požaduje před jejím zobrazením ověření

[Petr Fiedler]

Zdravím,
přes Tor jsem si dnes uložil tuto stránku. Když jí chci zobrazit v Toru, nebo ve FF, tak na mě vyskočí CAPTCHA, přes kterou se pochopitelně nedá dostat. Když tu samou stránku stáhnu přes FF, tak vše funguje. Nevíte prosím někdo, jak podobné stránky stahovat přes Tor, aby pak šly zobrazit?

Odpovědi

[jejda]

Teoreticky použít takový exitnode který nemají v cloudflare na blacklistu. No v praxi i když by se ti takovou nezašpiněnou IP adresu náhodou podařilo najít, tak stejně nebude fungovat dýl jak tipuju půl dne. Taky se s tím docela často setkávám a řeším to tak, že na ten web prostě nelezu pokud to není něco extra důležitého. Psát zoufalcům maily, že si mají pořídit nějaký normální síťově neutrální hosting je asi marnost. Flaresolver vypadá zajímavě ale captcha obejít prý taky neumí.

[Petr Fiedler]

Nejsem si jistý, jestli mi úplně rozumíš. Když na tu stránku jdu přes Tor, tak funguje a CAPTCHA tam vůbec není. Článek si lze bez problémů přečíst. Problém nastane, když si tu stránku z Toru uložím. Při pokusu o její otevření (té uložené) se objeví CAPTCHA. Pokud na tu stránku půjdu přes FF a uložím si jí, tak pak při jejím zobrazení nic potvrzovat nemusím a vše funguje jak má. Otázka tedy zní, jak tu stránku z Toru stáhnout tak, aby fungovala a nechtělo to tu CAPTCHU? Abych tam prostě nemusel chodit skrze FF a stahovat to z něj, protože z něj to pak funguje.

[jejda]

Aha, já jsem ten odkaz stahoval takto:

curl -v --proxy socks5h://localhost:9050 "https://www.alza.cz/kyc-poznej-sveho-zakaznika-pravil-regulator" > test.html

a když jsem si to nechal zobrazit v linksu tak tam bylo:

                                                                                              Alza.cz
                                    Please confirm you are human.

   "Beep beep toot toot - Thank you"

   Please stand by, while we are checking your browser...

                            Please turn JavaScript on and reload the page.

  Date and time

  Ray ID

   71845f843ee244f8

  You IP address

   185.220.101.139

  Performance & security

   Cloudflare

Teď to zkouším torbrowserem a stránka se vpohodě načte. To jsem z toho jelen. Když stránku zkusím ale uložit, tak to sice vytvoří složku ve které je hromada obrázků, javaskriptů ale nikde žádné html. Chápu to dobře že na uložení aji na potom offline načtení té stránky chceš použít jenom tor browser? Zatím z toho mám totiž pocit, že tor browser tu stránku ukládá nějak divně.

[Petr Fiedler]

Ten Tor chci použít jen na uložení. Na offline načtení pak FF, nebo klidně i Tor.

Když tu stránku ukládám já (Ctrl+S), tak se mi vytvoří adresář "nazev_stranky_soubory" a soubor "nazev_stranky.html". Nikdy se mi to ale neuložilo na první dobrou. Musel jsem vždy kliknout na správce stahování a kliknout na "opakovat" (ikona zatočené šipky) a až potom se stránka stáhla celá. Možná proto tam nemáš ten soubor nazev_stranky.html.

[Petr Fiedler]

Jinak já přes Tor ukládám stránky běžně a offline pak fungují. Někdy (zřídka) musím sice taky kliknout na to "opakovat", ale stránka pak funguje.

[jejda]

Co to tak zkouším, tak to vypadá že když se stránka neukládá jako "web page complete" ale jako "web page html only" tak se to uloží hned. Když ten uložený html zkusím otevřít tor browserem, tak se to načítá aspoň 20 sekund. Firefox to otevře sice bez obrázků ale zato hned. No ani Firefox ani Tor browser s captcha (zatím) neprudí. Sice mám tor browser nainstalovaný, ale na prohlížení onion domén používám většinou obyčejný firefox-esr a proxy autoconfig skript

function FindProxyForURL(url, host) {
    if (shExpMatch(host, "*.onion")) return "SOCKS 127.0.0.1:9050"; // tor
    else return "DIRECT";
}

Plus zakliknuté "Proxy DNS when using SOCKS v5" Přijde mi to elegantnější než mít spuštěné dva browsery naráz. Jestli nemáš nějaký vážný důvod chodit na alza.cz přes tor, zvážil bych to. Vím že to není odpověď na původní otázku ale mi ten tor browser přijde nějaký chorý.

[Petr Fiedler]

A při tomhle použití je člověk schovaný jako za Torem, nebo ne?

[jejda]

Na onion domény se to připojuje přes tor a na všecko ostatní napřímo. Takže schovaný není. Ale ono největší zlo je stejně javaskript a bez něho půlka webových stránek nefunguje. Takže pokud ho ručně nevypneš tak tě stejně mají všichni jak na dlani, tor netor.

[Petr Fiedler]

Ještě bych měl jednu otázku. Na stahování videí používám yt-dlp:

yt-dlp https://neco.neco/neco

Šlo by to nějak spustit, aby to bylo jako přes Tor?

[jejda]

Ještě nikdy jsem to nepotřeboval, ale teď jsem zkusil

yt-dlp --proxy socks5://127.0.0.1:9050 https://www.youtube.com/watch?v=CQ4J36quoJk

a teče to přes tor. Takže to asi jde. Ale jede to pomalu jak šnek ve srovnání bez proxy. Samozřejmě musíš mít na portu 9050 puštěný tor a druhá strana nesmí tor blokovat.

[Petr Fiedler]

Díky moc za všechno.

[Petr Fiedler]

Jsem si pustil to video z toho tvého odkazu a jako dobrá hudba. To ti prohlížeč nabidl sám, nebos to vyhledal? Syutaka3 bych do vyhledávacího pole napsat zvládl, ale jak zadáváš název klipu?

[jejda]

lol ses na to díval jo? Ty děvuchy vůbec neumí hrát ale udělalo na mě dojem to jejich nadšení. Jsem byl naprosto zoufalý z těch sraček co mi youtube neustále podsouvalo, tak jsem si před časem navzdory zásadám udělal u nich account s ukládáním historie a pozoruju jak se centrální mozek lidstva snaží vyhovět mojim choutkám. Někdy se mu to docela daří. Jestli máš tak jak já slabost pro dlouhovlasé brunety a jednoduchou muziku co má tah na branku, zkus třeba dvě růže.

[Petr Fiedler]

Mě nešlo o děvuchy, ale o ty 2 vály. Co se týká dvou růží, tak tohle není můj šálek kávy.

Hele, pročítám si na ArchWiki, jak na tom portu 9050 pustit Tor, ale je to nad moje chápání. Mohl bys prosím tě poradit, co jak kde? S tímhle mám 0 zkušenosti.

[Petr Fiedler]

Edit: Mně, zkušeností.

[jejda]

Tak port 9050 je defaultni port na kterém se tor spustí automaticky, tam není potřeba nic nastavovat. Jestli máš archlinux tak stačí nainstalovat

pacman -S tor

a spustit

systemctl start tor.service

případně jestli chceš aby se to pouštělo automaticky tak

systemctl enable tor.service

a to je všecko. Mělo by to běžet.

[Petr Fiedler]

Mám Linux Mint, ale chodím na ArchWiki, protože je prostě perfektní.

[jejda]

No jo, ale mint je takový modernější klikací debian, tam ti nebudou fungovat návody pro archlinux. Jsem kdysi dávno s debianem experimentoval a vzpomínám si že tam stačilo něco pomocí apt nainstalovat a ono se to pak spouštělo samo automaticky. A to ještě neexistoval systemd. Potřebovals něco nastavit, vlezls do /etc a šly na tebe mdloby. Desítky konfiguráků poschovávaných v různě vnořených podadresářích. Hromady všelijakých wraperů a "usnadňovacích" skriptů. Ale ruku na srdce dneska už ani ten archlinux není tak jednoduchý jak býval. Bez archwiki bysme byli ... víš kde.

[Petr Fiedler]

Hele, ta AW je super i obecně. Chceš si přečíst něco o UEFI, Btrfs, GPT atp? AW to má krásně a srozumitelně popsáno. A některé věci i česky, takže super.

Mint je za mě super. Několikrát jsem zkoušel něco jiného, ale vždy jsem usoudil, že bude lepší zůstat na Mintu. BTW: Kdybych na to měl znalosti, šel bych do Gentoo.

[Petr Fiedler]

No pomalejší to teda fakt je, ale dobrý. Dík