HW novinky: AMD startuje několik velkých revolucí

2. 11. 2012 | David Ježek | Hardware | 4691×

Dnešní díl je tak trochu výjimečný. Shrnuje v sobě tři zdánlivě nesouvisející témata, která však spojuje jedna společná věc: mají co do činění s firmou AMD. Jejímu řediteli nelze upřít, že se narozdíl od svých předchůdců nebojí riskovat a také rozrývat staré kostnaté struktury, podobně jako to ve druhé polovině 90. let udělal Steve Jobs v Applu. Jestli Rory Readovi jeho tah vyjde, to ukáže až budoucí historie, já si ale dovoluji býti opatrně optimistickým…

Obsah

• AMD chystá 64bitové ARM procesory
• AMD uvedla APU FirePro na bázi procesorů „Trinity“
• Upgrade superpočítače Jaguar→Titan: Nvidia dodala Tesly K20, AMD 16core Opterony

AMD chystá 64bitové ARM procesory

Obyčejný nadpis, a přitom tak obrovská revoluce. Druhý největší výrobce x86 procesorů a patrně ten jediný, který chrání Intel před rozsekáním na více malých firem z moci antimonopolních úřadů, pomalu ale jistě začíná naplňovat vizi svého mladého ředitele. Jak Rory Read při svém nástupu prohlásil, tak také činí. Firma se odklání od vysilujícího boje s Intelem v hi-endových x86 procesorech a namísto toho se do budoucna soustředí na lukrativnější a narozdíl od x86 desktopu rostoucí segmenty APU, mobilních čipů a nyní také těch ultramobilních, kde vedle vlastních superúsporných APU x86 rodiny bude již přespříští rok nabízet i ARM čipy. Zpočátku ale zamíří zejména do serverového segmentu. ARMové procesory AMD totiž ponesou jméno Opteron.

AMD s ARMem spolupracuje již více než rok, tyto informace probublávaly ven v posledních měsících. Právě ARM prodal firmě AMD již letos na jaře licenci na 64bitovou architekturu ARMv8. AMD se jí chopila a již nějakou dobu ji vylepšuje k obrazu svému. Toto je potřeba zasadit do kontextu dovu věcí: tou první je relativně nedávný nákup firmy SeaMicro, tradičního serverového výrobce, kterého si AMD pořídila před nějakou dobou. Ta se postará o hardwarovou stránku nasazení ARMových Opteronů. Na softwarové pak silně ne(za)pracuje nikdo menší než Red Hat, který již pro 64bitový ARM přiohýbá třeba OpenJDK, ale hlavně tam přiohne své linuxové distribuce. Počínaje tou „testovací“ (známou pod jménem Fedora) a konče tou enterprisovou (Red Hat Enterprise Linux). Hraje se zde právě o 64bit ARMv8 architekturu, nikoli dosavadní 32bit ARM technologie, ty pro AMD nemají v serverovém segmentu valný význam.

Na toto ohlášení již reagoval Intel, který celou záležitost bagatelizoval. Osobně vidí sílu stále ve výkonných x86 Xeonech (to mu nelze upřít, to je pravda) a vlastních úsporných čipech (připomenu, že na Atomech založených serverů stále přibývá). Ale přirovnání ARMu k někdejší Transmettě, to už bylo přeci jen trochu moc, a tak trochu z tohoto prohlášení CEO Intelu Paula Otelliniho je cítit, že je AMD nyní vyvedla z jistoty poklidných vod a nejsou si úplně jistí, jak nadcházející léta se serverovým segmentem zahýbou.

Připomenu totiž ještě také Nvidii, jejíž Tegra 3 slaví slušné úspěchy a brzy na ni naváže Tegra 4. Též letité plány (z doby uvedení architektury „Fermi“) slibovaly u „Maxwellu“ (architektura, která přijde po současné „Kepler“) ARMová jádra přímo v Nvidia GPU této třídy. To je zatím stále hudba budoucnosti, ale je cítit, že na Intel se valí ARM ze všech stran a je mu to stále méně a méně příjemné. Dostal se po letech vládnutí procesorovému trhu do pozice toho menšího, který nemůže se situací nic dělat: architekturu ARM nemůže beztrestně kopírovat a aby si Intel licencoval něco u ARMu a poté to začal vyrábět, to by si podřezával vlastní větev. Čekají nás hodně zajímavé dva až tři roky.

AMD uvedla APU FirePro na bázi procesorů „Trinity“

Bylo jen otázkou času, než společnost AMD tento logický krok udělá. Jako jediná na trhu totiž může na x86 platformě nabídnout slušně výkonné OpenCL na kombinaci celé vlastní platformy CPU i GPU. APU rodiny „Trinity“ nám zamířily do desktopu teprve nedávno (ani ne před měsícem), čímž oproti mobilním nabraly jisté zpoždění, ale s profi produkty FirePro to AMD dohání. Její výhodou je, že těchto APU může nabízet celkový součet výkonu (tedy nějaké ty GFLOPs) pro CPU i GPU část – výhoda je to hlavně marketingová, samozřejmě.

Na trh nyní míří dvě verze APU: nižší FirePro A300 s 4×CPU na 3,4 GHz (4,0 GHz Turbo), 4 MB L2 cache a GPU částí taktovanou na 760 MHz s 384 stream processory. Tento čip má TDP 65 W a výkon v single/double-precision na hodnotě 693/173 GFLOPs – použita je architektura CPU části „Piledriver“ a GPU části „VLIW-4“ (alias technologie Radeonů HD 6900).

Vyšší model FirePro A320 nabízí CPU frekvenci 3,8 GHz (4,2 GHz Turbo) a 800MHz GPU, čím dává výkon 736/184 GFLOPs, a to za cenu TDP 100 W. Připomínám, že výkon v obou případech platí pro součet CPU i GPU části, přičemž GPU část se na něm podílí zhruba 80 %). Tento vyšší model má navíc odemčený násobič sběrnicové frekvence.

Samotné APU by ale nebylo k ničemu bez patřičné podpory v základních deskách. Ač tato GPU pasují fyzicky do socketu FM2, počítá se s využíváním FirePro APU spíše v „profi“ základních deskách, u kterých můžeme čekat kvalitní komponenty, zejména v napájecí části. První takovou – mohli bychom ji označit za referenční model – představil tradiční partner AMD nesoucí označení PC Partner (jenž stojí za značkou grafických karet a základních desek Sapphire – právě její model PGS A3 M uvádí web AMD mezi podporovanými základními deskami). Podpora pamětí DDR3 končí na hodnotě DDR3-1866, podporované rozlišení na jednom displeji činí až 4096×2160 (plus až tři nezávislé displeje), nechybí podpora pro 10bit/color výstup, stereoskopické 3D, z instrukčních sad a technologií pak OpenGL 4.2, DirectX 11, OpenCL 1.1, DirectCompute, AVX, AES, SSE4.1/4.2, XOP a FMA3/4. Na ceny všeho uvedeného si ale zatím počkejme.

Upgrade superpočítače Jaguar→Titan: Nvidia dodala Tesly K20, AMD 16core Opterony

Národní laboratoře Oak Ridge v USA provedly nedávno trochu větší upgrade svého superpočítače. Dostal nové jméno Titan a hlavně to nejlepší železo na světě do svých útrob. Pokud jste tedy posledních několik měsíců přemýšleli (což jsem několikrát naznačoval v HW novinkách), proč Nvidia ještě neuvedla „velkého Keplera“, tedy to, co bývá občas označováno jako „GeForce GTX 780“ se 7miliardovým GPU pod kapotou, tak nyní znáte konečně důvod: Nvidia nemohla nic uvést, protože jak na běžícím pásu vyráběla GPU a karty Tesla K20 právě pro Oak Ridge. Do Titanu totiž dodala v tuto chvíli již 15 tisíc těchto karet a to ještě není číslo konečně (jednoduše je potřeba chvíli vydržet, než TSMC dovyrobí zbytek GPU a Nvidia až z nich nechá udělat zbytek karet).

Na této obrovské zakázce si smočila i AMD, a to dodávkou 18 688 kusů 16jádrových Opteronů 6274 na bázi architektury „Bulldozer“. Tento procesor, uvedený na trh loni v listopadu, běží v základu na 2,2 GHz (Turbo 2,5 GHz pro všechna aktivní jádra, vejde-li se to do TDP, nebo též 3,2 GHz při zatížení nižšího počtu jader, opět do limitu TDP) a osazuje se do masivního socketu G34. Jeho 16 jader má k dispozici 8×64 kB/16×16 kB instrukční/datové L1, 8×2 MB L2 a 16 MB L3 cache, podporuje až SSE4/SSE4a, Advanced Vector Extensions, C6 power state, TDP power cap a další, a to při typické spotřebě 80 W (tedy 5 W/jádro, celkové TDP je 115 W).

V Titanu jsou prostředky rozděleny na 18 688 uzlů, kde každý obsahuje jeden 16core Opteron, 32 GB RAM a Teslu K20 s 6 GB GDDR5. Celkový počet CPU jader je tak 299 008 a velikost paměti 710 TB (598 TB pro CPU, 112 TB pro GPU). Každé GPU pak obsahuje aktivních 2 496 CUDA jader taktovaných na 732 MHz, což celkem dává ~46,65 miliónu CUDA jader. Primárně bude stroj používán tak, že CPU budou připravovat data a úlohy, která budou následně počítat GPU, nikoli že by se sama CPU nějak (výrazněji) podílela na vlastních výpočtech. Asi netřeba konstatovat, že pro obě firmy je tohle hodně prestižní záležitost. Titan je poháněn linuxovou distribucí firmy Cray, která je pochopitelně maximálně uzpůsobena pro takovéto nasazení. Titan baští za běhu 9 MW, což je 1,28× více než baštil Jaguar, nabízí ale 10× tolik výpočetního výkonu.

Titan vyšel na 97 miliónů dolarů, samozřejmě využívá například chladící infrastrukturu Jaguaru. Můžeme tedy volně říci, že jeden uzel obsahující základní desku, Opteron, 32GB ECC paměti a Teslu K20 stál 5190 dolarů.

       

Komentáře

[Lord Vetinari]

Chcel by som sa opytat co privadza autora clanku k nazoru ze protimonopolne urady by v pripade krachu AMD, rozsekali Intel na viac spolocnosti.

Teda nie je to prvy krat co sa s tymto nazorom stretavam, ale nikde som nevidel rozpisane v com je situacia okolo Intelu odlisna dajme tomu od Microsoftu, ktory napriek tomu ze bol sudom oznaceny za monopol, rozsekany nebol.

[j]

M$ tomu roztrzeni unikl doslova o fous, navic neni monopolem, ale dominantnim vyrobcem (desktopovy OS), pricemz o tu dominanci aktualne postupne prichazi. Intel by se naopak v pripade ze AMD ukonci vyrobu x86 (nemusi ani krachnout) stal jedinym vyrobcem a tudiz monopolem.

[David Ježek]

jedinym ne, je tu jeste treba via (nemluve o vyrobcich obskurnich soc na bazi 486 apod,ale to je samozrejme jen drobnost), ale jinak si to popsal spravne.

[qwert]

Viz rozdeleni AT&T v minulosti.

[pc2005]

[rejp] No konečně, to musí sám AMD koupit licenci na ARM64, aby byla o ARMu z HW novinkách zmínka [/rejp]

Jinak že by konečně ARM do standardizovaného socketu? muhehe!

[Michal]

To by me zajimalo jak se ARM/Opteron bude podobat ARMu jaky zname ted? Bude to mit dlouhe pipelines, multi-level cache, PCI-X, atd? Bude to porad SoC? Pochybuju, to v serveru nema misto.

A jak se to bude podobat PC jake zname ted? IMO se to AMD bude snazit udelat co nejpodobnejsi. Rekl bych ze to bude podobny rozdil jako pracovat treba s Itaniem nebo Sparcem - proste jiny firmware (nebo rekneme ARM-BIOS ;), jina instrukcni sada, ale v podstate to nebude velky rozdil. Uvidime.

[petr_p]

Podívejte se jinam.

Například Lemote dělá mipsové osobní počítače tak, že vezme čipset od AMD a přilepí k němu mipsový procesor. Takže pak kromě CPU, FPU, keše a GPIO v čipsetu stroj vypadá jako klasické x86.

Na druhou stranu Asus nebo Google bere celé armové SoC a vyrábí notebooky v podstatě jako nafouklé telefony, kde toho ze světa x86 mnoho nenajdete.

[frr]

PCI-X asi ne ale PCI-e velmi pravděpodobně ano. Zda SoC ano či ne... přijde na to, čemu ještě říkáte SoC. Třeba dnešní SandyBridge / IvyBridge má k SoCu docela blízko, s "čipsetem" jsou to dneska taky už jenom dva švábi, a 22nm Atomy možná už taky nebudou žádný externí PCH potřebovat.

Spíš si zadejte do Googlu zmíněný "Seamicro Fabric". Namátkou pár konkrétních odkazů:

http://www.seamicro.com/sites/default/files/SM_TO01_64_v1%208.pdf

http://techreport.com/news/22561/seamicro-fabric-could-be-the-glue-for-future-amd-chips

http://www.seamicro.com/node/251

Pokud tomu správně rozumím, výsledkem není NUMA, ale spíš "cluster in a box", kde páteří clusteru je nějaká veliká pavučina, navenek PCI-e s IOV, ovšem vespod je topologie "toroid" = hierarchie kruhů (nikoli prostý strom), údajně to umí přenášet data paralelně více cestami s velikou průchodností. Pochází to z prostředí superpočítačů. Jak už tady druhdy kdosi poznamenal, ona nějaká obrovská NUMA s "jedinou" instancí OS se reálně nechová o moc líp, než rychlý HPC cluster (s oddělenou instancí OS na každém uzlu). Ta macatá PCI-e páteř umí jednak přiřazovat virtualizované instance síťovek (konektivita do LAN a internetu) a diskových řadičů (připojeno do nějakého velikého RAIDu) jednotlivým uzlům a virtuálům na nich, druhak by to mohlo umět i rychlou vzájemnou komunikaci mezi jednotlivými uzly (PCI-e root komplexy). Tahle PCI-e páteř totiž logicky obsluhuje mnoho "PCI-e root komplexů", na každý uzel jeden, což na klasické PCI-e bez IOV není legální topologie, a ani s použitím IOV to ještě neznamená, že by se jednotlivé uzly mohly nějak "přímo" bavit mezi sebou, mapovat si navzájem RAMku apod.

http://www.pcisig.com/developers/main/training_materials/get_document?doc_id=5720360b56be694ca6016b0b3722a5f39befd5b6

Z toho plyne, že jednotlivé uzly v téhle masivní "kruhové mříži" musí splňovat dva požadavky:
1) relativně malá spotřeba, zato velký výpočetní výkon na watt
2) jednoduchý plošák = minimální počet pouzder (čipů) na výpočetní uzel (zásuvný modul do clusteroserverové krabice) => tohle vypadá spíš jako SoC bez grafiky, zato s mnoha jádry, řadičem RAM a "kuří nohou" v podobě PCI-e s podporou SR-IOV.

Protože páteří toho celého je PCI-e, moc bych tam nečekal HyperTransport vyvedený z pouzdra "procesoru" (SoCu). HyperTransport, QPI apod. jsou spíš z NUMA světa.

Celé je to namířené nejspíš na "cloud in a box". Když tak čtete PR materiály od Seamicro, tak nemůžete přehlédnout zmínky o hotové linuxové distribuci a vrstvě cluster management softwaru - pro správu virtuálů, rozkládání zátěže apod. (Docela by mě zajímalo, jestli stávající hardware SeaMicro vůbec obsahuje nějakou klasickou VGA grafiku.) Prostě to vypadá, jako že se jedná o "vertikálně integrované" řešení - svoje distro si nainstalujete leda do virtuálu. Na holém železe musí běžet "hypervisor" a cluster management od dodavatele hardwaru.

Navíc se domnívám, že je to určeno spíš na síťařinu / servírování internetových aplikací velkým masám nepříliš rychlých klientů - spíš než na HPC (věděcké výpočty / matiku / petaflops). Potažmo bych řekl, že rychlá komunikace mezi uzly navzájem možná ani není cílem. Pokud ty ARMy od AMD budou nakonec určené pro echtovní HPC, tak se rád nechám překvapit Spíš bych se ale nedivil, pokud by ARMy sloužily pro síťovací cloud / virtualizaci a Opterony pro HPC. Ta páteř od SeaMicro by mohla umět oboje.

=> jestli se ARM od AMD nakonec objeví v "otevřených" PCčkách jak je známe teď = desktop / notebook / stand-alone server s motherboardem a PCI slotama, to se ještě uvidí. Zrovna AMD by se o to mohli pokusit Na druhou stranu, pro tuhle oblast mají svoje x86 APU... no nevím. Ono je to dokonce takto přesně rozděleno v několika slajdech vložených v článku: ARM se zapečenou kuří nohou od SeaMicro pro cloudové servery, a normální x86 CPU a APU pro klasické servery a klienty. A taky x86 opterony pro HPC! Potažmo si nejsem jist, nakolik se ARM od AMD týká nás, obyčejných smrtelníků - mám-li mluvit za sebe v horní dolní Budování otevřené ARM platformy pro každého na mě z toho moc nekouká.

[Michal]

Ono by od AMD bylo rozumné kdyby svou ARM platformu nabídla co největšímu okruhu zájemců, tzn jak pro cloudová centra tak - stejnou věc v levnějším provedení - pro SMB. Jen tak může dojít k masivnímu přijetí a přidělání vrásek na čele Intelu. Pokud to bude platforma jen pro specializované nasazení v cloud centrech tak se obávám že to bude podobně okrajová záležitost jako je dnes SPARC nebo Itanium. V mnoha ohledech super ale hodně daleko od mainstreamu.

[pushkin]

Při zmínce o Transmetě jsem musel zatlačit slzu v oku ... škoda, že se tehdy neprosadila

[Cejvik]

Transmeta se snažila prodat výrobní práva k čipům zahraničním společnostem, americké úřady však tyto obchody nepovolily. Takže teď by to snad konečně mohlo vyjít.

[frr]

Aha! ARM je dodnes britska firma, a její veličenstvo patrně proti licencování do světa nic nemá... Kromě toho, mě osobně procesory Transmeta moc nezaujaly. Pár kusů mi toho prošlo rukama a moc dobrý dojem jsem z toho neměl...

[Ondra "Satai" Nekola]

Podporuji profesionalni ty APU ECC pameti?

[trubicoid2]

ne :(

[belisarivs]

není číslo konečn0 (jednoduše je potřeba chvíli vydržet, než TSMC dovyrobí zbytek GPU a Nvidia až nich nechá udělat zbytek karet)

Veta v zavorce je trochu divna. A "konečn0" by taky stalo za to opravit.

vejde-li se to do TDP, nebo též 3,2nbsp;GHz při zatížení nižšího počtu jader

nbsp; - tvrda mezera?

[Luboš Doležel (Doli)]

Díky.

[aceman]

Ale asi na "konečné" a ne "konečně".

[Petr Tomášek]

Hehe, nechcete upravit Ábíčko tak, aby kdokoliv z uživatelů mohl zanést do článku své korektury, resp. aby mohl alespoń korektury přímo navrhnout

[aceman]

Urcite, myslim, ze uz boli navrhy oddelit komentare o korekturach do nejakeho paralelneho komentovacieho systemu, aby nebola diskusia pod clankom len o korekturach :)

[iNTELak]

Boze - ked vidim v dnesnej dobe na procesore taky hruby kokovy chladic a malu hnusnu v buducnosti skriekajucu vrtulu ako na tej novinke z AMD mam chut vrazdit.... Intel ma pre rovnaku triedu CPU taketo chladice, kde vrtula je vacsia a toci sa minimalne a aj po roku a pol ju absolutne nepocut...

[luko]

takze kvalita chladica zavisi od jeho dizajnu? ja som bol stale v tom ze kvalita zavisy od pouziteho loziska aka je t avrtula a tiez z coho je pouzity kov?

[David Ježek]

všiml sis že na tom chladiči je samolepka sapphire, nikoli amd?

[Ovocníček]

Jeho pasiv ale vypadá dost jako boxovaný chladič pro 95W/100W procesory do AM3(+)/FM1/FM2.

[Kovář David]

Jen to uchycení musel vymýšlet nějaký "inteligent". Když jsem to osazoval naposled, stálo mě to pěkných pár nadávek a nakonec jsme to tam museli dát 2.

[Conscript89]

> Na softwarové pak silně ne(za)pracuje nikdo menší než Red Hat, který již pro 64bitový ARM přiohýbá třeba OpenJDK, ale hlavně tam přiohne své linuxové distribuce.

Zajimalo by me, proc autor pise, ze RedHat na tom nebude mit praci. To snad udela tu praci nas spasitel Canonical, ktery krome "Ubuntu one" a Unity.

A co to znamena "priohnout software" pripadne "priohnout linuxovou distribuci"? Prijde mi to prinejmensim zvlastni vyraz pro vyznam "opatchovat", "pridat podporu pro" a nebo jine, zji mi to spis jako by to melo byt "zbastlene", ale mozna autorovi krivdim.

> Dostal se po letech vládnutí procesorovému trhu do pozice toho menšího, který nemůže se situací nic dělat: architekturu ARM nemůže beztrestně kopírovat a aby si Intel licencoval něco u ARMu a poté to začal vyrábět, to by si podřezával vlastní větev.

Nejsem odbornik na tento trh, ale proc mluvi autor o "beztrestnem kopirovani" vzdyt si muze licenci na arm poridit a nevidim duvod proc by na tom melo byt neco spatne. Driv jsem si myslel ze graficka karta v procesoru nema smysl a dnes uz si to nemyslim. Intel nedela jen CPU a GPU, ale take napr. sitove karty, zakladni desky a jine. Je pravda ze je to vse x86(_64) "intel" ale do dnesni doby taky nebyl moc duvod proc by to melo byt jinak. A Intel taky experimentuje, viz. PowerVR (tim nechci rict ze je to neco super, sam mam bohuzel netbook s timdle hnusem).

[Ovocníček]

Taky bych řekl, že Intel naopak stále sílí. Výrobní proces, integrace všeho možného (viz to digitální rádio), pokusy s "near-threshold" režimem... Dneska ho lidi hodně podceňujou, ale podle mě ujíždí vlak nejen AMD, ale i ARMu. Intel podle mě může být skutečně poražen jen v segemntech, na které se sám vykašle, buď proto, že jsou příliš podružné, nebo že jsou tam nízké marže.

Lidi často naházejí všechny klienty ARM do jedné množiny, pak sečtou cenu jejich akcií (a ideaálně k tomu ještě přibalí UMC, TSMC a GlobalFoundries), a řeknou, že Intel je menší. Ale to je velká naivita.

[asdf]

FirePro APU??? WTF??? A bez podpory ECC RAM??? Kam ten svět spěje. Kvalitní pracovní stanice se zase vyhoupnou na ceny 160k+, jak to kdysi bejvalo...

[Solitary]

Kde je psano, ze ty APU nepodporuji ECC? Pokud ja vim, tak u AMD je bezna praxe, ze podpora ECC je dostupna u vsech procesoru. To pouze Intel ma tendenci tyto specialni funkce osekavat, aby clovek nemohl delat kejkle s obycejnym desktopovym hardwarem.

[Ovocníček]

Je to tak u proců pro socket AM3+ (Phenom, FX), ale myslím, že Bobcaty to neumějí, a podle všeho ani APU Llano a Trinity. Ta podpora musí být v tom řadiči explicitně udělaná, a protože tyhle čipy byly zamýšlené pro notebooky, tak se na to asi vyflákli.

[little.owl]

A uz nekdo ma A10-5700K pod Linuxem?

[Michal Kubeček]

Uvažuji o něm, ale zatím dostal přednost upgrade jiného stroje.

[little.owl]

Zvazuji take podporit AMD. Nevite jak je grafika podporovana soucasnymi OSS drivery?

[토토사이트]

This is the type of manual that needs to be given and not the random information that’s at the other blogs. (: 토토사이트

[먹튀검증]

I saw a lot of website but I conceive this one has something extra in it. 먹튀검증

[메이저사이트]

You definitely know what youre talking about, why throw away your intelligence on just posting videos to your weblog when you could be giving us something informative to read? (: 메이저사이트

[토토사이트 추천]

The other day, while I was at work, my sister stole my iPad and tested to see if it can survive a 40 foot drop, just so she can be a youtube sensation. (: 토토사이트 추천

[먹튀검증]

Pretty! This has been an incredibly wonderful post. Many thanks for supplying this information. 먹튀검증

[안전놀이터순위]

Thanks a bunch for sharing this with all folks you really realize what you’re talking approximately! 안전놀이터순위

[토토사이트]

I would like to thank you for the efforts you have put in penning this site. 토토사이트

[사설토토사이트검증]

This web site is often a walk-through it really is the internet it suited you with this and didn’t know who to question. Glimpse here, and you’ll undoubtedly discover it. 사설토토사이트검증

[토토먹튀블로그]

I for all time emailed this website post page to all my contacts, as if like to read it after that my contacts will too. 토토먹튀블로그