Dotaz: Propojeni dvou FPGA

[vlastikroot]

Zdravim vsechny, co se vyznaji v programovani FPGA.
Pracuji na projektu, kde potrebuju rychle prenaset data z desky s FPGA (TS-7800) do moji desky taky s FPGA. V te linuxove desce pouzivaji uvnitr FPGA wishbone sbernici (OpenCores) a jsou schopni pridat nejake wishbone zarizeni. K memu FPGA mam pripojenou RAM a potrebuji nejak zaridit, abych do ni mohl zapisovat a cist pomoci souboru v /dev
Da se wishbone sbernice pouzit i jako komunikace mezi dvouma FPGA? Nebo je to jen uvnitr jednoho? Jde mi o rychlost tak 33MB/s.

Odpovědi

[hw]

Wishbone je sběrnice navržená primárně pro použití uvnitř čipu pro SoC jako svobodná alternativa k AHB/Avalon/OPB/PLB/AXI a dalším podobným proprietárním SoC sběrnicím. Přímé použití k připojení externích součástek bych nedoporučoval. Čisté řešení by bylo napsat nebo použít nějakou existující Wishbone periferii. Ideální by bylo třeba rozhraní pro synchronní statické paměti nebo jenom jednoduché synchronní rozhraní pro paměťově mapovanou periferii (adresa, data, read, write, případně ještě req/rdy). Externí FPGA pak bude obsahovat bridge mezi tímto synchronním rozhraním a vlastní pamětí.

Linuxový ovladač pak musí vytvořit zařízení v /dev a zápis/čtení tohoto zařízení přemapovat na zápisu/čtení paměti přiřazené novému Wishbone zařízení.

[vlastikroot]

To SRAM rozhrani me napadlo jako prvni, to by bylo fakt asi nejlepsi. Nasel jsem jakysi zdrojak (wb_zbt.v), nerozumim ale, proc tam jsou 2 wishbone sbernice a jak presne funguje ten prefetch. Potreboval bych to co nejjednodusi. Ale nepochopil jsem, jak funguje adresace pres wishbone. Kdyz mam treba 24bit pamet, jak se ten rozsah namapuje na systemovou 32bit sbernici? Ovladac do linuxu je ten nejmensi problem, kdyz bude jednoduchy a funkcni hardware.

[pc2005]

Hmmm to je teda wishbone dost triviální . PLB od Xilinxe mě připadá složitější. Dvě sběrnice tam budou asi proto, že SRAMka se "často" ráda používá pro dualportové účely (jedna strana "nezávisle" zapisuje a druhá čte).

Adresace by měla být vyřešená v návrhovým prostředí, kde se definuje počáteční adresa a rozsah a nějakej komparátor v tomto rozsahu drátu nahodí na periferii signál typu chip select (jako na libovolné sdílené sběrnici). Adresa pro paměť je pak zřejmě od nuly, kde je pro procesor začátek toho okna. Tohle se většinou řeší zarovnáním té oblasti na nějakou hezkou hodnotu, takže se pak ty dráty mohou zapojit přímo, bez nějaké odčítačky. Takže příklad:

start periferie : 0x12000000 - zarovnáno na 24bitů
délka periferie : 0x01000000
adresa v CPU    : 0x12012340

připojení drátů :   ..XXXXXX

komparátor      : 0x12
   až           : 0x13        (teda 0x12ffffff)

→CS signál aktivní pro 0x12 v nejvyšších bitech

v periferii     : 0x00012340

Prefetch by pak mělo být to, že ten SRAM hardware načte adresy napřed (třeba dvě dopředu). Pokud se čte lineárně, tak je určitá šance, že to zrychlí načítání.

[pc2005]

Sice jsi nenapsal jak přesně to chceš zapojit, ale jestli to chápu dobře, tak obě desky maj bejt spojený tím PC/104 že? Jestli jo, tak prostě napiš PC/104 slave (je to vlastně ISA, ale pozor, ISA má jen 8MHz). Na to by teoreticky mělo jít upravit do memory zařízení co psal hw. Vyvést wishbone přes to PC/104 by asi šlo taky (neznám architekturu tý sběrnice), ale je to dost nekompatibilní. Jednalo by se jen o vyvedení signálu mezi sběrnicí a periferií na fyzické piny. Ale musely by se možná nějak ošetřit třeba obousměrný signály.

BTW má ta druhá deska taky SATA?

[vlastikroot]

ISA je moc pomala, tam tech 33MB/s fakt nedam. Spis by chtelo jeste vic.
O SATA jsem premyslel, ale neznam zadny SATA device controller s jednoduchym rozhranim (nasel jsem treba JMF601 pro NAND flash). FPGA na druhe desce nema primo podporu SATA, ale s externi PHY by to mozna slo. Bohuzel jsem nenasel zadny free core co bych nahral do FPGA, na jedny strane pripojil SATA a na druhy bych mel wishbone (nebo jednoduchou SSRAM).

[pc2005]

No tak ISA je jen tak pomalá jak rychlý do ní pustíš hodiny . Navíc s 8MHz a 16bit přenosem, jsi na 16MBps, což je polovina tvého požadavku. Imho je docela možné, že průmyslové vylepšení sběrnice tu rychlost 33MBps mít může. Pokud by to byla ta další verze PC/104, co umí i PCI, tak by to 33MBps dalo zcela jistě.

Jinak asi za $5 z DX se dá koupit konvertor SATA→PATA, takže na druhé straně by už bylo PATA, což je vlastně ořezaná ISA (asi 8 registrů). Ale zase pokud ta druhá deska má PC/104, tak je zbytečný to komplikovat tím SATA (pokud by to nevadilo typu práce, tak bych se mohl zeptat ve škole, zaslechl jsem o člověkovi co dělal FPGA SATA řadič jako diplomku).

[vlastikroot]

Na ty linuxovy desce je 16bit ISA a pisou (v manualu), ze frekvence oscilatoru se da nastavit na 25MHz. Da se taky dost nastavit casovani, default tam maji 2MHz cyklus, ale je tam dost rezerva (dalo by se to teoreticky vyhnat tak mozna na 10MHz, ale to je furt malo). Asi by dost pomohlo DMA, ale kdo vi, jak moc.
Ta druha deska je na me, takze tam muze byt cokoliv, ale aby to nevyslo nijak zavratne drahy (treba bych se rad vyhnul BGA cipum).

[pc2005]

Na ty linuxovy desce je 16bit ISA

Most of the PC/104 pins are connected straight to the FPGA, giving the TS-7800 the flexibility to add external hardware and physical/transceiver layers.

Aha, takže ten FPGA má přímo v sobě řadič ISA? :-O To jsou věci .

Podle toho popisu to umí minimálně 20+20+20 ns na jeden zápis, což je 16MHz. Ale zajímavý, že má na výběr hodiny 25MHz. Co vlastně máš přenášet?

Tyjo možná že jsou dokonce BGA čipy levnější, ale blbě se pájej.

[vlastikroot]

Potrebuju prenaset audio data v profi nahravacim zarizeni (ukladani bud na SATA disk nebo nekam po ethernetu).

Jeden kanal ma neco nad 20Mbps (20Mbps ma samotny audio, je potreba jeste nejaky data navic). Cim vic kanalu, tim samozrejme lip, 8 je tak asi minimum kvuli konkurenceschopnosti. Zvukovou cast od XLR konektoru az po FPGA a SRAM pamet mam hotovou, logiku double bufferingu a prerusovani mam vymyslenou, ale samotny prenos dat vyreseny nemam.

Ted jsem stravil asi 2 hodiny studiem toho, jak vlastne funguje IDE/ATA. Vyhoda toho reseni s SATA prevodnikem by byla nezavislost na dodavateli linuxovych desek, jedina podminka by byly 2 SATA porty. Ale ta implementace IDE zarizeni v FPGA nebude nic zrovna jednoduchyho, preci jen potrebuju DMA a podobny kraviny, linux si o tom musi myslet, ze to je normalni pevnej disk. Tolik jsem toho s FPGA jeste nedelal, vubec ne nic takhle rozsahlyho (ta zvukova cast je par posuvnych registru a klopnych obvodu). Asi bych musel do FPGA dat soft CPU core a tu komunikaci delat na tom.

[pc2005]

Že oni maj to FPGA nějak znepřístupněný pro uživatele. Nejlepší by imho bylo podle schématu vyházet tu jejich emulaci ISA apod. A navrhnout hardware přímo v tom FPGA na desce (doufám, že to není FPGA typu fuses - brrr - typ jsem nenašel). Pokud to jde, tak teoreticky stačí připojit ty kanály přímo do FPGA na ARM desce (prý je připojen PCI).

A nebo se na jejich desku vykašlat a udělat to na SATA jako disk. Asi bych se spokojil se SATA převodníkem. FPGA se SATA podporou budou dražší (musí mít v sobě ten 1.5Gbps serializer/deserializer). ATA jsou pak jen hloupý registry. Jen zápis pár hodnot pro adresaci. Nepředpokládá se ani kompletní implementace ATA specifikace. V nejhorším by šlo udělat speciální driver pro nonATA zařízení.

[vlastikroot]

To FPGA maj prave nepristupny, sice uvnitr pouzivaj vetsinu HDL kodu open source, ale pry kvuli NDA na protokol SD karty nesmi uvolnit ty zdrojaky. Psal jsem jim, jestli by mi ty zdrojaky neposlali, nebo pro me nejaky rychly jednoduchy rozhrani nenaprogramovali, ale vypada to, ze bez tisicu dolaru nehnou ani prstem.

Snazil jsem se najit nejakou jinou malinkou vykonou desku s SATA a pokud mozno volne programovatelnym FPGA, ale nic jsem nenasel. Potrebuju celkem dost vykonu v CPU, potrebuju totiz do budoucna podporu bezztratove komprese a pri tehle datovych tocich to neni uz nic nenarocnyho.

[pc2005]

Tak ať vyhoděj SD kartu a pošlou ti zbytek. SD protokol je různě na netu. BTW je vtipný, že to maj připojený PCI, ale na PC/104 vyvedli jen ISA .

Hawkboard? Ale má jen jeden SATA.

[Mrazík]

Jak jsi dospěl k 20 Mbps na kanál pro audio ? To je nějak moc. Poradil bych ti připojit to tvé udělátko přes USB a FT2232H (ftdichip.com). Ovladače jsou pro to hotové, rozhraní pro FPGA si můžeš vybrat buď paralelní 8-bit, sériové SPI nebo emulovanou sběrnici podobnou ISA. Navíc tam máš k dispozici JTAG master a tím můžeš nalít konfiguraci do FPGA přes to USB. A nebudeš závislý na hardware, které za rok už taky nemusí být dostupné.

[pc2005]

No já nevím, průmyslové řešení připojovat USB a s latencí někde 1ms (hmm 480Mb/s bude mít míň..).

[vlastikroot]

Dospel jsem k tomu tak, ze tomu tak proste je vystupem AD prevodniku je 1 bit sigma delta na 20MHz (podobna technologie jako SACD, jen to jede na 2.8MHz a ne 20MHz). Vyvijim to proto, ze nic digitalniho s podobnou kvalitou se zatim nepouziva. Jedina konkurence takhle vysokyho datovyho toku je analogovy kotoucovy magnetak.

Myslim, ze USB nepripada v uvahu, potrebuju neco fakt rychlyho a aby to nezatezovalo CPU (co nejvic se vyuzily DMA prenosy a co nejmin rezie).

[Mrazík]

Tak to jo. Já jsem žil v naivní představě, že audio je něco co může člověk slyšet. Nicméně proč ne, hardware je dneska výkonný, disky veliké, tak proč to nezkusit. USB jsem navrhoval abych ti ušetřil práci.

[vlastikroot]

Jak je ten USB cip na tom s open source podporou pro ty vysokorychlostni synchroni FIFO prenosy? Potrebuju aby to jelo v pohode na ARMu. Jinak to nevypada zas tak zle, ale muselo by se to vyzkouset, kolik MB/s to dokaze.

[pc2005]

Mě by zajímalo, kterej typ chceš použít. Interrupt se generuje tak jednou za 1ms, Bulk má nejmenší prioritu. Isochronous zase nemá zaručený doručení. Jinak na 20Mbps by to musela být 480Mbps verze protokolu. Na FPGA ale moc velkou rychlost nedáš.

[dustin]

Když jsem se probíral kódem pro usb audio, přišlo mi, že interrupt se generuje, až když USB řadič zpracuje URB označený příznakem generování interruptu. Jinak si to čte/zapisuje přes DMA bez zásahu CPU. Hrál jsem si s tím nastavením (v kódu i parametry modulu) a dostával se i jenom na pár IRQ za sekundu při klasickém usb audio, bez žádných jiných současných přenosů. Ale nevím, jak USB2 atd.

[pc2005]

Není interrupt jako interrupt. Já měl na mysli datový paket, který se nazývá interrupt. S přerušením procesoru nemá nic společnýho.

BTW USB 480M pak má ještě jeden myslím.

[dustin]

Díky za nakopnutí, rád jsem se o USB přiučil, je to pro mě pořád dost neznámá země.

[vlastikroot]

Myslel jsen na FT2232H, ma celkem pouzitelnou sadu rozhrani, neni v BGA, jen te podpory linuxu se trochu bojim. Nechci mit nikde zadny blob, potrebuju byt nezavisly na platforme. A na FTDI maj drivery jen pro 32b a 64b x86.

[pc2005]

Tak na usb si mužeš vždy napsat drivery vlastní (využít knihovny typu libftdi, libusb ...).

[dustin]

USB používá taky DMA a frekvenci přerušení si určuješ sám (aspoň tak je to na běžných USB řadičích v PC). Samozřejmě je tam režie s přípravou/zpracováním URBů.

Ale o tvých cílech vím houby, tak už jsem zticha :)

[hw]

Po přečtení komentářů bych položil zásadní otázku. Co má být výsledkem? Má to být samostané nahrávací zařízení nebo v podstatě rozhraní pro PC? Osobně bych na základě dvaceti let zkušeností s vývojem elektronických zařízení a integrovaných obvodů v obou případech zvolil naprosto jiný přístup než bastlení vlastní desky připojitelné k TS-7800.

Pro embedded variantu bych doporučil vývoj vlastní desky, která by obsahovala jak FPGA, tak i CPU. FPGA bych pro takový projekt doporučil buď Xilinx Spartan-6 nebo Altera Cyclone IV. Ideální procesor by byl buď PowerPC od Freescale, Blackfin od Analog Devices nebo libovolný ARM s dostatečným výkonem od NXP/ST/Atmel apod. Na všech uvedených procesorech není problém zprovoznit Linux nebo alespoň uCLinux.

Pro variantu připojení k PC bych doporučil vývoj jednodušší desky, která bude obsahovat pouze FPGA a veškeré další zpracování bude dělat procesor v PC. Datové toky 20 Mbps nepředstavují pro dnešní PC žádný problém. Osobně pracuji s video signály s datovými toky do 10Gbps. Pro připojení k PC je třeba vybrat vhodné rozhraní. Navrhoval bych se zaměřit na PCIe, Ethernet a USB. USB bych rozhodně apriori nezavrhoval. Momentálně v AIA připravujeme standard USB3 Vision pro datové toky do 3.2Gbps, takže použití pro pár 20Mbps kanálů by neměl být problém. Ethernet a PCI Express jsou podle mých zkušeností sázkou na jistotu. Po Gigabit Ethernetu jde přenést zhruba 115-118 MB/s, což s dostatečnou rezervou na režii bude stačit pro 32 audio kanálů. Pokud je to málo, pořád je možnost použít více navzájem synchronizovaných zařízení, 10Gbps Ethernet nebo PCIe.

[vlastikroot]

Ma to byt samostatny zarizeni v 1U racku, s OLED displayem a jednoduchou klavesnici. Hlavne aby to bylo flexibilni a dalo se tam cokoliv v SW pridelat.

Moznost pripojeni k PC pres USB nebo gigabit ethernet je taky potreba, ale to uz diky linuxu neni takovy problem.

Je tu problem s cenou na vyvoj a vyrobu HW napr. na 8 vrstvych deskach, BGA cipech atd. Uz i ty samotny cipy a vyvojovy kity neco stoji. Ono ani vyvijet takovou celou desku od zakladu neni prace na par dni/tydnu. Firma, ktera tohle potrebuje se zabyva mnohem vic analogovou technikou nez digitalni.

Takze to chce co nejrealnejsi a nejjednodusi reseni, tak, aby to fungovalo.

[hw]

To co vypadá na první pohled jako nejjednodušší a nejlevnější řešení nemusí vůbec nejjednodušší a nejlevnější být. Hodně záleží na předpokládaném objemu výroby a cenové hladině.

Je tu problem s cenou na vyvoj a vyrobu HW napr. na 8 vrstvych deskach, BGA cipech atd.

Nevidím moc důvod pro 8 vrstev. Takhle jednoduché věci s jedním 32b CPU a jedním low-end FPGA děláme maximálně na šesti vrstvách. Cena za PCB je naprosto srovnatelná se čtyřvrstvými deskami. Použití BGA pouzder výrobu výrazně zlevňuje. Nedovedu si představit používat alternativy v SOT/SOP/QFP/TQFP apod.

Ono ani vyvijet takovou celou desku od zakladu neni prace na par dni/tydnu.

Záleží na zkušenostech vývojáře. Osobně bych pro zákazníka připravil cenovou nabídku na týden práce na návrhu desky (schéma + PCB layout) a týden na osazení a oživení. Pro odhad náročnosti zbytku projektu (firmware + FPGA) bych potřeboval znát přesnější specifikaci.

Tím jsem samozřejmě nechtěl říct, že kompletní návrh je nutný nebo že je v tomto případě výhodnější. Jen chci upozornit, že to často může být lepší cesta než se na první pohled zdá. Být závislý na dodávce procesorových desek od jiné firmy, která může kdykoli zrušit výrobu nebo zkrachovat se vyplatí skutečně pouze při kusové výrobě. I v tom případě bych se ale zkusil podívat po nějakém standardním rozhraní, například PCI variantu PC/104, a vlastní FPGA desku bych navrhnul s tímto rozhraním. V případě, že výrobce procesorových desek zkrachuje pak stačí koupit libovolnou jinou PC/104 desku od jiného výrobce a maximálně zkompilovat software pro jinou CPU architekturu.

[vlastikroot]

Je to prave kusova vyroba, zezacatku urcite. Neni to produkt pro kazdeho, spis pro velmi specialni pouziti. Existuje mnoho levnejsich a mnohem mene kvalitnich konkurencnich nahravadel, vetsina lidi si vybere ty.

Pokud se to komercne ujme, pak treba muze prijit dalsi verze klidne i s uplne jinym vlastnim HW, vyssim vzorkovacim kmitoctem (tohle odpovida cca 500KHz vzorkovani u 24b PCM, da se jit i vys, ale je to na limitu pouzitych obvodu - zalezi totiz dost na tvaru toho 1bit signalu, na 20MHz uz to skoro ani nepripomina obdelnik).

Take bych byl nejradsi nezavisly na dodavateli desek, proto porad zvazuju variantu pripojeni pres SATA/PATA prevodnik.

[benn]

No moc se v FPGA neorientuju, ale třeba tento nápad zaujme. Co třeba mezi těmi FPGA vytvořit něco jako SPI sběrnici, ale místo jednoho datovýho signálu jich mít 24. Hodinama se pak strobují data. SPI master může být tvůj FPGA, takže jaký hodiny tam pošleš, tak takovým vzorkovacím kmitočtem budeš vyčítat ty audio data. Múžeš přidat ještě další signály, které rozliší platnost dat a od jakého zdroje pocházi ADV1 až ADV8 (audio 1 až 8).

Takže bys v tom prvním FPGA data nikam neukládal do paměti, ale rovnou posílal z ADC do druhého FPGA tímto vícedrátovým SPI a teprve v tom tvým FPGA bys data rovnal do RAM (už přes tu jejich vnitřní sběrnici za pomoci DMA) a CPU by data dál rozesílal a uvolňoval paměti.

Pokud se data v tom prvním FPGA nějak zpracovávají, tak se to už moc nehodí.Podpora SPI master je v linuxu podporován (na počtu datových linek nezáleží, to si nakonec šéfuje HW).

Ono 33MB/s je asi 260Mbps, což je celkem dost. S timto SPI na 20MHz by se to dalo zvládnout. Jak říkám je to jenom nápad....

[vlastikroot]

Kdybych mohl programovat FPGA na linuxovy desce, tak nepotrebuju zadny dalsi, pripojim vystup ADC rovnou do nej. Tohle reseni mi prijde jen jako varianta paralelniho pripojeni, neco jako to SRAM rozhrani. Nekomplikoval bych to tolik.

[pc2005]

BTW a co přesně je to FPGA na tý desce. Je to lattice, k tomu se přiznali, ale jaký má číslo?

[vlastikroot]

LFE2-6E-6FN256C