Dotaz: Vyhladenie dát pomocou FFT

[marulinko]

Potreboval by som získať z rozhádzaných nameraných údajov vyhladenú krivku. Používam na spracovanie údajov Octave a na vykreslenie Gnuplot. Na vyhladenie by sa dalo použiť vyhladenie pomocou FFT (Fast Fourier Transformation). Máte niekto skúsenosti ako na to ? Už 2 deň hladám na nete, našiel som rôzne softy napr. BruteFIR ale nešlo mi to skompilovať. Neviem či by bol na to vhodný ale zo screenshotov by to možno fungovalo. A keďže neštudujem ani matematiku, presne ani neviem ako to vyhladzovanie vlastne funguje :(. Možno by sa to dalo aj naprogramovať. Potrebujem nakopnúť správnym smerom. Alebo doporučiť nejaký program. Díky za každú radu.

---

BruteFIR
FFTW
Octave
Gnuplot

Odpovědi

[fikusek]

jde o to jak ty data vypadaji?!?!
treba jsou to jednoducha data, ktera by slo prolozit polynomem.
nebo to bude nejaky signal, ktery se bude muset
vyhlazovat sloziteji.
nechej na sebe mejla a je to.

[marulinko]

môj mail je majo(at)marulinko(dot)com

[Honza]

A co přesně si pod pojmem vyhlazení dat představuješ? Pokud tím myslíš jejich vykreslení do grafu ve formě spojité křivky, tak se dá použít proložení nějakým polynomem jak už radil kolega výše.

FFT je pouze algoritmus výpočtu diskrétní Fourierovy transformace, která převádí řadu z časové oblasti do spektrální. Pokud jsou tvoje data signál a pod pojmem vyhlazení si představuješ například odstranění vyšších spektrálních složek, je možné FFT využít. Říká se tomu filtrace ve spektrální oblasti. Provedeš jednoduše FFT daného signálu, odstraníš část spektra, kterou nechceš (doporučuji zachovat spektrum pokud možno spojité) a modifikované spektrum pomocí IFFT transformuješ zpět do časové oblasti.

Jinak si jsem na 99% jistý, že FFT i IFFT budou v Octave implementované. Pravděpodobně to bude v nějaké knihovně DSP apod. Blíže neporadím, protože používám Scilab nebo Matlab.

[Jan Martinek]

Těžko říct, jakou matematickou metodu bys měl pro svá data použít. Ale kdyby ses rozhodl pro FFT, tak existuje knihovna FFTW (kterou jsi zmínil) a používá ji spousta programů - i ten BruteFIR, který jsi uvedl. Základní funkce, která vypočítá jednorozměrnou FFT za použití FFTW může vypadat třeba takhle:

#include <math.h>
#include <stdlib.h>
#include <fftw3.h>

int calculate_fft(int N, double *in_dbl, double *out_dbl){
  int i;
  double re, im;


  fftw_plan p;
  double *in, *out;

  in = fftw_malloc(sizeof(double) * N);
  out = fftw_malloc(sizeof(double) * N);

  for(i=0; i<N; i++){
    in[i] = in_dbl[i]; /* Zero complex part */
  }


  p = fftw_plan_r2r_1d(N, in, out, FFTW_R2HC, FFTW_ESTIMATE);
  fftw_execute(p);
  fftw_destroy_plan(p);


  out_dbl[0] = out[0];

  for(i = 1; i < (N + 1) / 2; ++i){
    re = out[i];
    im = out[N-i];
    out_dbl[i] = sqrt(re*re+im*im);
  }

  fftw_free(in);
  fftw_free(out);

  return 0;
}

Nejdřív vypočte reálnou a imaginární část a pak z toho vezme absolutní hodnotu. Měl bych asi zmínit ještě spoustu dalších věcí, ale to už by mělo s linuxem pramálo společného.

Při překladu to musíš slinkovat s -lfftw3.

[marulinko]

Díky za kód, len by som sa chcel spýtať či to zlinkovanie znamená ak dám gcc tento_kod -L/usr/include/fftw3.h ? Podobný problém som mal pri kompilácií brutefire. Tam mi chýba ešte súbor: -lfftw3f. -lfftw3 som vďaka tvojmu skriptu už našiel :)

[Jan Martinek]

To, co jsem ti poslal, je pouze funkce, kterou když zavoláš, tak ti spočítá FFT. Bude se ti to hodit, až budeš mít napsaný celý svůj funkční kód v céčku a posledním chybějícím střípkem bude právě tato funkce. Jediné, co s tím můžeš v této chvíli udělat je zkompilovat do object souboru pomocí

gcc -c neco.c

Ten můžeš následně spojit se svým hotovým programem a teprve potom vznikne spusitelná binárka.

Linkují se knihovny, includují se hlavičkové soubory. Ne naopak

Upřímně řečeno - zkus raději tu fft funkci z octave. Na učení céčka si nech nějaký čas.

[LS_999]

Dle meho nazoru je FFT na vyhlazeni dat je jako jit na mouchu s kulometem. A krome toho si myslim, ze diky efectum jako "spectral leaking" to bude vyhlazovat i tam, kde by nemelo (na "kraji"). Pokud nestudujete matematiku, usetrete si to utrpeni zapasit s fft. Doporucuju k vyhlazeni pouzit gnuplot, ktery je z octave vicemene pristupny pres prikaz plot atd. (viz jakysi serial na abclinuxu), ale mnohem lepe je pouzit zvlast. Lze k vyhlazeni pouzit spliny anebo pripadne fitovat nejakou vhodnou funkci, napr. polynom, jak uz nekdo psal anebo e^-x atd. Priklad priblizne v gnuplot:

Parabola:

fit a*x**2+b*x+c "mojedata.xy" using ($1):($2) via a,b,c

plot a*x**2+b*x+c

Vyhlazeni splinem: plot "mojedata.xy" using ($1):($2) smooth csplines

Vice v dokumentaci ke gnuplot (help fit, help plot)

[marulinko]

Ďakujem za všetky odpovede. Tie dáta vyzerajú takto: tu je časť z nich
čas Mk F P
0.000 -383.789 200.195 0.000
0.020 -383.789 202.637 0.005
0.040 -351.807 205.078 -0.001
0.060 -351.807 204.773 -0.002
0.080 -199.890 -312.500 -0.001
0.100 -343.811 204.468 0.000
0.120 -679.626 199.585 -0.014
0.140 -351.807 202.484 -0.002
0.160 -343.811 183.563 0.009
0.180 -343.811 201.111 -0.004
A vykreslené to vyzerá takto: Graf (7.82kB)
Je to vstup zo snímačov do meracej karty a následne do PC.
Vyhladiť to potrebujem kôli eliminácií šumu a jednoduchšiemu odčítaniu hodnôt. Idem skúsiť tú funkciu fit z gnuplot.
môj mail je majo(at)marulinko(dot)com

[Jura]

Hergot, bych tam proste od ruky(od mysi) nacmaral caru, aby to jako kopirovalo ten graf, napisu k temu FFT, a kdo pozna, ze ne? Se s tem moc seres :)))

[lada]

ja bych na to sel takto:
udelal bych nekolik mereni takze bych dostal nekolik takovych krivek jak je na tvem obrazku (rekneme 10 nebo i 100 zalezi na narocnosti)
srovnal je tak, aby sedel zacatek toho skoku
udelal z nich prumer
vychutnaval si pohled na hladkou krivku
mozna nic moc ale rozhodne to funguje

[Petr "Glubo" Sýkora]

Rozhodně to funguje při "dostatečně náhodném" šumu ;)