regresszió analízis
Tól gépi tanulás.
regresszió analízis # 151; mérésének módszerét adatmodellezés, és vizsgáljuk meg tulajdonságait. Az adatok állnak pár értékei a függő változó (változó RTT), és a független változó (magyarázó változó). A regressziós modell függvénye a független változó és paraméterek a hozzáadott véletlen változó. A modell paramétereit úgy állítjuk be, hogy a modell leginkább közelíti az adatokat. A minőségi követelmény megközelítés (célfüggvény) általában az átlagos négyzetes hiba. A négyzetének összege a különbség modell és a függő változó minden értékére a független változó érvként. regresszió analízis # 151; ág matematikai statisztika és a gépi tanulás. Feltételezzük, hogy a függő változó az értékek összege egy modell és egy véletlen változó. Ami ezt jellegét az eloszlás feltételezések, az úgynevezett adatok előállítását hipotézist. Annak igazolására, vagy cáfolja ezt a feltételezést, statisztikai vizsgálatok. nevű aminosavak vizsgálatát. Ez azt feltételezi, hogy a független változó nem tartalmaz hibákat. Regressziós analízist használunk az előrejelzés. idősorelemzés. hipotézisek tesztelésére és felismerni a rejtett összefüggések adatokat.
Meghatározása Regresszióelemzés
A minta lehet egy függvény, és a hozzáállás. Például az adatok, hogy össze egy regressziós lehet :. „/> Ebben a mintában megfelel egy érték egy változó számú változó értékeket.
regresszió # 151; a függőség az elvárás (pl átlag) egy véletlen változó egy vagy több másik valószínűségi változók (szabad változók), vagyis) = f (\ mathbf) „/>. Regresszióanalízis nevezzük keresést egy ilyen függvény, amely leírja ezt a kapcsolatot. regresszió ez képviseli összegeként a véletlen és a nem véletlen komponensek.
ahol # 151; funkciója regresszív függőség és # 151; adalékanyag véletlen változó nulla matematikai elvárás. A feltételezés eloszlása ezt a mennyiséget nevezzük az adatok előállítását hipotézist. Ez általában feltételezzük, hogy az értéket a Gauss-eloszlás nulla átlag és szórás.
A probléma, hogy találnak egy regressziós modell több változó elérhető az alábbiak szerint történik. Kitűzött mintavételi # 151; Sok _1. \ Mathbf_N | \ mathbf \ in \ mathbb ^ M \> "/> Értékek szabad változók és sok a megfelelő függő változó értékeket Ezek a készletek nevezzük, sok nyers adatok, y) _i \>" />. Mivel regressziós modell # 151; paraméteres családja funkciók \ mathbf) „/> paraméterektől függően \ in \ mathbb” /> és a szabad változók. „/> az, hogy megtaláljuk a legvalószínűbb lehetőségek>” />:
A valószínűségi függvény függ a adatokat és generáljuk hipotézisek adott Bayes következtetési eljárást vagy maximális valószínűség.
lineáris regresszió
Lineáris regresszió azt feltételezi, hogy a funkció függ a paraméterek „/> lineárisan. A lineáris függőség a szabad változó” /> nem szükséges,
Abban az esetben, ha a funkció „/> lineáris regresszió az űrlap
itt # 151; elemei „/>.
A paraméter értékek esetében a lineáris regressziós megtalálható a legkisebb négyzetek módszerével. Ezzel a módszerrel igazolja azt a feltételezést Gauss eloszlás valószínűségi változó.
Különbség _i) „/> a tényleges értékek a függő változó, és a kinyert maradványait nevezzük regresszió (reziduális) a szakirodalomban szinonimaként: .. És a fennmaradó hiba egyik fontos értékelési szempont a minőség, a kapott függőség négyzetösszegét maradványok:
itt # 151; Négyzetes hibák összege.
Diszperziós maradékok kiszámítása a képlet
itt # 151; Mean Square Error, az átlagos négyzetes hiba.
A grafikonok bemutatott minta jelölt kék pontok és a regressziós függvény vízszintes vonal jelzi. Az abszcisszán szabad változó, és a függőleges tengely # 151; függő. Mindhárom lineáris, paraméterektől függően.
lineáris regressziós
Nem-lineáris regressziós modellek - a modell nézet
amely nem ábrázolható, mint egy skalár szorzat
ahol = [w_1, \ ldots, "/> - a paramétereket a regressziós modell" /> - szabad változó térből ^ n "/> - függő változó - véletlen változó = [g_1, \ ldots," /> - funkció egy adott készlet.
A paraméter értékek az esetben nem-lineáris regressziós valamelyikét használja a gradiens csökkenési módszerek, mint Levenberg-Marquardt.
Mintegy feltételek
A „regresszió” vezette be Francis Galton a 19. század végén. Galton úgy találta, hogy a gyermekek a szülők magas vagy alacsony növekedés általában nem öröklik a kiemelkedő növekedés és az úgynevezett jelenség „regresszió középszerűség.” Először is, a kifejezést csak a biológiai értelemben. Munkája nyomán Karla Pirsona, a kifejezés kezdték használni a statisztika.
Közelítése funkciók: egy folytonos függvény megközelíti a folytonos vagy diszkrét függvény
A statisztikai szakirodalom különbséget regresszió egy szabad változó, és több szabad változók # 151; Egy- és többváltozós regresszió. Azt kéne használni több szabad változók, azaz a szabad változó # 151; vektor \ in \ R ^ N „/>. Különleges esetekben, amikor a szabad Változó skalár, akkor utalják. Vannak lineáris és nemlineáris regresszió. Ha a regressziós modell nem lineáris kombinációja a paramétereket a funkciók, beszélünk a nem-lineáris regresszió. Ebben az esetben modell lehet egy tetszőleges függvény a szuperpozíció egy sor. modellek nemlineáris, exponenciális, trigonometrikus, és mások (például radiális bázisfüggvények vagy perceptron Rosenblatt) feltételezhető a kapcsolat a paraméterek és isimoy változó lineáris.
Különbséget tenni parametrikus és nem parametrikus regresszió. Szigorú közötti határvonal a két típusú regresszió tartani nehéz. Most nincs általánosan elfogadott kritériumok megkülönböztetni egyik típus másik modell. Például, úgy véljük, hogy a lineáris modellek parametrikus és modell, beleértve a függő változó átlagolást térben szabad változó # 151; a nem-parametrikus. Példa regresionnoy parametrikus modell: lineáris prediktor, többrétegű perceptron. Példák vegyes regressziós modell: radiális bázisfüggvényt. nonparametric modell # 151; mozgó átlag alatt egy bizonyos ablak szélessége. Általában eltér a nem paraméteres regressziós paraméter, nem függő változó értékek egyik szabad változó, hanem egy előre meghatározott szomszédságában ezt az értéket.
Interpoláció: alapérték függvényében csomópontok
Van-e különbség a „közelítése funkciók”, „közelítés”, „interpoláció” és a „regresszió”. Ez az alábbiak szerint.
Közelítése funkciókat. Mivel a funkció egy diszkrét vagy folytonos érv. Keresse függvényében néhány paraméter a család, például, többek között a készlet algebrai polinomokként. Paramétereket kell teljesíteni legalább néhány funkcionális, például
távú közelítés # 151; szinonimája a „közelítése funkciók”. Ez gyakrabban használják, ha beszélünk az adott funkciót függvényében diszkrét érv. Ott is kell találnia egy funkcióval, amely legközelebb a minden pont a meghatározott feladatokat. Így tehát, a maradék # 151; A pontok közötti távolság egy folytonos függvény, és a megfelelő diszkrét pontokat az érvelés funkciót.
interpolációs függvények # 151; speciális eset közelítése problémát, amennyiben szükséges, hogy bizonyos pontokon, az úgynevezett pontok interpolációs függvények és a mérkőzés értékek közelítő funkcióját. Általánosabb esetben korlátozások érvényesek az értéke egyes származékok származékok. Ez azt jelenti, mivel a funkció egy diszkrét érv. Ez szükséges, hogy talál egy funkció, amely átmegy az összes pontot. Ebben az esetben a mutató általában nem használják, de gyakran bevezetik a „sima” a funkciója ismeretlen.
Regresszió és osztályozási szorosan összefügg egymással. A kifejezés a besorolási algoritmus lehet szinonimája a kifejezést a regressziós modell, ha az algoritmus nem működtethető diszkrét megválaszolására-osztály és a modell # 151; folytonosan változó fajlagos ingyen.