Autoregressive Moving Average Model Varianance

2.1 Verschieben von Durchschnittsmodellen (MA-Modelle) Zeitreihenmodelle, die als ARIMA-Modelle bekannt sind, können autoregressive Begriffe und / oder gleitende Durchschnittsterme enthalten. In Woche 1 erlernten wir einen autoregressiven Term in einem Zeitreihenmodell für die Variable x t ist ein verzögerter Wert von x t. Beispielsweise ist ein autoregressiver Term der Verzögerung 1 x t-1 (multipliziert mit einem Koeffizienten). Diese Lektion definiert gleitende Durchschnittsterme. Ein gleitender Durchschnittsterm in einem Zeitreihenmodell ist ein vergangener Fehler (multipliziert mit einem Koeffizienten). Es sei n (0, sigma2w) überschritten, was bedeutet, daß die wt identisch unabhängig voneinander verteilt sind, jeweils mit einer Normalverteilung mit dem Mittelwert 0 und der gleichen Varianz. Das durch MA (1) bezeichnete gleitende Durchschnittsmodell erster Ordnung ist (xt mu wt theta1w) Das mit MA (2) bezeichnete gleitende Durchschnittsmodell der zweiten Ordnung ist (xt mu wt theta1w theta2w) Das gleitende Mittelmodell der q-ten Ordnung , Mit MA (q) bezeichnet, ist (xt mu wt theta1w theta2w dots thetaqw) Hinweis. Viele Lehrbücher und Softwareprogramme definieren das Modell mit negativen Vorzeichen vor den Begriffen. Dies ändert nicht die allgemeinen theoretischen Eigenschaften des Modells, obwohl es die algebraischen Zeichen der geschätzten Koeffizientenwerte und (nicht quadrierten) Ausdrücke in Formeln für ACFs und Abweichungen umwandelt. Sie müssen Ihre Software überprüfen, um zu überprüfen, ob negative oder positive Vorzeichen verwendet worden sind, um das geschätzte Modell korrekt zu schreiben. R verwendet positive Vorzeichen in seinem zugrunde liegenden Modell, wie wir hier tun. Theoretische Eigenschaften einer Zeitreihe mit einem MA (1) Modell Beachten Sie, dass der einzige Wert ungleich Null im theoretischen ACF für Verzögerung 1 ist. Alle anderen Autokorrelationen sind 0. Somit ist ein Proben-ACF mit einer signifikanten Autokorrelation nur bei Verzögerung 1 ein Indikator für ein mögliches MA (1) - Modell. Für interessierte Studierende, Beweise dieser Eigenschaften sind ein Anhang zu diesem Handout. Beispiel 1 Angenommen, dass ein MA (1) - Modell x t 10 w t .7 w t-1 ist. Wobei (wt überstehendes N (0,1)). Somit ist der Koeffizient 1 0,7. Die theoretische ACF wird durch eine Plot dieser ACF folgt folgt. Die graphische Darstellung ist die theoretische ACF für eine MA (1) mit 1 0,7. In der Praxis liefert eine Probe gewöhnlich ein solches klares Muster. Unter Verwendung von R simulierten wir n 100 Abtastwerte unter Verwendung des Modells x t 10 w t .7 w t-1, wobei w t iid N (0,1) war. Für diese Simulation folgt ein Zeitreihen-Diagramm der Probendaten. Wir können nicht viel von dieser Handlung erzählen. Die Proben-ACF für die simulierten Daten folgt. Wir sehen eine Spitze bei Verzögerung 1, gefolgt von im Allgemeinen nicht signifikanten Werten für Verzögerungen nach 1. Es ist zu beachten, dass das Beispiel-ACF nicht mit dem theoretischen Muster des zugrunde liegenden MA (1) übereinstimmt, was bedeutet, dass alle Autokorrelationen für Verzögerungen nach 1 0 sein werden Eine andere Probe hätte eine geringfügig unterschiedliche Probe ACF wie unten gezeigt, hätte aber wahrscheinlich die gleichen breiten Merkmale. Theroretische Eigenschaften einer Zeitreihe mit einem MA (2) - Modell Für das MA (2) - Modell sind die theoretischen Eigenschaften die folgenden: Die einzigen Werte ungleich Null im theoretischen ACF sind für die Lags 1 und 2. Autokorrelationen für höhere Lags sind 0 , So zeigt ein Beispiel-ACF mit signifikanten Autokorrelationen bei den Verzögerungen 1 und 2, aber nicht signifikante Autokorrelationen für höhere Verzögerungen ein mögliches MA (2) - Modell. Iid N (0,1). Die Koeffizienten betragen 1 0,5 und 2 0,3. Da es sich hierbei um ein MA (2) handelt, wird der theoretische ACF nur bei den Verzögerungen 1 und 2 Werte ungleich Null aufweisen. Werte der beiden Nicht-Autokorrelationen sind A-Plots des theoretischen ACFs. Wie fast immer der Fall ist, verhalten sich Musterdaten nicht ganz so perfekt wie die Theorie. Wir simulierten n 150 Beispielwerte für das Modell x t 10 w t .5 w t-1 .3 w t-2. Wobei wt iid N (0,1) ist. Die Zeitreihenfolge der Daten folgt. Wie bei dem Zeitreihenplot für die MA (1) Beispieldaten können Sie nicht viel davon erzählen. Die Proben-ACF für die simulierten Daten folgt. Das Muster ist typisch für Situationen, in denen ein MA (2) - Modell nützlich sein kann. Es gibt zwei statistisch signifikante Spikes bei Lags 1 und 2, gefolgt von nicht signifikanten Werten für andere Lags. Beachten Sie, dass aufgrund des Stichprobenfehlers das Muster ACF nicht genau dem theoretischen Muster entsprach. ACF für allgemeine MA (q) - Modelle Eine Eigenschaft von MA (q) - Modellen besteht im Allgemeinen darin, dass Autokorrelationen ungleich Null für die ersten q-Verzögerungen und Autokorrelationen 0 für alle Verzögerungen gt q existieren. Nicht-Eindeutigkeit der Verbindung zwischen Werten von 1 und (rho1) in MA (1) Modell. Im MA (1) - Modell für einen Wert von 1. Die reziproke 1/1 gibt den gleichen Wert für Als Beispiel, verwenden Sie 0.5 für 1. Und dann 1 / (0,5) 2 für 1 verwenden. Youll erhalten (rho1) 0,4 in beiden Fällen. Um eine theoretische Einschränkung als Invertibilität zu befriedigen. Wir beschränken MA (1) - Modelle auf Werte mit einem Absolutwert von weniger als 1. In dem gerade angegebenen Beispiel ist 1 0,5 ein zulässiger Parameterwert, während 1 1 / 0,5 2 nicht. Invertibilität von MA-Modellen Ein MA-Modell soll invertierbar sein, wenn es algebraisch äquivalent zu einem konvergierenden unendlichen Ordnungs-AR-Modell ist. Durch Konvergenz meinen wir, dass die AR-Koeffizienten auf 0 sinken, wenn wir in der Zeit zurückgehen. Invertibilität ist eine Einschränkung, die in Zeitreihensoftware programmiert ist, die verwendet wird, um die Koeffizienten von Modellen mit MA-Begriffen abzuschätzen. Sein nicht etwas, das wir in der Datenanalyse überprüfen. Zusätzliche Informationen über die Invertibilitätsbeschränkung für MA (1) - Modelle finden Sie im Anhang. Fortgeschrittene Theorie Anmerkung. Für ein MA (q) - Modell mit einem angegebenen ACF gibt es nur ein invertierbares Modell. Die notwendige Bedingung für die Invertierbarkeit ist, daß die Koeffizienten Werte haben, daß die Gleichung 1- 1 y-. - q y q 0 hat Lösungen für y, die außerhalb des Einheitskreises liegen. R-Code für die Beispiele In Beispiel 1 wurde der theoretische ACF des Modells x t 10 w t aufgetragen. 7w t-1. Und dann n 150 Werte aus diesem Modell simuliert und die Abtastzeitreihen und die Abtast-ACF für die simulierten Daten aufgetragen. Die R-Befehle, die verwendet wurden, um den theoretischen ACF aufzuzeichnen, waren: acfma1ARMAacf (mac (0,7), lag. max10) 10 Verzögerungen von ACF für MA (1) mit theta1 0,7 lags0: 10 erzeugt eine Variable namens lags, die im Bereich von 0 bis 10 liegt (H0) fügt dem Diagramm eine horizontale Achse hinzu Der erste Befehl bestimmt den ACF und speichert ihn in einem Objekt Genannt acfma1 (unsere Wahl des Namens). Der Plotbefehl (der dritte Befehl) verläuft gegen die ACF-Werte für die Verzögerungen 1 bis 10. Der ylab-Parameter bezeichnet die y-Achse und der Hauptparameter einen Titel auf dem Plot. Um die Zahlenwerte der ACF zu sehen, benutzen Sie einfach den Befehl acfma1. Die Simulation und Diagramme wurden mit den folgenden Befehlen durchgeführt. (N150, list (mac (0.7))) Simuliert n 150 Werte aus MA (1) xxc10 addiert 10, um Mittelwert 10. Simulationsvorgaben bedeuten 0. Plot (x, typeb, mainSimulated MA (1) Acf (x, xlimc (1,10), mainACF für simulierte Probendaten) In Beispiel 2 wurde der theoretische ACF des Modells xt 10 wt. 5 w t-1 .3 w t-2 aufgetragen. Und dann n 150 Werte aus diesem Modell simuliert und die Abtastzeitreihen und die Abtast-ACF für die simulierten Daten aufgetragen. Die verwendeten R-Befehle waren acfma2ARMAacf (mac (0,5,0,3), lag. max10) acfma2 lags0: 10 Plot (lags, acfma2, xlimc (1,10), ylabr, typh, main ACF für MA (2) mit theta1 0,5, (X, x) (x, x) (x, x, x, y) (1) Für interessierte Studierende sind hier Beweise für die theoretischen Eigenschaften des MA (1) - Modells. Variante: (Text (xt) Text (mu wt theta1 w) 0 Text (wt) Text (theta1w) sigma2w theta21sigma2w (1theta21) sigma2w) Wenn h 1 der vorhergehende Ausdruck 1 w 2. Für irgendeinen h 2 ist der vorhergehende Ausdruck 0 Der Grund dafür ist, dass, durch Definition der Unabhängigkeit der wt. E (w k w j) 0 für beliebige k j. Da w w die Mittelwerte 0, E (w j w j) E (w j 2) w 2 haben. Für eine Zeitreihe, Wenden Sie dieses Ergebnis an, um den oben angegebenen ACF zu erhalten. Ein invertierbares MA-Modell ist eines, das als unendliches Ordnungs-AR-Modell geschrieben werden kann, das konvergiert, so daß die AR-Koeffizienten gegen 0 konvergieren, wenn wir unendlich zurück in der Zeit bewegen. Gut zeigen Invertibilität für die MA (1) - Modell. Dann setzen wir die Beziehung (2) für wt-1 in Gleichung (1) (3) ein (zt wt theta1 (z-therma1w) wt theta1z - theta2w) Zum Zeitpunkt t-2. Gleichung (2) wird dann in Gleichung (3) die Gleichung (4) für wt-2 ersetzen (zt wt theta1 z - theta21w wt theta1z - theta21 (z - theta1w) wt theta1z - theta12z theta31w) Unendlich), erhalten wir das unendliche Ordnungsmodell (zt wt theta1 z - theta21z theta31z - theta41z Punkte) Beachten Sie jedoch, dass bei 1 1 die Koeffizienten, die die Verzögerungen von z vergrößern Zeit. Um dies zu verhindern, benötigen wir 1 lt1. Dies ist die Bedingung für ein invertierbares MA (1) - Modell. Unendlich Ordnung MA Modell In Woche 3, gut sehen, dass ein AR (1) Modell in ein unendliches order MA Modell umgewandelt werden kann: (xt - mu wt phi1w phi21w Punkte phik1 w Punkte sum phij1w) Diese Summation der Vergangenheit weißer Rauschbegriffe ist bekannt Als die kausale Darstellung eines AR (1). Mit anderen Worten, x t ist eine spezielle Art von MA mit einer unendlichen Anzahl von Begriffen, die in der Zeit zurückgehen. Dies wird als unendliche Ordnung MA oder MA () bezeichnet. Eine endliche Ordnung MA ist eine unendliche Ordnung AR und jede endliche Ordnung AR ist eine unendliche Ordnung MA. Rückruf in Woche 1, stellten wir fest, dass eine Anforderung für eine stationäre AR (1) ist, dass 1 lt1. Berechnen Sie die Var (x t) mit der kausalen Darstellung. Dieser letzte Schritt verwendet eine Grundtatsache über geometrische Reihen, die (phi1lt1) erforderlich sind, ansonsten divergiert die Reihe. Navigation8.3 Autoregressive Modelle In einem multiplen Regressionsmodell prognostizieren wir die Variable von Interesse mit einer linearen Kombination von Prädiktoren. In einem Autoregressionsmodell prognostizieren wir die Variable von Interesse unter Verwendung einer linearen Kombination von vergangenen Werten der Variablen. Der Ausdruck auto regression weist darauf hin, dass es sich um eine Regression der Variablen gegen sich selbst handelt. Somit kann ein autoregressives Modell der Ordnung p geschrieben werden, wobei c eine Konstante ist und et ein weißes Rauschen ist. Dies ist wie eine multiple Regression, aber mit verzögerten Werten von yt als Prädiktoren. Wir bezeichnen dies als AR (p) - Modell. Autoregressive Modelle sind bemerkenswert flexibel bei der Handhabung einer breiten Palette von verschiedenen Zeitreihen Muster. Die beiden Serien in Abbildung 8.5 zeigen Serien aus einem AR (1) - Modell und einem AR (2) - Modell. Das Ändern der Parameter phi1, dots, phip führt zu unterschiedlichen Zeitreihen. Die Varianz des Fehlerbegriffs et wird nur die Skala der Reihe ändern, nicht die Muster. Abbildung 8.5: Zwei Beispiele für Daten aus autoregressiven Modellen mit unterschiedlichen Parametern. Links: AR (1) mit yt 18 -0,8y et. Rechts: AR (2) mit yt 8 ​​1,3y-0,7y et. In beiden Fällen ist et normal verteiltes weißes Rauschen mit mittlerem Nullwert und Varianz eins. Für ein AR (1) - Modell: Bei phi10 entspricht yt dem weißen Rauschen. Wenn phi11 und c0, yt äquivalent zu einem zufälligen Weg ist. Wenn phi11 und cne0, ist yt äquivalent zu einem zufälligen Weg mit Drift Wenn phi1lt0, yt dazu neigt, zwischen positiven und negativen Werten oszillieren. Normalerweise beschränken wir autoregressive Modelle auf stationäre Daten, und dann sind einige Einschränkungen für die Werte der Parameter erforderlich. Für ein AR (1) - Modell: -1 lt phi1 lt 1. Für ein AR (2) - Modell: -1 lt phi2 lt 1, phi1phi2 lt 1, phi2-phi1 lt 1. Bei pge3 sind die Einschränkungen viel komplizierter. R kümmert sich um diese Einschränkungen bei der Schätzung eines model. ARMA Unplugged Dies ist der erste Eintrag in unserer Reihe von Unplugged Tutorials, in denen wir in die Details der einzelnen Zeitreihen Modelle, mit denen Sie bereits vertraut sind, die Hervorhebung der zugrunde liegenden Annahmen zu vertiefen Und nach Hause die Intuitionen hinter ihnen. In dieser Ausgabe beschäftigen wir uns mit dem ARMA-Modell als Eckpfeiler der Zeitreihenmodellierung. Im Gegensatz zu früheren Analyse-Problemen werden wir hier mit der ARMA-Prozessdefinition beginnen, die Eingaben, Ausgänge, Parameter, Stabilitätsbeschränkungen, Annahmen und schließlich einige Richtlinien für den Modellierungsprozess angeben. Hintergrund Nach Definition ist der auto-regressive gleitende Durchschnitt (ARMA) ein stationärer stochastischer Prozess, der sich aus Summen autoregressiver Excel und gleitender durchschnittlicher Komponenten zusammensetzt. Alternativ, in einer einfachen Formulierung: Annahmen Lassen Sie uns näher auf die Formulierung. Der ARMA-Prozess ist einfach eine gewichtete Summe der bisherigen Output-Beobachtungen und Schocks mit wenigen Annahmen: Was bedeuten diese Annahmen? Ein stochastischer Prozess ist ein Gegenstück eines deterministischen Prozesses, der die Entwicklung einer Zufallsvariablen über die Zeit beschreibt. In unserem Fall ist die Zufallsvariable Das ARMA-Verfahren erfasst nur die serielle Korrelation (d. h. Autokorrelation) zwischen den Beobachtungen. In einfachen Worten faßt der ARMA-Prozeß die Werte der vergangenen Beobachtungen zusammen, nicht ihre quadrierten Werte oder ihre Logarithmen usw. Die Abhängigkeitsordnung höherer Ordnung erfordert einen anderen Prozeß (z. B. ARCH / GARCH, nichtlineare Modelle usw.). Es gibt zahlreiche Beispiele für einen stochastischen Prozess, bei dem vergangene Werte aktuelle beeinflussen. Beispielsweise werden in einem Verkaufsbüro, das laufend Anfragen erhält, manche umsatzgewonnen, teils umsatzvermindert und ein paar in den nächsten Monat verschüttet. Als Ergebnis, in einem bestimmten Monat, einige der verkauften Fälle stammen als Anfragen oder sind Wiederholungsverkäufe aus den vorherigen Monaten. Was sind die Schocks, Innovationen oder Fehlerbegriffe Das ist schwierige Frage, und die Antwort ist nicht weniger verwirrend. Dennoch können wir es versuchen: In einfachen Worten, ist der Fehler Begriff in einem gegebenen Modell ein catch-all Eimer für alle Variationen, die das Modell nicht erklärt. Noch verloren Nehmen wir ein Beispiel. Für einen Aktienkursprozess gibt es möglicherweise Hunderte von Faktoren, die das Preisniveau aufwärts / abwärts treiben, einschließlich: Dividenden und Split-Ankündigungen Vierteljährliche Ergebnisberichte Fusion und Akquisition (MampA) Aktivitäten Gesetzliche Ereignisse, z. B. Die Drohung von Sammelklagen. Andere Ein Modell, durch Design, ist eine Vereinfachung einer komplexen Realität, so dass, was auch immer verlassen wir außerhalb des Modells automatisch in den Fehler Begriff gebündelt wird. Der ARMA-Prozess geht davon aus, dass der kollektive Effekt all dieser Faktoren mehr oder weniger wie das Gaußsche Rauschen wirkt. Warum kümmern wir uns um vergangene Schocks Anders als ein Regressionsmodell kann das Auftreten eines Stimulus (z. B. Schock) einen Einfluss auf das aktuelle Niveau und eventuell zukünftige Ebenen haben. Zum Beispiel wirkt sich ein Unternehmensereignis (z. B. MampA-Aktivität) auf den Aktienkurs der Underling-Gesellschaften aus, die Änderung dauert jedoch einige Zeit, bis die Marktteilnehmer die verfügbaren Informationen absorbieren / analysieren und entsprechend reagieren. Dies wirft die Frage auf: Dont die Vergangenheit Werte der Ausgabe haben bereits die Schocks Vergangenheit Informationen JA, die Schocks Geschichte ist bereits in den letzten Ausgangspegeln berücksichtigt. Ein ARMA-Modell kann nur als reines autoregressives (AR) Modell dargestellt werden, aber der Speicherbedarf eines solchen Systems in unendlich. Dies ist der einzige Grund, die MA-Komponente einzuschließen: um Speicherplatz zu sparen und die Formulierung zu vereinfachen. Auch hier muss das ARMA-Verfahren stationär sein, damit die marginale (unbedingte) Varianz existiert. Anmerkung: In meiner Diskussion unterscheide ich nicht zwischen der bloßen Abwesenheit einer Einheitswurzel in der charakteristischen Gleichung und der Stationarität des Prozesses. Sie sind verwandt, aber das Fehlen einer Einheitswurzel ist keine Garantie der Stationarität. Dennoch muss die Einheitswurzel innerhalb des Einheitskreises liegen, um genau zu sein. Fazit Lasst uns rekapitulieren, was wir bisher getan haben. Zuerst untersuchten wir einen stationären ARMA Prozess, zusammen mit seiner Formulierung, Eingaben, Annahmen und Speicheranforderungen. Als nächstes haben wir gezeigt, dass ein ARMA-Prozess seine Ausgangswerte (Autokorrelation) und Schocks enthält, die es früher in der aktuellen Ausgabe erfahren hat. Schließlich haben wir gezeigt, dass das stationäre ARMA-Verfahren eine Zeitreihe mit einem stabilen langfristigen Mittelwert und Varianz erzeugt. In unserer Datenanalyse sollten wir, bevor wir ein ARMA-Modell vorschlagen, die Stationaritätsannahme und den endlichen Speicherbedarf verifizieren. Für den Fall, dass die Datenreihe einen deterministischen Trend aufweist, müssen wir sie zuerst entfernen (de-Trend) und dann die Residuen für ARMA verwenden. Für den Fall, dass der Datensatz einen stochastischen Trend (z. B. zufällige Wanderung) oder Saisonalität aufweist, müssen wir ARIMA / SARIMA unterhalten. Schließlich kann das Korrelogramm (d. h. ACF / PACF) verwendet werden, um den Speicherbedarf des Modells zu messen, von dem erwartet wird, daß entweder ACF oder PACF schnell nach einigen Verzögerungen abklingen. Wenn dies nicht der Fall ist, kann dies ein Zeichen der Nichtstationarität oder eines Langzeitmusters (z. B. ARFIMA) sein.