- Abschlussarbeit:
- Bachelor in Mathematik
- Autor:
- Matthias Hericks
- Titel:
- Nonparametric regression using ReLU networks
- Betreuer:innen:
- Sandra Schluttenhofer
- Jan JOHANNES
- Abstrakt:
- Diese Arbeit beschreibt ausführlich ein Konvergenzresultat aus dem Papier Nonparametric regression using deep neural networks with ReLU activation function von Johannes Schmidt-Hieber von 2020. Nachdem die mathematische Formulierung neuronaler Netzwerke eingeführt wurde, betrachten wir die statistische Entscheidungstheorie im nichtparametrischen Regressionsmodell. Wir folgen der Vorgehensweise des Autors um eine Orakel-Ungleichung für Netzwerk-Schätzer herzuleiten. Anschließend erklären wir die im Papier vorgestellte Approximationstheorie neuronaler Netzwerke ausführlich. Zuletzt besprechen wir Schmidt-Hiebers Beweis, dass - unter der Annahme einer Regressionsfunktion aus einer großen Klasse zusammengesetzer Funktionen - auf Netzwerken basierende Schätzer die optimale Minimaxrate (bis auf log n Faktoren) erreichen können. Die Exponenten in der entsprechenden Rate hängen nicht mehr von der Inputdimension ab. Damit kann ein Teil des empirischen Erfolges neuronaler Netzwerke beim Schätzen in hoch-dimensionalen Modellen theoretisch begründet werden.
Literatur:- J. Schmidt-Hieber. Nonparametric regression using deep neural networks with relu activation function, The Annals of Statistics, 48(4), 2020.
| Statistik-Gruppe | Institut für Mathematik | Fakultät für Mathematik und Informatik | Universität Heidelberg |