Exploration of Weight Sharing Approaches for Neural Networks

© Quelle: LUH
Betreuung:  Günther Meyer
E-Mail:  guenther.meyer@ims.uni-hannover.de
Student/in:  Mohamed Yassin Jabri
Jahr:  2020
Laufzeit:  13.07.2020 - 13.01.2021
Ist abgeschlossen:  ja
Bemerkungen:  Neuronale Netze, Python-Programmierung, Tensorflow

Moderne Neuronale Netze erzielen Außergewöhnliches: Sie erkennen Fußgänger, helfen bei der Diagnose von Krebs oder komponieren Musik. Diese Leistungen basieren auf Modellen mit Millionen von Gewichten, die Gigabyte an Speicher benötigen. Aktuelle Forschung stellt sich daher der Frage wie diese Modelle komprimiert werden können. Diese Arbeit soll dazu beitragen indem das Teilen von Gewichten (auch Weight Sharing genannt) betrachtet wird. Dabei werden aus den Millionen von einzigartigen Gewichten, diejenigen herausgesucht die sich ähnlich sind und zusammengefasst. Dabei teilen sich mehrere einzigartige Gewichte ein zusammengefasstes Gewicht (siehe Abbildung).

In Folge der Zusammenfassung verändert sich aber auch das Ergebnis des neuronalen Netzes. Die zentrale Frage ist daher:

Wie fasse ich die Gewichte zusammen, sodass ich möglichst wenige Gewichte und ein akzeptables Ergebnis habe?

Für diese Arbeit solltest du in deinem Studium bereits Programmiererfahrung gesammelt haben und Spaß am Entwerfen und Implementieren von Software haben.
Schwerpunkt dieser Arbeit ist die Beschäftigung mit neuronalen Netzen, du solltest also deren Aufbau und Funktionsweise verstanden haben.

Idealerweise Erfahrung mit:
• Python
• Tensorflow
• Neuronalen Netzen

Im Rahmen dieser Arbeit sollen verschiedene Ansätze zur Zusammenfassung der Gewichte untersucht werden. Die Verfahren sollen anhand von verschiedenen Referenzarchitekturen evaluiert werden. Es existieren bereits Ansatzpunkte auf deren Basis Du selbstständig weiterforschen sollst.