Modellkomprimierung mit Open-Source-Bibliotheken: Optimierung neuronaler Netze in Kundenprojekten

Intelligente Echtzeit- und Streaming-Anwendungen auf Basis Neuronaler Netze benötigen immer geringere Latenzen und Rechenzeiten bei gleichzeitig zunehmender Komplexität. Die Skalierung von Ressourcen ist eine gängige Lösung, die jedoch mit erheblichen Kosten verbunden ist und sich auch auf die Nachhaltigkeit eines Unternehmens auswirken kann.

Der Neural Compressor von Intel zielt darauf ab, diese Probleme durch verschiedene Optimierungsstrategien und -algorithmen zu lösen. Der Vortrag konzentriert sich auf eine kurze Einführung in dekonstruktive Netzwerk-Optimierungstechniken, die Bibliothek selbst und demonstriert den Mehrwert durch die Implementierung in Kundenprojekten.

Vorkenntnisse

• Verständnis zur Funktionsweise (tiefer) neuronaler Netze
  
• Erste Erfahrungen in der Bereitstellung von Deep-Learning-Modellen sind von Vorteil, aber nicht zwingend notwendig.

  Lernziele

  • Erreichen eines Bewusstseins für und grundlegendes Verständnis von der Funktionsweise von Netzwerk-Optimierungstechniken wie Quantisierung und Pruning
    
  • Teilen von Einblicken und Erfahrungen in die Open-Source Bibliothek Intel® Neural Compressor
    
  • Aufzeigen von Herausforderungen beim Deployment von neuronalen Netzen aus technologischer sowie Business-Sicht und wie diesen mit Netzwerk-Optimierungsstrategien begegnet werden können