Ressourceneinsparung bei KI-Modellen mittels Knowledge Destillation

Über die letzten Jahre hat sich die Forschung im Bereich NLP zunehmend Sprachmodellen zugewandt. Trotz ihrer kurzen Geschichte werden sie erfolgreich eingesetzt und liefern erstaunliche Ergebnisse bei ganz verschiedenen textbezogenen Aufgaben wie zum Beispiel Übersetzungen, Question Answering, Information Extraction und intelligenter Suche.

Trotz ihrer erstaunlichen Fähigkeiten vergessen wir jedoch gern, dass Sprachmodelle nicht nur daten-, sondern auch energiehungrig sind. Hochmoderne Sprachmodelle wie BERT, RoBERTa und XLNet verarbeiten innerhalb der Trainingsphase Millionen von Parametern, was nur mithilfe von Dutzenden hochentwickelter Chips möglich wird. Das dadurch erzeugte CO2 ist dabei um ein Vielfaches höher als der durchschnittliche Verbrauch eines Autos über seine durchschnittliche Lebensdauer hinweg. Solch einen hohen Energieverbrauch zu verantworten, fällt in Zeiten des Klimawandels nicht leicht.

Damit Unternehmen von der Leistung aktueller Modelle profitieren, ohne ihre Rechenkosten zu stark zu strapazieren, gilt es, die verwendeten Modelle auf ein Minimum zu reduzieren. Die Leistungsfähigkeit soll darunter natürlich nicht leiden.

Ein mögliches Mittel dafür ist die sogenannte Knowledge Destillation, eine gängige Methode unter verschiedenen Komprimierungsmethoden für Sprachmodelle.

Vorkenntnisse

  • Suchlösungen
  • Sprachmodelle

Lernziele

Im Vortrag werden verschiedene Optionen gezeigt, wie Modelle komprimiert und beschleunigt werden können. Der Fokus liegt insbesondere darauf, wie man Sprachmodelle mithilfe von gezielter Knowledge Destillation so komprimieren kann, dass sie ressourcensparend eingesetzt werden können, ohne dass die Modellleistung signifikant sink

Speaker

 

Qi Wu
Qi Wu arbeitet als Machine Learning Engineer bei ontolux, einer Marke der neofonie GmbH. Dort arbeitet sie an Themen wie dem Training und der Optimierung von Modellen, mit einem Fokus auf Finetuning und Destillation, und überführt aktuelle Forschungsergebnisse in nutzbare Anwendungen für Kunden. Während ihres Masterstudiums der Statistik hat sie bereits bei Prof. Dr. Alan Akbik am NLP-Framework FLAIR gearbeitet und sich mit ML im Bereich der Verarbeitung natürlicher Sprache beschäftigt.

M3-Newsletter

Sie möchten über die Minds Mastering Machines
auf dem Laufenden gehalten werden?

 

Anmelden