Wie KI bis zu 90 % Energie sparen kann

Künstliche Intelligenz soll vom Energiefresser zum Energiesparer werden. Das Forscherteam um Professor Wolfgang Maaß an der Universität des Saarlandes und am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) will KI um bis zu 90 Prozent energieeffizienter machen.

Um den ökologischen Fußabdruck von KI zu verbessern, denkt das Team Rechenzentren, Sprachmodelle und visuelle Modelle neu - und ermöglicht gleichzeitig mittelständischen und kleineren Unternehmen den Zugang zu leistungsfähigen KI-Modellen. Auf der Hannover Messe vom 31. März bis 4. April präsentieren die Forscherinnen und Forscher ihre Technologien am Stand des Bundesministeriums für Wirtschaft und Klimaschutz (Halle 2 Stand A18).

Rechenzentren sind große Energieverbraucher. In den vergangenen zehn Jahren hat sich ihr Strombedarf in Deutschland mehr als verdoppelt, so der Digitalverband Bitkom. Tendenz: stark steigend - die digitale Transformation nimmt gerade erst Fahrt auf. Daten speichern, verarbeiten, hin und her schicken, abrufen - das alles kostet Strom. Vor allem künstliche Intelligenz ist ein Energiefresser:

• Der Stromverbrauch von Rechenzentren hat sich in den letzten zehn Jahren verdoppelt und wird bis 2030 13 % des weltweiten Energieverbrauchs ausmachen.
• KI ist dabei einer der größten Treiber des Stromverbrauchs von Rechenzentren: Das Training eines Modells wie GPT-3 verbraucht 936.000 kWh und erzeugt ca. 284 t CO₂.
• ChatGPT verbrauchte allein für seinen Betrieb im Januar 2023 geschätzte 1.200.000 kWh .

„Künstliche Intelligenz kann deutlich energieeffizienter werden. Mit den richtigen Methoden können wir die Rechenzentren der Zukunft nachhaltiger gestalten“, ist Professor Wolfgang Maaß überzeugt, der an der Universität des Saarlandes und am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) forscht. „Indem wir die Modelle kleiner und effizienter machen, tragen wir zum einen zu mehr Nachhaltigkeit bei“, sagt Sabine Janzen, Doktorandin im Team von Wolfgang Maaß. „Zum anderen eröffnet dies gerade mittelständischen und kleineren Unternehmen den Zugang zu leistungsfähigen KI-Modellen. Die kleineren KI-Modelle benötigen keine große Infrastruktur mehr.“

Heutige Chatbots wie ChatGPT und visuelle KI-Modelle verwenden Billionen von Parametern und riesige Datenmodelle, um ihre Aufgaben zu erfüllen. Entsprechend hoch ist ihr Energieverbrauch. Diesen wollen die Forschenden senken. Und zwar, ohne dass die KI-basierten digitalen Assistenten die gewünschten Antworten schuldig bleiben. „Wir arbeiten unter anderem mit sogenannter Wissensdestillation. Das ist eine Art Kompressionstechnologie, mit der wir die Modelle kleiner machen. Bei vergleichbarer Leistung verbrauchen die KI-Modelle dadurch deutlich weniger Energie", erklärt Sabine Janzen.

So wie man für eine Frage nicht eine ganze Bibliothek lesen muss, sondern nur die Bücher mit den passenden Antworten, so gehen die Forscherinnen und Forscher auch hier vor: Aus großen Lehrermodellen extrahieren sie kleine, fokussierte und sparsame Schülermodelle. Indem sie das für eine Aufgabe wirklich benötigte Wissen destillieren und auf das Wesentliche reduzieren, können sie die Datenmodelle um bis zu 90 Prozent verschlanken. „Diese Schülermodelle erbringen eine vergleichbare Leistung, kommen aber perspektivisch mit bis zu 90 Prozent weniger Energie aus“, sagt die Forscherin.

Speziell bei visuellen KI-Modellen, die digitale Bilddaten verarbeiten, erzielen die Forscher gute Ergebnisse mit einer weiteren Methode: der so genannten „neuronalen Architektursuche“. Dabei konzentrieren sich die Forscher auf eine sehr energieintensive KI-Methode für große Datenmengen: das maschinelle Lernen mit künstlichen neuronalen Netzen.  In einem neuronalen Netz kommunizieren die Neuronen über synaptische Schnittstellen miteinander. Beim Trainieren des neuronalen Netzes entstehen neue Verbindungen, während andere sich auflösen.

In künstlichen neuronalen Netzen laufen die Lernvorgänge ähnlich ab. Sie können mit Daten trainiert werden, um Muster in Sprache oder Bildern zu erkennen. Doch im Gegensatz zum Gehirn, das ein Meister der Energieeffizienz ist, braucht dieses Training viel Rechenleistung: Solche künstlichen neuronalen Netze sind das Ergebnis aufwendiger Handarbeit. Menschen stellen sie zusammen, justieren die Parameter immer wieder neu, bis schließlich gute Ergebnisse herauskommen.

Hier setzt das Saarbrücker Forscherteam mit der „Neuronalen Architektursuche“ an. „Statt die Zusammensetzung der neuronalen Netze manuell zu entwerfen, nutzen wir dieses Verfahren, bei dem die KI automatisch die beste Architektur findet“, erklärt Sabine Janzen.

Um ihre komprimierten KI-Modelle in der Praxis zu testen, arbeitet das Team von Wolfgang Maaß mit der Stahl Holding Saar zusammen. Die Aufgabe, die sie den künstlichen neuronalen Netzen beibringen wollen, ist, Stahlschrott zu sortieren. Auf dem Hüttengelände werden riesige Mengen verschiedensten Schrotts angeliefert, der sortiert werden muss.

Dies soll automatisch geschehen – bislang aber ist das KI-Modell gewaltig. „Wir komprimieren das visuelle Modell zur Schrottsortierung“, sagt Sabine Janzen. Die Forscherinnen und Forscher trainieren dafür ihre Modelle zunächst mit dem kompletten Datenpaket, in dem sämtliche Informationen enthalten sind. Im Anschluss komprimieren sie die KI-Modelle durch Wissensdestillation und speziell zusammengestellte neuronale Netze, sodass sie nur die wirklich erforderlichen Parameter enthalten. Ziel ist, dass die KI alles an Wissen enthält, um anhand von Kameraaufnahmen zu erkennen, welche Sorte Stahlschrott geliefert wurde.