Die enorme Größe von Datensätzen und die Anzahl der Berechnungen, die zum Trainieren von Machine Learning-Algorithmen erforderlich sind, führen zu einer massiven Arbeitsbelastung von Cloud-Servern mit einem erheblichen Kohlenstoff-Fußabdruck. Das europäische Projekt SustainML soll einen innovativen Entwicklungsrahmen schaffen, der KI-Entwicklern hilft, den Stromverbrauch ihrer Anwendungen zu senken, so das französische Forschungsinstitut Inria in einer Pressemitteilung.
Laut einer in der Zeitschrift Nature veröffentlichten Studie stößt ein herkömmliches Trainingsmodell für die Verarbeitung natürlicher Sprache im Jahr 2019 300.000 kg CO2 aus, was 125 Hin- und Rückflügen zwischen New York und Peking entspricht. Fünf Jahre später werden tiefe neuronale Netze in allen Bereichen der Gesellschaft eifrig genutzt, und mit der Zunahme der künstlichen Intelligenz in einem noch nie dagewesenen Ausmaß steigt auch die Belastung für den Planeten.
Vor diesem Hintergrund besteht das Hauptziel des europäischen Projekts SustainML darin, einen Rahmen zu schaffen, der es den Entwicklern von KI erleichtert, den Energieverbrauch ihrer Anwendungen für maschinelles Lernen bei der Entwicklung zu berücksichtigen. Janin Koch, Wissenschaftlerin des Ex-Situ-Projektteams, das dem Inria Saclay Centre angegliedert ist, geht genauer darauf ein, wie die Mensch-Computer-Interaktion (HCI) genutzt werden kann, um KI-Designer dabei zu unterstützen, über den gesamten ML-Lebenszyklus hinweg nachhaltigere Entscheidungen zu treffen und das Bewusstsein für das Kosten-Nutzen-Verhältnis hinter jeder dieser Entscheidungen zu schärfen. Das Projekt begann im Oktober 2022 und schließt Inria und andere Parteien ein.
Quantifizierung der Kohlenstoffauswirkungen von Modellen des maschinellen Lernens
Das Projekt umfasst verschiedene Forschungsbereiche. Ein Eckpfeiler ist die Quantifizierung der Umweltauswirkungen von Algorithmen und, genauer gesagt, der Folgen jeder Entscheidung, die während des gesamten Lebenszyklus von ML getroffen wird. Wenn man sich beispielsweise dafür entscheidet, ein ML-Modell in einer Cloud-Einrichtung zu trainieren, die mit nicht fossilem, erneuerbarem Strom aus Wasserkraft betrieben wird, anstatt in einem Rechenzentrum, das mit einem Kohlekraftwerk betrieben wird, dann macht das natürlich einen großen Unterschied bei den Kohlenstoffemissionen.
Das ist jedoch noch nicht das Ende der Geschichte. Es ist ein viel umfassenderes Problem als nur die Wahl einer sauberen Cloud”, so Janin Koch, “es geht darum, zu überdenken, was wir wirklich brauchen. “Der Trend in der KI-Gemeinschaft geht dahin zu sagen: Je mehr Daten, je komplexer das Modell, desto besser die Endergebnisse. Das ist bis zu einem gewissen Grad nicht ganz unbegründet, vor allem, wenn es um komplexe Probleme geht. Viele Anwendungen erfordern jedoch nicht unbedingt dieses Maß an Genauigkeit oder diese Menge an Daten. Bevor wir also ein KI-Projekt in Angriff nehmen, sollten sich Wissenschaftler fragen: “Was brauche ich wirklich?
Gibt es nachhaltigere Alternativen, die weniger Daten benötigen oder weniger Laufzeit benötigen? Könnte ich, anstatt große Datenmengen zu sammeln, nicht einfach vorhandene Datensätze wiederverwenden/umfunktionieren? Sollte ich ein Modell von Grund auf neu erstellen und trainieren, oder kann ich ein Modell wiederverwenden, das bereits in Code-Repositories verfügbar ist? Ist es wirklich notwendig, mein Modell über einen langen Zeitraum laufen zu lassen? “Letztendlich geht es nicht nur um die Verbesserung eines Algorithmus, sondern auch um die Verbesserung des gesamten Lebenszyklus einer Anwendung.”
Menschenzentrierter interaktiver Rahmen
Das Projekt will nicht nur das Bewusstsein für Nachhaltigkeitskompromisse schärfen, sondern auch ein interaktives Werkzeug schaffen, das Entwicklern hilft, in jeder Phase des Entwicklungsprozesses nachhaltigere Entscheidungen zu treffen. Und genau hier kommt Kochs Beitrag ins Spiel. “Mein Forschungsgebiet ist die Mensch-Computer-Interaktion. Ich interessiere mich dafür, wie Menschen und Systeme zusammenarbeiten können, um neue Ideen zu erforschen. HCI umfasst sowohl die Art und Weise, wie Benutzer einem System ihre Ziele mitteilen, als auch die Art und Weise, wie Systeme Vorschläge machen und diese iterativ erklären.”
“Im Zusammenhang mit diesem Projekt bedeutet dies: Was wissen die Entwickler, bevor sie ein Projekt beginnen, und wie könnten sie einem System das Gesamtziel beschreiben? Das kann mitunter recht vage sein. Daher überlegen wir, wie Systeme dabei helfen können, herauszufinden, was zur Erreichung eines bestimmten Ziels erforderlich ist und welche Ansätze dafür geeignet wären.”
Damit ein solches Werkzeug funktioniert, muss es dem Benutzer erklären können, wie eine Entscheidung zustande kommt, wie eine Schlussfolgerung gezogen wird, wie eine Einschränkung durchgesetzt wird. “Dieser Prozess ist tatsächlich recht anspruchsvoll. Wenn ein Algorithmus behauptet, dass eine bestimmte Entscheidung zu 80 % besser ist, was bedeutet das für den Benutzer? Das ist nicht die Art und Weise, wie Menschen die Dinge verstehen”. Stattdessen schlägt sie vor, Erklärungen in den Kontext der Projektziele und des Prozesses des Nutzers zu stellen, um diese Erklärungen sinnvoller zu gestalten.
Es wird erwartet, dass das SustainML-Projekt einen bedeutenden Einfluss auf die so genannte “Demokratisierung der grünen KI” haben wird, indem es nicht nur Tech-Giganten, sondern auch KMUs, private Enthusiasten, NGOs und einzelne Innovatoren in die Lage versetzt, KI auf eine nachhaltigere Weise zu entwickeln.