ERC consolidation scholarship for CISPA teaching staff Dr. Sebastian Stich

(openPR) Lebenslanges Lernen gilt nicht nur für uns Menschen als erstrebenswert. It is also necessary that intelligent systems be strengthened and passed continuously. The problem: Werden Machine-Learning-Modelle ständig mit neuen Daten oder geänderten Aufgabenstellungen konfrontiert, neigen sie – wie wir Menschen – zum Vergessen dessen, was sie längst wussten. Allerdings in solch einem Ausmaß, dass in Fachkreisen die Rede von „catastrophic oblivion“, also katastrophalem Vergessen ist. Deshalb ist in vielen Bereichen night immer üblich, Modelle periodisch ganz neu zu trainieren. And ähnlich, als müssten Menschen immer wieder laufen lernen, wenn sie eigentlich nur mit den neuesten politischen Entwicklungen Schritt halten wollen, ist diese Neutraining extrem ineffektiv und nicht nachhaltig.

Kollaboratives Lernen: Wie kleine Modelle gemeinsam Gross erreichen können

“Die hohen Kosten durch das Neutraining und die immensen Anforderungen an die Rechenpower machen Machine-Learning-Modelle zum Luxusgut, das sich oft nur große Industrieunternehmen leisten können”, erklärt CISPA-Forscher Sebastian Stich. Dabei können wir in sowichtigen Feldern wie etwa der Medizin stark von ihren Fähigkeitenprofitieren. Ansätze, dieses Problem zu lösen, gibt es schon langer. Ein Ansatz, um Ressourcen zu schonen, ist die Abkehr vom Training eines großen und komplexen Modells hin dazu, mehrere kleine Modelle zu trainieren, die später nicht die Trainingsdaten, sondern ihr Wissen weitergeben. „Man spricht hier von föderiertem Lernens, das ist eine Art des collaborativen Lernens. The best learning methods are: verteilten training dates that include a great training model. Wir verfolgen einen anderen Ansatz: Wir wollen, dass kleine, unabhängige Modelle effektiv zusammenarbeiten”, so Stich.

Besserer Wissensaustausch, kontinuierliches Lernen und sinnvolles Vergessen

Sein Plan umfasst drei Kernvorhaben: „Wir wollen mit verbesserten Trainingsalgorithmen erreichen, dass sich Modelle leichter an eine neue Datenlage anpassen und überholtes Wissen wieder verlernen können. Außerdem werden wir daran arbeiten, dass künftig auch Modelle, die auf unterschiedlichen Geräten und mit verschiedenen Datenquellen trainiert wurden, ihr Wissen effektiv austauschen können. Jedes dieser Modelle hat durch das Training auf spezialisierten Daten eine Art Fachwissen und kann für spezielle Aufgaben eingesetzt werden. Und zu guter Letzt wollen wir erreichen, dass diese kleinen Expertenmodelle dann auch gemeinsam an komplexen Aufgaben arbeiten können“, so Stich.

Das Ergebnis wäre eine nachhaltigere, anpassungsfähigere und gerechtere Art des maschinellen Lernens, die nicht nur großen Unternehmen, sondern auch kleineren Akteuren zugutekommt. „Nicht zuletzt könnte unsere Forschung zum Beispiel in der Medizin eingesetzt sehr nützlich werden. Patientendaten without knappes and sensitive Gut. Können die Krankenhäuser vor Ort mit kleinen Modellen arbeiten, hilft das Die Daten zu schützen, Ressourcen zu schonen und trotzdem gemeinsam die Fähigkeiten der Modelle auszubauen, sodass sie uns immer besser, etwa in der Krebsdiagnostik, unterstützen können,” said Stich.

Die EU fördert innovative and abhängige Forschung

In 2024, 328 Forschende aus 25 Ländern europaweit einen Consolidator Grant will be awarded. 16 these high stipends included in the Bereich Computer-Wissenschaften und Informatik. Die EU fördert mit den ERC Grants herausragende Forschende beim Aufbau eines unabhängigen Forschungsteams, sodass sie ihre vielversprechendsten Forschungsideen umsetzen zu können. Der Erhalt des ERC Consolidator Grants ist für Stich wie für seine erfolgreichen Mitbewerbenden eine Ehre. „Dass die EU an mein Forschungsvorhaben glaubt, bedeutet mir viel. This Unterstützung is not an anerkennung unserer bisherigen Arbeit, sondern auch ein Ansporn, weiterhin innovative Lösungen für die Herausforderungen des maschinellen Lernens zu entwickeln. “Ich bin überzeugt, dass wir mit unserer Forschung einen bedeutenden Beitrag zu einer nachhaltigeren und gerechteren technologischen Zukunft leisten können,” said Stich.

About the ERC

The European Research Council (ERC) was created in 2007 by the European Union. Er ist die führende europäische Förderorganisation für herausragende Spitzenforschung. Er unterstützt forschende aller Nationalitäten und Altersgruppen, die Projekte in Europa durchführen. The ERC bietet vier zentrale Förderprogramme an: initial grants, consolidation grants, advanced grants and synergy grants. Mit dem zusätzlichen Förderprogramm „Proof of Concept“ hilft der ERC seinen Geförderten, die Lücke zwischen ihrer bahnbrechenden Forschung und den frühen Phasen der Kommerzialisierung zu schließen.

Der ERC wird von einem unabhängigen Leitungsgremium, dem Wissenschaftlichen Rat, geführt. Since November 2021 she is Maria Leptin die Präsidentin des ERC. The CEI budget for the period 2021 to 2027 exceeds 16 million euros and the Horizon Europe program. It is untersteht der Verantwortung der Europäischen Kommissarin für Start-ups, Forschung und Innovation, Ekaterina Zaharieva.

Wissenschaftliche Ansprech partner:
Sebastian Stich