Wir befassen uns mit den Fortschritten und Grenzen der künstlichen Intelligenz, insbesondere mit der Entwicklung von Algorithmen, die menschliches Verhalten und Fähigkeiten nachbilden können. Die Diskussion konzentriert sich auf die Verwendung von Machine-Learning-Techniken, die von einfachen linearen Algorithmen zu komplexen neuronalen Netzen wie LSTMs (Long Short-Term Memory) und generativen Adversarial Networks (GANs) reichen. Der Schwerpunkt liegt auf dem Verständnis der Funktionsweise dieser Algorithmen, ihrer Anwendungen in verschiedenen Bereichen wie Robotik, Reinforcement Learning und Sprachverarbeitung, sowie auf den Herausforderungen, die bei der Entwicklung einer wirklich menschenähnlichen künstlichen Intelligenz bestehen.
In der heutigen Zeit erleben wir einen beispiellosen Hype um große Sprachmodelle wie ChatGPT. Viele Menschen sind beeindruckt von ihren Fähigkeiten und sehen in ihnen den Weg zur künstlichen allgemeinen Intelligenz (AGI). Doch Jürgen Schmidhuber, ein Pionier auf dem Gebiet der künstlichen Intelligenz, mahnt zur Vorsicht. In einem Interview teilt er seine tiefe Einsicht in die Welt der Algorithmen und erklärt, warum Kompression der Schlüssel zur wahren Intelligenz ist.
Schmidhuber argumentiert, dass große Sprachmodelle zwar beeindruckend sind, aber noch weit von echter Intelligenz entfernt sind. Er vergleicht sie mit dem “Baby Shark”-Song, der zwar Milliarden von Klicks generiert hat, aber mehrere Jahre dafür gebraucht hat.Im Gegensatz dazu haben Schmidhubers Algorithmen, wie das LSTM, bereits vor Jahrzehnten innerhalb weniger Tage eine ähnliche Anzahl von Klicks erzielt. Dies liegt daran, dass LSTMs in der Lage sind, Daten zu komprimieren und Muster zu erkennen, anstatt nur riesige Datenmengen zu verarbeiten.
Was bedeutet Kompression im Kontext der KI? Schmidhuber erklärt, dass die Fähigkeit, Daten zu komprimieren, eng mit dem Konzept der algorithmischen Information verbunden ist. Ein Algorithmus mit niedriger algorithmischer Information ist einfacher zu beschreiben und zu verstehen. Ein tiefes Netzwerk mit vielen Schichten und wenigen Gewichten benötigt weniger Informationen zur Codierung und ist daher effizienter. Je besser ein Algorithmus die Welt komprimieren kann, desto besser kann er sie verstehen und Vorhersagen treffen.
Schmidhuber veranschaulicht dies am Beispiel eines Videos von fallenden Bällen. Ein einfaches Modell, das die Schwerkraft versteht, kann dieses Video mit wenigen Bits komprimieren, da es die Flugbahn der Bälle vorhersagen kann. Ein komplexeres Modell, das die Schwerkraft nicht versteht, müsste jedes einzelne Bild des Videos speichern, was viel mehr Speicherplatz benötigt.
Schmidhubers Arbeit an LSTMs begann bereits in den frühen 1990er Jahren, als er an der Technischen Universität München forschte. Damals steckte das Feld der neuronalen Netze in einem sogenannten “Winter” fest, da es an Finanzierung und Interesse mangelte.Doch Schmidhuber und sein Team ließen sich nicht entmutigen und entwickelten das LSTM, das sich als bahnbrechende Erfindung erweisen sollte.
LSTMs sind heute die Grundlage für viele Anwendungen, die wir täglich nutzen, von maschinellen Übersetzungen über Spracherkennung bis hin zu Textgenerierung.Schmidhuber betont jedoch, dass dies erst der Anfang ist. Er sieht das Potenzial für noch viel leistungsfähigere Algorithmen, die auf den Prinzipien der Kompression und der algorithmischen Information basieren.
In Zukunft werden Algorithmen nicht nur in der Lage sein, Daten zu komprimieren, sondern auch selbstständig neue Algorithmen zu entwickeln, die noch besser komprimieren können.Dies wird zu einer neuen Ära der künstlichen Intelligenz führen, in der Maschinen in der Lage sind, Probleme zu lösen, die wir uns heute noch nicht einmal vorstellen können.
Schmidhubers Botschaft ist klar: Wahre Intelligenz basiert auf der Fähigkeit zur Kompression. Anstatt immer größere und komplexere Modelle zu bauen, sollten wir uns darauf konzentrieren, Algorithmen zu entwickeln, die die Welt auf eine grundlegendere Art und Weise verstehen.