Bei einer MIT-Veranstaltung im März sagte Sam Altman, Mitbegründer und CEO von OpenAI, dass sein Team seine nächste KI, GPT-5, noch nicht trainiere. „Wir sind es nicht und werden es auch für einige Zeit nicht tun“ sagte er dem Publikum.

Diese Woche wurden jedoch neue Details zum Status von GPT-5 bekannt.

In einem Interview, Altman erzählte dem Financial Times Das Unternehmen arbeitet derzeit an der Entwicklung von GPT-5. Obwohl in dem Artikel nicht angegeben wurde, ob sich das Modell im Training befindet – was wahrscheinlich nicht der Fall ist – sagte Altman, dass es mehr Daten benötige. Die Daten würden aus öffentlichen Online-Quellen stammen – so wurden solche Algorithmen, sogenannte große Sprachmodelle, früher trainiert – und proprietären privaten Datensätzen.

Dies stimmt mit überein Der Aufruf von OpenAI letzte Woche für Organisationen zur Zusammenarbeit an privaten Datensätzen sowie an früheren Arbeiten zum Erwerb wertvoller Inhalte von großen Verlagen wie dem Associated Press und Nachrichten Corp. In einem Blogbeitrag, tDas Team sagte, dass es bei Text, Bildern, Audio oder Video zusammenarbeiten möchte, aber besonders an „langen Texten oder Gesprächen statt unzusammenhängenden Schnipseln“ interessiert sei, die „menschliche Absichten“ zum Ausdruck bringen.

Es ist keine Überraschung, dass OpenAI nach höherwertigen Quellen sucht, die nicht öffentlich verfügbar sind. Der extreme Datenbedarf der KI ist ein Knackpunkt in ihrer Entwicklung. Der Aufstieg der großen Sprachmodelle hinter Chatbots wie ChatGPT wurde durch immer größere Algorithmen vorangetrieben, die mehr Daten verbrauchen. Von beiden ist es möglich, dass noch mehr Daten von höherer Qualität kurzfristig zu besseren Ergebnissen führen können. Aktuelle Forschung schlägt vor, dass kleinere Modelle größere Datenmengen speisten Leistung genauso gut oder sogar besser als größere Modelle, die weniger gefüttert werden.

„Das Problem ist, dass gute Prosa wie andere hochwertige menschliche Kulturprodukte zu den am schwierigsten zu produzierenden Dingen im bekannten Universum zählt.“ Ross Andersen schrieb ein Der Atlantik dieses Jahr. „Es ist nicht in unbegrenzter Menge vorhanden, und für KI reicht kein alter Text aus: Große Sprachmodelle, die auf Büchern trainiert wurden, sind viel bessere Autoren als diejenigen, die auf riesigen Mengen von Social-Media-Beiträgen trainiert wurden.“

Nachdem wir einen Großteil des Internets durchforstet haben, um GPT-4 zu trainieren, scheint es, dass die tief hängenden Früchte größtenteils gepflückt wurden. Ein Forscherteam schätzte letztes Jahr das Angebot an öffentlich zugänglichen, Hochwertige Online-Daten würden bis 2026 zur Neige gehen. Eine Möglichkeit, dies zumindest kurzfristig zu umgehen, besteht darin, Geschäfte mit den Eigentümern privater Informationshorden abzuschließen.

Das Rechnen ist ein weiteres Hindernis, das Altman im Interview anspricht.

Foundation-Modelle wie GPT-4 von OpenAI erfordern große Mengen an Grafikprozessoren (GPUs), eine Art spezialisierter Computerchip, der häufig zum Trainieren und Ausführen von KI verwendet wird. Der Chiphersteller Nvidia ist der führende Anbieter von GPUs und seit der Einführung von ChatGPT waren seine Chips das heißeste Gut in der Technologiebranche. Altman sagte, sie hätten kürzlich eine Charge der neuesten H100-Chips des Unternehmens erhalten und er rechnet damit, dass das Angebot im Jahr 2024 noch weiter zurückgehen wird.

Neben einer höheren Verfügbarkeit scheinen die neuen Chips auch schneller zu sein.

In Tests, die diese Woche veröffentlicht wurden von KI-Benchmarking-Organisation MLPerf, trainierten die Chips große Sprachmodelle fast dreimal schneller als die Marke, die noch vor fünf Monaten festgelegt wurde. (Seit MLPerf vor fünf Jahren erstmals mit dem Benchmarking von KI-Chips begann, hat sich die Gesamtleistung um den Faktor 49 verbessert.)

Zwischen den Zeilen lesen – was mit der Zeit immer anspruchsvoller geworden ist Die Industrie ist weniger transparent geworden– Bei der GPT-5-Arbeit, auf die Altman anspielt, geht es wahrscheinlich mehr um die Zusammenstellung der notwendigen Zutaten als um das Training des Algorithmus selbst. Das Unternehmen arbeitet daran, die Finanzierung durch Investoren zu sichern –Das Training von GPT-4 kostete über 100 Millionen US-Dollar– Chips von Nvidia und hochwertige Daten von überall dort, wo sie in die Finger kommen.

Altman hat sich nicht auf einen Zeitplan für die Veröffentlichung von GPT-5 festgelegt, aber selbst wenn das Training bald beginnen würde, würde der Algorithmus noch eine Weile nicht das Licht der Welt erblicken. Je nach Größe und Gestaltung kann die Schulung Wochen oder Monate dauern. Dann müsste der Rohalgorithmus von vielen Leuten einem Stresstest unterzogen und verfeinert werden, um ihn sicher zu machen. Es hat das Unternehmen gekostet acht Monate, um GPT-4 nach dem Training zu polieren und freizugeben. Und obwohl die Wettbewerbslandschaft jetzt intensiver ist, ist es auch erwähnenswert, dass GPT-4 fast drei Jahre nach GPT-3 auf den Markt kam.

Aber es ist am besten, sich nicht zu sehr auf Versionsnummern zu konzentrieren. OpenAI treibt seine aktuelle Technologie immer noch aggressiv voran. Vor zwei Wochen, bei seiner erste Entwicklerkonferenz, führte das Unternehmen benutzerdefinierte Chatbots, sogenannte GPTs, sowie GPT-4 Turbo ein. Der verbesserte Algorithmus umfasst aktuellere Informationen – wodurch der Grenzwert von September 2021 auf April 2023 verlängert wird –, kann mit viel längeren Eingabeaufforderungen arbeiten und ist für Entwickler kostengünstiger.

Und die Konkurrenz ist OpenAI dicht auf den Fersen. Google DeepMind ist arbeitet derzeit an seinem nächsten KI-Algorithmus, Zwillinge und Big Tech sind stark investieren in anderen führenden Startups wie Anthropic, Character.AI und Inflection AI. All diese Aktion hat Regierungen achten auf Vorschriften Sie hoffen, die kurzfristigen Risiken, die durch algorithmische Voreingenommenheit, Datenschutzbedenken und Verletzungen von Rechten des geistigen Eigentums entstehen, verringern und zukünftige Algorithmen sicherer machen zu können.

Längerfristig ist jedoch nicht klar, ob die mit großen Sprachmodellen verbundenen Mängel durch mehr Daten und größere Algorithmen behoben werden können oder ob neue Durchbrüche erforderlich sind. In einem September-Profil, Wired's Steven Levy schrieb, OpenAI sei sich noch nicht sicher, was zu einer „exponentiell starken Verbesserung“ gegenüber GPT-4 führen würde.

„Das Größte, was uns fehlt, ist die Entwicklung neuer Ideen“, sagte Greg Brockman, Präsident von OpenAI, zu Levy. „Es ist schön, etwas zu haben, das ein virtueller Assistent sein könnte.“ Aber das ist nicht der Traum. Der Traum besteht darin, uns bei der Lösung von Problemen zu helfen, die wir nicht lösen können.“

Es war Googles 2017 Erfindung der Transformatoren Das brachte den aktuellen Moment in der KI. Mehrere Jahre lang haben Forscher ihre Algorithmen größer gemacht, ihnen mehr Daten zugeführt, und diese Skalierung führte zu fast automatischen, oft überraschenden Leistungssteigerungen.

Aber bei der MIT-Veranstaltung im März sagte Altman, er habe das gedacht Das Zeitalter der Skalierung war vorbei und Forscher würden andere Wege finden, um die Algorithmen zu verbessern. Es ist möglich, dass sich sein Denken seitdem geändert hat. Es ist auch möglich, dass GPT-5 besser ist als GPT-4, so wie das neueste Smartphone besser ist als das letzte und die Technologie, die den nächsten Schritt ermöglicht, noch nicht geboren ist. Altman scheint sich auch nicht ganz sicher zu sein.

„Bis wir dieses Modell trainieren, ist es für uns wie ein lustiges Ratespiel“, sagte er FT. „Wir versuchen, darin besser zu werden, weil ich denke, dass es aus Sicherheitsgründen wichtig ist, die Fähigkeiten vorherzusagen. Aber ich kann Ihnen nicht genau sagen, was es tun wird, was GPT-4 nicht getan hat.“

In der Zwischenzeit scheinen wir mehr als genug zu haben, um uns zu beschäftigen.

Bild-Kredit: Maxim Berge / Unsplash

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://singularityhub.com/2023/11/15/openai-ceo-sam-altman-says-his-company-is-now-building-gpt-5/