Organisieren | Zheng Liyuan
Eintrag | CSDN (ID: CSDNnews)
„Haben Sie das Gefühl, dass die Qualität von GPT-4 in letzter Zeit nachgelassen hat?“
Bereits Mitte Mai dieses Jahres schrieben GPT-4-Benutzer im Online-Entwicklerforum von OpenAI, dass GPT-4 „dumm zu werden“ scheine:
„Ich verwende ChatGPT schon seit einiger Zeit und bin seit der Veröffentlichung von GPT-4 GPT Plus-Benutzer. Ich verwende GPT-4 im Allgemeinen, um bei der Analyse und Erstellung von Inhalten in Langform zu helfen. In der Vergangenheit GPT-4 schien gut zu funktionieren und meine Anfrage zu verstehen. Aber jetzt scheint es den Überblick über die Informationen zu verlieren, mir viele falsche Informationen zu geben und meine Anfrage immer mehr falsch zu interpretieren … Derzeit fühlt sich GPT-4 eher wie GPT an -3,5.
Ist das noch jemandem aufgefallen oder bin nur ich über dieses Problem gestolpert? "
Wie sich herausstellte, war der GPT-4-Benutzer nicht allein – mehrere Benutzer kommentierten den Thread: „Mir geht es genauso!“
Die problematische neue Version von GPT-4
Dem Feedback vieler Nutzer zufolge hat GPT-4 nicht nur bei der Analyse und Erstellung von Langform-Inhalten nachgelassen, sondern auch bei der Qualität des Schreibens.
Peter Yang, Produktleiter bei Roblox, twitterte, dass die Ausgabe des GPT-4-Modells schneller sei, die Qualität jedoch nachgelassen habe: „Nur einfache Probleme, wie zum Beispiel das Schreiben klarer und prägnanter zu gestalten und Ideen bereitzustellen … meiner Meinung nach.“ die Schreibqualität hat nachgelassen.“
Die Logikfähigkeit der neuesten Version von GPT-4 nimmt erheblich ab, wenn komplexe inverse Probleme, unterschiedliche Änderungsraten oder -muster und räumlich-zeitliche Variabilität diskutiert/bewertet werden.
„Vor dem GPT-4-Update habe ich selten Fehlermeldungen erhalten, aber jetzt muss ich alle Ausgaben noch einmal überprüfen (d. h. doppelt negative Bedingungen werden jetzt manchmal nicht richtig in positive Bedingungen umgewandelt). Ich denke, diese Fehler ähneln eher GPT – 3,5 anstelle des vorherigen GPT-4-Inferenzniveaus.“
Selbst im Hinblick auf die Kodierungsfähigkeit ist die Ausgabequalität der neuen Version von GPT-4 nicht mehr so gut wie zuvor.
Ein Entwickler, der GPT-4 zum Schreiben von Funktionscode für eine Website verwendet, beschwerte sich: „Das aktuelle GPT-4 ist sehr enttäuschend. Es ist, als würde man einen Monat lang einen Ferrari fahren, und dann wird er plötzlich zu einem alten Pickup. Ich bin mir nicht sicher, ob ich das möchte.“ Bezahlen Sie weiter dafür.
Ein anderer Entwickler erwähnte auch, dass GPT-4 jetzt Code ausschleift: „Völlig scheiße, GPT-4 fängt immer wieder an, Code oder andere Informationen auszuschleifen. Ich habe es Code schreiben lassen, und es hat an einem Punkt geschrieben, plötzlich ein „“, und dann von vorne anfangen! Im Vergleich zu vorher ist es jetzt ein Idiot.“
Darüber hinaus berichten Benutzer in den Online-Entwicklerforen von Twitter und OpenAI weiterhin darüber, dass die neue Version von GPT-4 die Logik geschwächt hat, viele Fehlerantworten generiert hat, die bereitgestellten Informationen nicht nachverfolgen konnte, den Anweisungen nicht gefolgt ist und vergessen hat, etwas einzuschreiben den grundlegenden Softwarecode. Klammern einfügen, sich nur die neuesten Erinnerungen merken und mehr.
In Bezug auf die Leistung des plötzlichen „Intelligenzverlusts“ von GPT-4 spekulierten einige Benutzer: „Die aktuelle Version fühlt sich ganz anders an als die Version, als sie gerade veröffentlicht wurde. Ich vermute, dass OpenAI Kompromisse bei der Qualität eingegangen ist, um mehr Kunden zufrieden zu stellen!“
Unter diesem Gesichtspunkt ist die Bewertung von GPT-4 durch Benutzer heute tatsächlich nicht so gut wie in der Spitzenzeit der „Windbewertung“, als es erstmals auf den Markt kam.
GPT-4 ist schneller, aber auch „dumm“
Ende letzten Jahres wurde ChatGPT auf Basis von GPT-3.5 geboren und seine hervorragende Generierungsfähigkeit löste einen AIGC-Boom aus. Als OpenAI im März dieses Jahres GPT-4 ankündigte, das leistungsfähiger als GPT-3.5 ist, die ganze Welt war erstaunt.
Damals wurde GPT-4 als „das leistungsstärkste KI-Modell der Geschichte“ bezeichnet, insbesondere wegen seiner Multimodalität, was bedeutet, dass es sowohl Bilder als auch Texteingaben verstehen kann, sodass es schnell zu einem beliebten Werkzeug für Entwickler und andere Technologiebranchen wurde Das Modell der Wahl für Profis hat auch mehr Lob für GPT-4 hervorgebracht: das Erstellen einer Website in 10 Sekunden, das Bestehen des schwierigsten amerikanischen Rechtstests und das Bestehen des MIT-Mathematiktests für Studenten mit voller Punktzahl …
Wenn die Menschen jedoch über die Leistungsfähigkeit von GPT-4 erstaunt sind, sind viele Menschen auch von den Kosten und der Reaktionsgeschwindigkeit schockiert. „GPT-4 ist langsam, aber sehr genau“, sagte Sharon Zhou, CEO von Lamini, einem Startup, das Entwickler bei der Erstellung maßgeschneiderter, umfangreicher Sprachmodelle unterstützt.
Bis Mai blieb GPT-4 „langsam und teuer, aber genau“ – später reagierte GPT-4 schneller und gleichzeitig stellten Benutzer den Leistungsabfall in Frage.
Für dieses Phänomen glauben mehrere KI-Experten, darunter Sharon Zhou, dass OpenAI möglicherweise mehrere kleinere GPT-4-Modelle entwickelt, die ähnlich funktionieren wie die größeren Modelle, deren Ausführung jedoch kostengünstiger ist.
Experten spekulieren: Es könnte mit der MoE-Technologie zusammenhängen
Laut Sharon Zhous Einführung wird diese Methode Mixture-of-Experts (MoE) genannt, also ein gemischtes Expertensystem. Die MoE-Technologie ist eine integrierte Lerntechnologie, die im Bereich neuronaler Netze entwickelt wurde, und stellt auch eine Schlüsseltechnologie für das Training von Modellen mit Billionen Parametern dar. Aufgrund der zunehmenden Größe des Modells in dieser Phase steigt auch der Trainingsaufwand MoE Die Technologie kann einen Teil des neuronalen Netzwerks dynamisch aktivieren und dadurch die Menge der Modellparameter erheblich erhöhen, ohne den Rechenaufwand zu erhöhen.
Insbesondere zerlegt MoE die Vorhersagemodellierungsaufgabe in mehrere Unteraufgaben, trainiert ein Expertenmodell (Expertenmodell) für jede Unteraufgabe und entwickelt ein Gating-Modell (Gating-Modell), das anhand der Eingabe vorhergesagt werden kann. Lernen Sie, welchen Experten Sie vertrauen können Prognoseergebnisse kombinieren.
Wie sieht es also aus, wenn die MoE-Technologie auf GPT-4 verwiesen wird? Sharon Zhou erklärte, dass in GPT-4 diese kleinen Expertenmodelle für verschiedene Aufgaben und Themenbereiche trainiert werden. Beispielsweise kann es kleine GPT-4-Expertenmodelle für Biologie, Physik, Chemie usw. geben. 4 Wenn eine Frage gestellt wird , weiß das neue System, an welches Expertenmodell es die Frage senden muss. Für alle Fälle könnte das neue System außerdem Abfragen an zwei oder mehr Expertenmodelle senden und die Ergebnisse dann zusammenführen.
Für diesen Ansatz beschrieb Sharon Zhou ihn als „Das Schiff des Theseus“ (ein Paradox über den Identitätsersatz, vorausgesetzt, dass die konstituierenden Elemente eines Objekts ersetzt werden, aber ist es immer noch das ursprüngliche Objekt?), das heißt, mit der Zeit OpenAI wird Teile von GPT-4 ersetzen: „OpenAI verwandelt GPT-4 in eine kleine Flotte.“
Basierend auf den obigen Spekulationen glaubt Sharon Zhou, dass die jüngsten „dummen“ Bemerkungen von GPT-4 wahrscheinlich mit der MoE-Trainingsmethode zusammenhängen: „Wenn Benutzer GPT-4 testen, werden wir viele verschiedene Fragen stellen, und der Umfang ist klein.“ Das GPT-4-Expertenmodell wird nicht so gut funktionieren, aber es sammelt unsere Daten und verbessert sich und lernt.“
**GPT-4-Architektur offengelegt? **
Mehrere KI-Experten veröffentlichten diese Woche auch sogenannte „GPT-4-Architekturdetails“, da das Feedback der Benutzer über die „Dummheit“ von GPT-4 zunahm.
Unter ihnen sagte ein Twitter-Blogger namens Yam Peleg, dass GPT-4 etwa 1,8 Billionen Parameter hat, 120 Schichten umfasst, mehr als zehnmal größer als GPT-3 ist und auf etwa 13T-Token trainiert wird. Das Training kostete etwa 63 Millionen US-Dollar. … Es ist erwähnenswert, dass Yam Peleg auch sagte, dass OpenAI MoE verwendet, um die Kosten für den GPT-4-Betrieb durch die Verwendung von 16 gemischten Expertenmodellen zu senken.
Bisher hat OpenAI nicht auf diese Aussage geantwortet. Aber Oren Etzioni, der Gründungs-CEO des Allen Institute for Artificial Intelligence, sagte den Medien: „Obwohl ich nicht bestätigt wurde, denke ich, dass diese Spekulationen ungefähr richtig sein sollten.“
Er erklärte, dass es im Allgemeinen zwei Gründe für die Verwendung der MOE-Methode gibt: Entweder Sie möchten eine bessere Antwort generieren, oder Sie möchten eine kostengünstigere und schnellere Antwort.
„Im Idealfall können Sie mit MOE beide Vorteile gleichzeitig nutzen, aber in der Realität müssen Sie normalerweise einen Kompromiss zwischen Kosten und Qualität eingehen.“ Auf dieser Grundlage glaubt Oren Etzioni, dass OpenAI in Kombination mit der aktuellen Situation scheint GPT -4 auf Kosten einiger Qualitätseinbußen zu reduzieren.
Was ist also Ihre Meinung zu diesem Thema?
Referenzlink:
