Bildquelle: Erstellt vom Unbounded AI-Tool
Als ChatGPT einen weltweiten Hype auslöste, erlebte das dahinter stehende KI-Modell plötzlich einen Aufschwung. Jeder möchte wissen, welche Maße und Standards zur Bewertung des Niveaus eines großen Modells gelten?
Der Start von ChatGPT ermöglicht es uns, die Kluft zwischen China und den Vereinigten Staaten bei AIGC zu erkennen. Wie ist also der aktuelle Entwicklungsstand von Chinas großem Modell? Vor welchen Chancen und Herausforderungen steht Chinas groß angelegte Modellentwicklung in Zukunft?
Wir befinden uns derzeit in einer kritischen Phase für die Entwicklung allgemeiner künstlicher Intelligenz. Wie kann angesichts des Entwicklungstrends unabhängiger Forschung an großen Modellen durch verschiedene Institutionen die Effizienz der Rechenleistung verbessert und Duplikate auf niedriger Ebene effektiv vermieden werden?
Einige Leute in der Branche befürchten, dass KI Menschen zerstören wird. Ist diese Besorgnis unbegründet? Wie können wir Probleme verhindern, bevor sie auftreten, und die vorhersehbaren Ergebnisse und das kontrollierbare Verhalten der KI realisieren?
Mit verschiedenen Fragen zu AIGC interviewte das **Tencent Research Institute exklusiv Wu Hequan, einen Akademiker der Chinesischen Akademie für Ingenieurwissenschaften und einen maßgeblichen Experten auf dem Gebiet der Kommunikation in meinem Land. **
【Interviewer】
Niu Fulian Leitender Forscher, Tencent Research Institute
Wu Chunling Leitender Forscher am Tencent Research Institute
Wang Qiang Leitender Experte des Tencent Research Institute
(im Folgenden T genannt)
Der Gesamtumfang der vorhandenen Rechenleistung Chinas im Vergleich zu den Vereinigten Staaten: Es gibt eine Lücke, aber nicht groß
**T: Manche Leute sagen, dass die Entwicklung von Großmodellen in China ein bis zwei Jahre hinter dem Ausland zurückliegt. Was halten Sie von der aktuellen Entwicklung von Chinas Großmodellen? **
**Wu Hequan: **China begann später als die Vereinigten Staaten mit der Entwicklung von Großmodellen. Nach der Veröffentlichung von ChatGPT äußerten viele inländische Einheiten, dass sie generative Großmodelle entwickeln. Derzeit gibt es nur wenige davon Unternehmen wie Microsoft und Google in den Vereinigten Staaten. Im Vergleich zur groß angelegten Modellforschung gibt es in meinem Land mehr Einheiten, die groß angelegte Modelle entwickeln als in den Vereinigten Staaten, aber die große Anzahl von Forschungsthemen bedeutet nicht, dass China einen hohen Stellenwert hat Forschungs- und Entwicklungsniveau bei Großmodellen. Es wird gesagt, dass die Anzahl der Parameter eines großen inländischen Modells bis zu 1,75 Billionen beträgt und damit GPT-4 übertrifft, es gibt jedoch keine Berichte über seine Anwendung. **Obwohl einige chinesische Unternehmen behauptet haben, Chatbots ähnlich wie ChatGPT auf den Markt zu bringen, sind diese derzeit in Bezug auf die mehrsprachige Unterstützung nicht so gut wie ChatGPT und es besteht immer noch eine Lücke in Bezug auf die Reaktionsgeschwindigkeit im Hinblick auf die chinesischen Dialogfunktionen. **
**Wir bemerken jetzt nur ChatGPT, das auf generative Aufgaben abzielt und hauptsächlich die Sprachgenerierung wie Chatten und Schreiben abschließt. Das BERT-Modell von Google legt mehr Wert auf Urteilsvermögen und Entscheidungsfindung und betont das Sprachverständnis wie die Beantwortung von Fragen und die Extraktion semantischer Beziehungen. Aufgabe, Auch die Technologie des BERT-Modells verdient unsere Aufmerksamkeit. **Die Bewertung des Niveaus von Großmodellen sollte mehrdimensional sein, Vollständigkeit, Rationalität, Benutzerfreundlichkeit, Reaktionsgeschwindigkeit, Kosten, Energieeffizienz usw. **Im Allgemeinen besteht die Lücke zwischen der Entwicklung von Großmodellen beträgt in meinem Land und im Ausland 1-2 Jahre. Die Grundlage ist noch unklar und es ist nicht sinnvoll, diese Schlussfolgerung jetzt zu ziehen. **
Chinesische Unternehmen haben gegenüber ausländischen Unternehmen natürliche Vorteile, wenn es um den Erwerb eines chinesischen Korpus und Verständnisses der chinesischen Kultur geht. **China verfügt über die umfassendsten Produktionskategorien und günstige Bedingungen für die Ausbildung von AIGC für reale Branchen. Was die Rechenleistung angeht, verfügt China bereits über eine gute Basis. **Laut dem OpenAI-Bericht beträgt die zum Training des GPT3-Modells erforderliche Rechenleistung bis zu 3,64EFlops/Tag, was 3-4 Pengcheng Cloud Brain II entspricht (Pengcheng Cloud Brain II beträgt 1Eflops, also Dutzende). Milliarden von Gleitkommaberechnungen pro Sekunde). **Laut den Daten von Ende 2022 entfallen 36 % der weltweiten Rechenleistung auf die Vereinigten Staaten und 31 % auf China. Unter ihnen liegt China deutlich über den Vereinigten Staaten (laut den Daten). Ende 2021 macht der Umfang des intelligenten Computings in den Vereinigten Staaten 15 % des Gesamtumfangs des globalen intelligenten Computings aus, und China macht 26 % aus. Mein Land ist nicht nur ein großes Internetunternehmen mit beträchtlicher Rechenleistung, sondern auch Nationale Laboratorien und von einigen Stadtverwaltungen unterstützte Laboratorien verfügen ebenfalls über umfangreiche Rechenleistungsressourcen. Man kann sagen, dass China auch die für das Training großer Modelle erforderliche Rechenleistungsunterstützung erreichen kann. **Es wird davon ausgegangen, dass Pengcheng Lab Pengcheng Cloud Brain III entwickelt, das über eine Rechenleistung von 16EFlops verfügt, was dreimal höher ist als die von GPT-3. Es wird voraussichtlich 6 Milliarden Yuan kosten und weiterhin leistungsstarke Rechenleistung bieten Kraft für das Training künstlicher Intelligenz. Starke Unterstützung.
China AIGC Forschung und Entwicklung: Lücke erkennen, sich auf Herausforderungen konzentrieren und Innovationen einführen
**T: Welche Herausforderungen bestehen Ihrer Meinung nach zusätzlich zu unserer guten Grundlage in Sachen Rechenleistung beim Aufbau eines groß angelegten Modells in China? **
Wu Hequan: Rechenleistung allein reicht nicht aus. Wir stehen immer noch vor vielen Herausforderungen in den folgenden Aspekten:
**Zuallererst ist die Grundlage des großen Modells das Deep-Learning-Framework. Tensorflow und PyTorch in den Vereinigten Staaten pflegen seit vielen Jahren die Ökologie des Deep-Learning-Frameworks. Obwohl inländische Unternehmen das Deep-Learning-Framework auch unabhängig entwickelt haben, ist das Der Markttest reicht nicht aus und die Ökologie muss noch aufgebaut werden.
**Zweitens erfordert die Ausweitung von AIGC auf industrielle Anwendungen möglicherweise mehr als ein großes Modell. Die effiziente Integration mehrerer großer Modelle birgt Herausforderungen bei der Standardisierung und Datenfusion.
Drittens erfordern große Modelle ein umfangreiches Datentraining. China hat eine jahrtausendealte Zivilisation, aber die meisten der reichen Kulturgüter wurden nicht digitalisiert. Chinesisch macht weniger als 0,1 % des im ChatGPT-Training verwendeten Korpus aus. Obwohl die Internetunternehmen meines Landes über große Mengen an Netzwerkdaten wie E-Commerce, soziale Netzwerke und Suche verfügen, sind die Datentypen nicht umfassend genug und die Glaubwürdigkeit des Online-Wissens ist nicht strikt gewährleistet. Das kann der chinesische Korpus sein Für die Ausbildung genutzt, sind noch viele Bergbauarbeiten erforderlich.
Viertens wird der GPU-Chip, auf den das Training großer Modelle angewiesen ist, durch den A100-Chip von Nvidia repräsentiert, der Export des Chips nach China wurde jedoch von den Vereinigten Staaten eingeschränkt, und die Leistung inländischer GPUs muss noch weiter getestet werden. Ja, den gibt es immer noch eine Lücke in der Effizienz.
Fünftens: Es gibt in China nicht wenige Techniker, die in der KI-Forschung tätig sind, aber es mangelt immer noch an Talenten mit Architekturdesignfähigkeiten und AIGC-Datenschulungsanleitern. Vor dem Aufkommen von ChatGPT dachten einige Leute, dass die Zahl der Veröffentlichungen und Patente in China im Bereich KI mit der in den Vereinigten Staaten vergleichbar sei. **Durch die Einführung von ChatGPT haben wir die Kluft zwischen China und den Vereinigten Staaten bei AIGC erkannt. Jetzt Wir müssen die Herausforderungen, vor denen wir stehen, klar verstehen und ihnen Aufmerksamkeit schenken, echte Innovationen schaffen, Herausforderungen in Chancen verwandeln und Chinas Beitrag zur neuen Runde der KI leisten. **
Es wird empfohlen, die nationale Rechenleistungsplattform zu öffnen, um verschiedene groß angelegte Modellschulungen zu unterstützen
**T: ChatGPT ist zweifellos eine riesige Innovation. Wie sollte China Innovationen wie diese in Zukunft fördern und welche Arbeitsaspekte sollte es berücksichtigen? **
**Wu Hequan: **Die Entwicklung der künstlichen Intelligenz von der diskriminierenden zur generativen Intelligenz ist eine Meilensteininnovation und hat begonnen, in die Spur der allgemeinen künstlichen Intelligenz einzutreten. Von GPT-3 bis GPT-4 hat es sich von der Texteingabe zur teilweisen Grafikeingabe entwickelt, das heißt, es hat die Fähigkeit zum Verständnis von Grafiken erhöht. Auf dieser Grundlage ist es nicht weit, eine Deep-Learning-Architektur und ein allgemeines Modell zu implementieren zur Unterstützung der multimodalen Dateneingabe. Ja, aber die Aufgabenverallgemeinerung großer Modelle und die Verfeinerung des On-Demand-Aufrufs großer Modelle erfordern immer noch größere Investitionen und Innovationen. Unbeschriftetes und unbeaufsichtigtes Datenlernen für Grafiken und Videos ist viel schwieriger als Sprache und Texteingabe.
Wir befinden uns jetzt in einer kritischen Phase der Entwicklung hin zu allgemeiner künstlicher Intelligenz. Für unser Land ist dies eine seltene Chance für einen Entwicklungssprung, aber auch eine große Herausforderung. Rechenleistung, Modelle und Daten sind die notwendigen Voraussetzungen für den Erfolg von ChatGPT und werden auch die wesentlichen Faktoren für den Erfolg allgemeiner künstlicher Intelligenz sein. Darüber hinaus sind die innovativste Ökologie, der innovativste Mechanismus und die innovativsten Talente der Schlüssel. China ist in Bezug auf den Gesamtumfang der Rechenleistung mit den Vereinigten Staaten vergleichbar, aber die Koordination der Rechenleistung zwischen Rechenzentren steht immer noch vor institutionellen Herausforderungen, und die Auslastung und Effizienz der Rechenleistung in vielen intelligenten Rechenzentren ist nicht hoch. **Viele Einheiten erforschen große Modelle unabhängig voneinander, und Duplikate auf niedriger Ebene sind unvermeidlich. **Es wird empfohlen, eine gemeinsame Truppe mit einer angemessenen Arbeitsteilung unter Koordination der nationalen Wissenschafts-, Technologie- und Industriepläne zu bilden. Es wird empfohlen, die Rechenleistungsplattform des Nationallabors zu öffnen, um verschiedene groß angelegte Modellschulungen zu unterstützen. ** Beispielsweise hat die Rechenleistung von Pengcheng Cloud Brain 3/4 der Gesamtkapazität erreicht, was den Umfang von unterstützen kann 200 Milliarden Parameter vergleichbar mit GPT-3. Großes Open-Source-Modell in vorab trainierter chinesischer Sprache. **Gleichzeitig wird empfohlen, eine Rechenleistungsallianz zu bilden, um die Rechenleistungsressourcen vorhandener High-End-GPUs zu konzentrieren und die für das Training großer Modelldaten erforderliche Rechenleistung bereitzustellen. **Derzeit ist das „China Computing Power Network (C2NET)“, das hauptsächlich vom Pengcheng Laboratory aufgebaut wurde, mit mehr als 20 großen intelligenten Computer-, Super-Computing- und Rechenzentren verbunden, und die aggregierte heterogene Rechenleistung hat 3EFlops erreicht Bei ihnen übersteigt die selbst entwickelte KI-Rechenleistung 1,8EFlops. Darüber hinaus ist die Anwendung von Chatbots nur eine intuitive Möglichkeit, AIGC zu trainieren und zu testen, aber Chatten ist nicht nur erforderlich. Es ist notwendig, verschiedene Modelle für Industrieanwendungen auf der Grundlage großer Modelle zu entwickeln, um große Modelle in der Branche effektiv zu machen so schnell wie möglich. Fördern Sie mehr Talente in der Anwendung aller Lebensbereiche. **
Große Anwendungen in der Modellindustrie erfordern umfassende Talente, die sowohl Branchentechnologie als auch KI-Schulung verstehen
**T: Bisher haben wir die Anwendung von ChatGPT in einigen Bereichen gesehen, beispielsweise bei Chatbots, Textgenerierung und Spracherkennung. Wird es in Zukunft einige Anwendungsmöglichkeiten in der physischen Industrie und im physischen Bereich geben? Auf welche Hindernisse stößt die Anwendung großer Modelle in der physischen Industrie noch? **
**Wu Hequan: **Basierend auf den bestehenden ChatGPT-Chatbots können sie nach Ergänzung der einschlägigen Branchen- und Unternehmenswissensschulung intelligente Kundendienstarbeiten in Unternehmen durchführen und Mitarbeiter ersetzen, um Kunden Pre-Sales- und After-Sales-Services zu bieten. Im Design- und Herstellungsprozess, der Softwareprogrammierung erfordert, kann ChatGPT Programmierer ersetzen, die Programmieraufgaben erledigen und Softwarefehler überprüfen. Kann die Sammlung, Übersetzung und Anordnung von Dokumenten und Materialien übernehmen, die für den Design- und Produktionsprozess erforderlich sind. Nach einer professionellen Schulung können AIGC-ähnliche große Modelle zum Entwerfen von EDA-Software, beispielsweise Werkzeugsoftware für das IC-Design, verwendet werden. In Animations- und Spieleunternehmen können Roboter, die auf der Grundlage AIGC-ähnlicher großer Modelle trainiert wurden, Skripte schreiben, Spielskripte erstellen und diese entsprechend den Eingabeaufforderungen programmieren sowie das Rendern von 3D-Animationen abschließen.
ChatGPT ist jedoch kein allgemeines Modell und es ist schwierig, es direkt auf den Herstellungsprozess der realen Industrie anzuwenden. Es kann jedoch auf dem Prinzip des ChatGPT-Trainings basieren und den Wissensgraphen von Branchen und Unternehmen für In- Tiefenschulung. Es ist möglich, ein großes Modell für Unternehmen zu entwickeln, um dies zu vervollständigen. Die Herausforderung des ersten Jobs besteht darin, Talente zu benötigen, die nicht nur mit dem Upload-Prozess des Unternehmens und der Key-Link-Technologie vertraut sind, sondern auch die Big-Data-Schulung mit künstlicher Intelligenz beherrschen Technologie.
Von der Konzentration auf die Ergebnisse bis zur Konzentration auf den Prozess dominiert die Integration von Technologie und Rechtssystem den Argumentationsprozess von AIGC
**T:ChatGPT wird auch verschiedene Fehler machen und auch einige ethische, Sicherheits- und Datenschutzprobleme mit sich bringen. Wie können wir bei der zukünftigen Anwendung großer Modelle eine integrative und sichere Entwicklungsumgebung schaffen? **
**Wu Hequan:**Das Aufkommen der generativen KI hat die Aufmerksamkeit der Gesellschaft für künstliche Intelligenz auf ein beispielloses Niveau getrieben. Während die KI-Forschung in Wissenschaft und Industrie einen Aufschwung auslöste, befürchten viele Experten, dass künstliche Intelligenz Menschen zerstören wird Aufruf, die Forschung zu GPT-5 zu stoppen. Die Bedenken einiger Experten sind nicht unbegründet, da der Denkprozess von ChatGPT-Robotern derzeit undurchsichtig ist. Menschen haben ChatGPT erstellt, aber derzeit verstehen Menschen seinen Denkprozess nicht vollständig. Das Unerkennbare wird unkontrollierbar sein und es besteht das Risiko einer Roboteranomalie , ethische Anomie und außer Kontrolle geratenes Verhalten.
**Die Lösung besteht nicht darin, die Forschung zu künstlicher Intelligenz zu stoppen, sondern sich auf die AIGC-Forschung zu konzentrieren, anstatt sich auf Ergebnisse zu konzentrieren, ihren Argumentationsprozess so zu gestalten und zu leiten, dass Ergebnisse erwartet und Verhaltensweisen kontrolliert werden können. **Die Förderung und Anwendung des großen Modells in der Zukunft erfordert eine sichere und glaubwürdige Bewertung durch eine qualifizierte Institution, und der Argumentationsprozess des großen Modells ist nach der Prüfung nachvollziehbar. Gleichzeitig ist es notwendig, entsprechende KI-Governance-Gesetze und -Vorschriften zu erlassen, um irreführende AIGC-Schulungen zu verhindern, AIGC-Schulungsteilnehmer zur Rechenschaft zu ziehen und Anstiftung und Beihilfe zu Straftaten streng zu bestrafen. Durch die Komplementarität von Technologie und Rechtssystem ist künstliche Intelligenz zu einem wahrhaft treuen Helfer des Menschen geworden.
