Kürzlich hat sich ChatGPT zum neuen Hotspot für KI entwickelt, wobei Microsoft und Google im Silicon Valley stark in solche Technologien investieren (Microsoft ist mit 10 Milliarden US-Dollar an OpenAI beteiligt, dem Unternehmen hinter ChatGPT, und Google hat kürzlich sein eigenes BARD-Modell veröffentlicht). während Internet-Technologieunternehmen in China, vertreten durch Baidu und andere, ebenfalls angegeben haben, dass sie eine solche Technologie entwickeln und in naher Zukunft live gehen werden. In China haben Baidu und andere Internettechnologieunternehmen ebenfalls angegeben, dass sie solche Technologien entwickeln und in naher Zukunft live gehen werden.
Die von ChatGPT repräsentierten generativen Modelle haben ein gemeinsames Merkmal, das heißt, sie verwenden massive Daten für das Vortraining und werden oft mit einem leistungsfähigeren Sprachmodell gepaart. Die Hauptfunktion des Sprachmodells besteht darin, aus dem massiven vorhandenen Korpus zu lernen, und nach dem Lernen kann es die sprachlichen Anweisungen des Benutzers verstehen oder außerdem relevante Textausgaben gemäß den Anweisungen des Benutzers erzeugen.
Generative Modelle können grob in zwei Kategorien eingeteilt werden, eine sind sprachbasierte generative Modelle und die andere sind bildbasierte generative Modelle. Die sprachbasierten generativen Modelle werden durch ChatGPT repräsentiert, dessen Sprachmodell nicht nur lernen kann, die Bedeutung von Benutzerbefehlen zu verstehen (z. B. „Schreibe ein Gedicht im Stil von Li Bai“), sondern auch relevanten Text basierend auf dem Benutzer generieren kann Befehle nach dem Training mit massiven Daten (im obigen Beispiel das Schreiben eines Gedichts im Stil von Li Bai). Gedicht). Das bedeutet, dass ChatGPT über ein großes Sprachmodell (LLM) verfügen muss, das die Sprache des Benutzers versteht und eine qualitativ hochwertige Sprachausgabe erzeugen kann – das Modell muss beispielsweise verstehen, wie man Gedichte generiert, wie man Gedichte im Stil von Li Bai generiert , usw. Das bedeutet auch, dass große Sprachmodelle in der sprachbasierten generativen KI sehr viele Parameter benötigen, um diese Art von komplexem Lernen durchzuführen und sich so viele Informationen zu merken. ChatGPT zum Beispiel hat 175 Milliarden Parameter (700 GB Speicherplatz, wenn Standard-Gleitkommazahlen verwendet werden), was zeigt, wie "groß" sein Sprachmodell ist.
Eine weitere Klasse generativer Modelle ist das durch Diffusion repräsentierte Bilderzeugungsmodell, typischerweise Dalle von OpenAI, ImaGen von Google und derzeit das beliebteste Stable Diffusion von Runway AI. Diese bildähnlichen Erzeugungsmodelle verwenden auch ein Sprachmodell, um die Sprachbefehle des Benutzers zu verstehen und dann basierend auf diesen Befehlen qualitativ hochwertige Bilder zu erzeugen. Im Gegensatz zu sprachbasierten generativen Modellen verwendet das hier verwendete Sprachmodell hauptsächlich Sprache, um Benutzereingaben zu verstehen, ohne eine Sprachausgabe zu erzeugen, sodass die Anzahl der Parameter recht gering sein kann (in der Größenordnung von einigen hundert Millionen), während die Anzahl der Parameter für bildbasierte Diffusionsmodelle ist relativ klein, insgesamt in der Größenordnung von einigen Milliarden, aber der Rechenaufwand ist nicht gering, da die Auflösung der erzeugten Bilder oder Videos sehr hoch sein kann.
Generative Modelle können durch massives Datentraining eine beispiellos hochwertige Ausgabe erzeugen, und es gibt bereits eine Reihe klarer Anwendungsmärkte, darunter Suche, Dialog-Bots, Bildgenerierung und -bearbeitung usw. Für die Zukunft werden weitere Anwendungen erwartet, was auch die Nachfrage nach verwandte Chips.
Die Notwendigkeit von Chips zum Generieren von Klassenmodellen
Wie bereits erwähnt, stellt ChatGPT ein generatives Modell dar, das aus großen Mengen an Trainingsdaten lernen muss, um qualitativ hochwertige generative Ergebnisse zu erzielen. Um effizientes Training und Inferenz zu unterstützen, haben generative Modelle ihre eigenen Anforderungen an verwandte Chips.
Der erste ist die Notwendigkeit einer verteilten Berechnung; Die Anzahl der Parameter für sprachgenerative Modelle wie ChatGPT geht in die Hunderte von Milliarden, und es ist fast unmöglich, Einzelcomputertraining und Inferenz zu verwenden, aber es muss eine Menge verteilter Berechnungen verwendet werden. Beim verteilten Rechnen hat die Datenverbindungsbandbreite zwischen Maschinen und dem Rechenchip für ein solches verteiltes Rechnen (wie RDMA) eine große Nachfrage, da der Engpass der Aufgabe oft nicht im Rechnen liegt, sondern in der oben genannten Datenverbindung, insbesondere in Bei dieser Art des verteilten Rechnens im großen Maßstab ist der Chip für die effiziente Unterstützung des verteilten Rechnens wichtiger geworden.
Als nächstes ist die Speicherkapazität und Bandbreite. Obwohl verteiltes Training und Inferenz für sprachbasierte generative Modelle unvermeidlich sind, bestimmen der lokale Speicher und die Bandbreite jedes Chips weitgehend die Ausführungseffizienz eines einzelnen Chips (weil der Speicher jedes Chips bis zu seiner Grenze verwendet wird). Bei bildbasierten generativen Modellen ist es möglich, die Modelle (ca. 20 GB) alle im Speicher des Chips abzulegen, aber da sich bildbasierte generative Modelle in Zukunft weiterentwickeln, ist es wahrscheinlich, dass auch der Speicherbedarf weiter steigen wird . Aus dieser Perspektive wird die von HBM vertretene Speichertechnologie mit ultrahoher Bandbreite zur unvermeidlichen Wahl für verwandte Beschleunigerchips, während die Modelle der generativen Klasse auch den HBM-Speicher beschleunigen werden, um die Kapazität und Bandbreite weiter zu erhöhen. Neben HBM haben auch neue Speichertechnologien wie CXL in Verbindung mit Softwareoptimierungen das Potenzial, die Kapazität und Leistung lokaler Speicher in solchen Anwendungen zu erhöhen, und es wird geschätzt, dass sie durch den Aufstieg des generativen Klassenmodells eine stärkere industrielle Akzeptanz erreichen werden.
Schließlich haben sowohl sprachbasierte als auch bildbasierte generative Klassenmodelle einen großen Rechenbedarf, und bildbasierte generative Modelle können einen viel höheren Bedarf an arithmetischer Leistung haben, da sie immer höhere Auflösungen erzeugen und sich in Richtung Videoanwendungen bewegen - aktuell Mainstream-Bilderzeugungsmodelle haben ein Rechenvolumen von etwa 20 TFlops, und in Bezug auf hohe Auflösung und Bilder sind wahrscheinlich 100-1000 TFLOPS arithmetischer Bedarf die Norm.
Zusammenfassend glauben wir, dass die Anforderungen an generative Modelle für Chips verteiltes Computing, Speicherung und Berechnung umfassen, was alle Aspekte des Chipdesigns umfassen kann, und, was noch wichtiger ist, wie alle diese Anforderungen auf sinnvolle Weise miteinander kombiniert werden können um sicherzustellen, dass ein einzelner Aspekt nicht zu einem Engpass wird, der auch zu einem Problem der Chipdesign-Systemtechnik wird.
GPU und dem neuen AI-Chip, wer hat bessere Chancen
Generative Modelle haben eine neue Nachfrage nach Chips. Wer hat eine bessere Chance, diese neue Nachfrage und den neuen Markt für GPUs (vertreten durch Nvidia und AMD) und neue KI-Chips (vertreten durch Habana, GraphCore) zu erobern?
Erstens sind aus Sicht sprachbasierter generativer Modelle GPU-Anbieter, die derzeit über ein vollständiges Layout in dieser Art von Ökologie verfügen, aufgrund der großen Anzahl von Teilnehmern und der Notwendigkeit einer guten Unterstützung für verteiltes Rechnen vorteilhafter. Dies ist ein systemtechnisches Problem, das eine vollständige Software- und Hardwarelösung erfordert, und in dieser Hinsicht hat Nvidia seine GPUs kombiniert, um die Triton-Lösung auf den Markt zu bringen, die verteiltes Training und verteilte Inferenz unterstützt und es ermöglicht, ein Modell in mehrere Teile zu unterteilen und zu verarbeiten auf verschiedenen GPUs, wodurch das Problem zu vieler Parameter gelöst wird, die nicht im Hauptspeicher einer GPU untergebracht werden können. Damit wird das Problem zu vieler Parameter für den Hauptspeicher einer GPU gelöst. Egal, ob Sie Triton direkt verwenden oder in Zukunft auf Basis von Triton weiterentwickeln, es ist bequemer, eine vollständig ökologische GPU zu haben. Aus rechnerischer Sicht hat der neue KI-Chip aus dieser Sicht keinen offensichtlichen Vorteil gegenüber der GPU, da die Hauptberechnung des sprachbasierten Generierungsmodells die Matrixberechnung ist, was die Stärke der GPU ist.
Aus Sicht bildbasierter Generierungsmodelle ist die Anzahl der Parameter solcher Modelle zwar ebenfalls groß, aber um ein bis zwei Größenordnungen kleiner als die sprachbasierten Generierungsmodelle, zudem wird deren Berechnung noch in großem Umfang genutzt Anzahl von Faltungsberechnungen, also Inferenzanwendungen, wenn Sie eine sehr gute Optimierung durchführen können, haben KI-Chips möglicherweise einige Möglichkeiten. Hier umfasst die Optimierung eine große Menge an Speicher auf dem Chip, um Parameter und Zwischenberechnungsergebnisse für die Faltung und effiziente Unterstützung von Matrixoperationen aufzunehmen.
Im Allgemeinen ist die aktuelle Generation von KI-Chips darauf ausgelegt, auf kleinere Modelle abzuzielen (Anzahl der Parameter auf Milliardenebene, Berechnung auf 1TOPS-Ebene), während die Nachfrage nach generativen Modellen immer noch relativ größer ist als das ursprüngliche Designziel. GPUs sind so konzipiert, dass sie auf Kosten der Effizienz flexibler sind, während KI-Chips darauf ausgelegt sind, das Gegenteil zu tun und die Effizienz der Zielanwendung zu verfolgen. Daher glauben wir, dass GPUs eine solche generative Modellbeschleunigung in den nächsten ein oder zwei Jahren noch dominieren werden, aber da generative Modelldesigns stabiler werden und KI-Chipdesigns Zeit haben, mit generativen Modelliterationen Schritt zu halten, haben KI-Chips die Möglichkeit, GPUs zu übertreffen im generativen Modellraum aus Effizienzsicht.
