2012'de AI çevresinde iki büyük etkinlik gerçekleşti: Kronolojik sırayla, ilki, uzun süredir devam eden bir Google ekibi olan Google Brain'in "ilk çalışması" - derin bir öğrenme ağı "Google Cat" olarak piyasaya sürülmesiydi. " %74,8 tanıma ile kedileri tanıyabilen Doğruluk oranı, geçen yıl ünlü görüntü tanıma yarışması ImageNet'in kazanan algoritmasının %74'ünden %0,8 daha yüksektir.
Ancak Google'ın yüksek profilli anları yalnızca birkaç ay sürdü. Aralık 2012'de en son ImageNet'in galibi yayınlandı Derin öğrenme ustası Hinton ve müritleri, tanıma doğruluk oranını %84'e çıkaran evrişimli sinir ağı AlexNet'i getirdi ve böylece bir sonraki AI devrimini başlattı. Google Cat tarihin tozuna gömüldü.
İki öğrenciyle Hinton, 2012
Endüstriyi şok eden sadece ImageNet modelinin kendisi değildi. 14 milyon resim ve toplam 262 petaflop kayan nokta işlemi gerektiren bu sinir ağı, bir haftalık eğitim boyunca yalnızca dört adet NVIDIA Geforce GTX 580 kullandı. Başvuru için, Google Cat 10 milyon resim, 16.000 CPU ve 1.000 bilgisayar kullandı. [1] .
Google'ın da bu yıl yarışmaya gizlice katıldığı ve aldığı şokun bir sonraki eyleme doğrudan yansıdığı söyleniyor: Google, Hinton ekibini satın almak için 44 milyon dolar harcadı ve hemen Nvidia'ya çok sayıda GPU siparişi verdi. yapay zeka için Eğitim ve aynı zamanda "süpürme malları" da Microsoft ve Facebook gibi devlerdir.
** Nvidia en büyük kazanan oldu ve hisse senedi fiyatı önümüzdeki 10 yılda maksimum 121 kat arttı. Bir imparatorluk doğuyor. **
Ancak imparatorluğun üzerinde yavaş yavaş iki kara bulut toplandı. O zamanlar Nvidia'dan ürün satın alan Google, üç yıl sonra AlphaGo ile çarpıcı bir çıkış yaptı ve 2017'de insan şampiyonu Ke Jie'yi mağlup etti. Hevesli kişiler, AlphaGo'yu çalıştıran çipin artık Nvidia'nın GPU'su değil, Google'ın kendi geliştirdiği TPU çipi olduğunu keşfetti.
Üç yıl sonra benzer bir senaryo tekrarlandı. Bir zamanlar Huang Renxun tarafından bir kıyaslama müşterisi olarak kabul edilen Tesla, Nvidia GPU'ya da veda etti.Önce çekirdeği NPU olan FSD araç çipini piyasaya sürdü ve ardından AI eğitim kümeleri oluşturmak için kullanılan D1 çipini çıkardı.Li, iki tanesini kaybetti. AI çağındaki en önemli müşteriler.
2022 yılına kadar, küresel BT döngüsü düşüş aşamasına girecek.Büyük bulut bilişim şirketleri, veri merkezleri için GPU satın alma bütçelerini birbiri ardına azaltacak. A100/H100'ü Çin'e satmak imkansız.Üst düzey grafik kartları için Nvidia'nın envanteri arttı ve hisse senedi fiyatı zirveden 2/3 düştü.
2022'nin sonunda ChatGPT doğdu ve büyük ölçekli "simyanın" yakıtı olan GPU'lar yeniden yağmalandı.Nvidia bir mühlet aldı, ancak bunu üçüncü kara bulut izledi: 18 Nisan 2023'te ünlü teknoloji medyası The Information şu haberi verdi:* Bu yapay zeka dalgasını başlatan Microsoft, gizlice kendi yapay zeka çipini geliştiriyor* [2] .
Athena adındaki bu çip, TSMC tarafından üretilmiş ve gelişmiş bir 5nm süreci kullanıyor.Microsoft'un Ar-Ge ekibinin sayısı 300'e yakın. Açıkçası, bu çipin amacı pahalı A100/H100'ün yerini almak, OpenAI için bir bilgi işlem gücü motoru sağlamak ve sonunda Microsoft'un Azure bulut hizmeti aracılığıyla Nvidia'nın pastasını kapmak.
Microsoft şu anda Nvidia'nın H100'ünün en büyük alıcısı ve hatta H100'ün tam yıllık üretim kapasitesini "tamamlayacağı" söylendi. Microsoft'tan gelen ayrılık sinyali hiç şüphesiz maviden bir şimşek.Bilmelisiniz ki Intel en karanlık döneminde bile, hiçbir müşterisi kendi CPU yongalarını yapmaya "cesaret" edemez (bunları harici olarak satmayan Apple hariç). .
Nvidia şu anda GPU+NVlink+CUDA ile AI bilgi işlem gücü pazarının %90'ını tekelleştirse de, ilk çatlak ** imparatorlukta ortaya çıktı. **
01, yapay zeka için doğmamış GPU
En başından beri, GPU'lar yapay zeka için yapılmadı.
Ekim 1999'da Nvidia, TSMC'nin 220nm sürecine dayanan ve 23 milyon transistörü entegre eden bir grafik işleme yongası olan GeForce 256'yı piyasaya sürdü. Nvidia, Grafik İşleme Birimi'nden "GPU" baş harflerini çıkardı ve bugün GeForce 256'yı **"dünyanın ilk GPU'su" olarak adlandırdı.
Bu dönemde yapay zeka, özellikle derin sinir ağları alanında uzun yıllardır sessiz kaldı.Geoffery Hinton ve Yann LeCun gibi Future Turing Ödülü sahipleri hala akademik kürsüde oturuyorlar ve kariyerlerini hiç düşünmüyorlar. orijinal olarak oyuncular için geliştirilmiş bir GPU ile tamamen değiştirilecek.
GPU kimin için doğdu? resim. Daha doğrusu, CPU'yu grafik gösterim angaryasından kurtarmak için doğdu. Görüntü görüntülemenin temel ilkesi, her bir çerçevenin görüntüsünü ayrı piksellere bölmek ve ardından köşe işleme, ilkel işleme, rasterleştirme, parça işleme, piksel işlemi vb.
Piksellerden görüntülere işleme sürecinin kaynağı: grafik özeti
Neden bunun zor bir iş olduğunu söylüyorsunuz? Basit bir aritmetik problemi yapın:
Ekranda 300.000 piksel olduğunu varsayarsak, 60 fps kare hızında hesaplandığında, her seferinde yukarıdaki beş adım dahil olmak üzere, beş talimata karşılık gelen, yani CPU'nun saniyede 18 milyon işlemenin tamamlanması gerekir. bir saniyelik ekran sunumunu Gerçekleştirmek için saniyede 90 milyon talimatı tamamlayın Referans olarak, Intel'in o zamanki en yüksek performanslı CPU'su saniyede yalnızca 60 milyon hesaplamaya sahipti.
Bunun nedeni CPU'nun zayıf olması değil, iş parçacığı çizelgelemede iyi olması, böylece kontrol birimine ve depolama birimine daha fazla yer ayrılması ve hesaplama için kullanılan bilgi işlem biriminin alanın yalnızca %20'sini kaplamasıdır. Aksine, GPU, alanın% 80'inden fazlasını, süper paralel bilgi işlem yetenekleri getiren ve sabit adımlı, tekrarlayan ve sıkıcı görüntü görüntüleme işleri için daha uygun olan bilgi işlem birimidir.
CPU ve GPU'nun iç yapısı, yeşil kısım bilgi işlem birimidir.
Bazı yapay zeka uzmanları, bu tür özelliklere sahip GPU'ların derin öğrenme eğitimi için de uygun olduğunu ancak birkaç yıl sonra fark etti. Birçok klasik derin sinir ağı mimarisi, 20. yüzyılın ikinci yarısı kadar erken bir tarihte önerildi, ancak bunları eğitecek bilgi işlem donanımının olmaması nedeniyle, birçok çalışma yalnızca "kağıt üzerinde" olabiliyor ve geliştirme uzun süredir duraksıyor. zaman.
Ekim 1999'da bir silah sesi, GPU'ları yapay zekaya getirdi. Derin öğrenmenin eğitim süreci, sinir ağının her bir katmanının işlev ve parametrelerine göre her bir girdi değeri üzerinde hiyerarşik işlemler gerçekleştirmek ve son olarak tıpkı grafik işleme gibi çok sayıda matris işlemi gerektiren bir çıktı değeri elde etmektir. GPU'nun en iyi olduğu şey bu.
Tipik bir derin sinir ağı mimarisi; kaynak: veri bilimine doğru
Bununla birlikte, görüntü, veri işleme miktarının çok büyük olmasına rağmen, adımların çoğunun sabit olduğunu göstermektedir.Derin sinir ağı karar verme alanına uygulandığında, dal yapıları ve parametreleri gibi karmaşık durumları içerecektir. her katmanın, olumlu ve olumsuz geri bildirimler içeren devasa verilere dayalı olarak eğitilmesi gerekir. Bu farklılıklar, gelecekte GPU'ların yapay zekaya uyarlanabilirliği için gizli tehlikeler ortaya çıkardı.
Bugünün Amazon AI/ML genel müdürü Kumar Chellapilla, GPU yengeçlerini yiyen ilk bilgin. 2006 yılında, evrişimli sinir ağını (CNN) ilk kez uygulamak için Nvidia'nın GeForce 7800 grafik kartını kullandı ve bunun CPU kullanmaktan 4 kat daha hızlı olduğunu buldu. Bu, derin öğrenme için GPU'ları kullanmaya yönelik bilinen en eski girişimdir. [3] .
Kumar Chellapilla ve Nvidia Geforce 7800
Kumar'ın çalışması, esas olarak GPU'ya dayalı programlamanın yüksek karmaşıklığından dolayı geniş ilgi görmedi. Ancak tam bu sırada Nvidia, 2007'de geliştiricilerin derin sinir ağlarını eğitmek için GPU kullanma zorluğunu büyük ölçüde azaltan ve derin öğrenmeye inananların daha fazla umut görmesini sağlayan CUDA platformunu piyasaya sürdü.
Sonra 2009'da Stanford'dan Wu Enda ve diğerleri çığır açıcı bir makale yayınladılar. [6] , GPU, CPU'nun 70 katından fazla bilgi işlem gücü sayesinde AI eğitim süresini haftalardan saatlere indirir. Bu makale, yapay zekanın donanımsal olarak uygulanmasının yolunu göstermektedir. GPU, yapay zekanın kağıttan gerçeğe geçiş sürecini büyük ölçüde hızlandırdı.
Andrew Ng (吴恩达)
Wu Enda'nın Google Brain'e 2011 yılında katıldığını ve başta bahsedilen Google Cat projesinin liderlerinden biri olduğunu belirtmekte fayda var. Sonunda Google Brain'in neden GPU'yu kullanamadığı yabancılar tarafından bilinmiyor, ancak Wu Enda'nın Baidu'ya katılmak için Google'dan ayrılmasından önce ve sonra, bunun Google'ın GPU'ya karşı tutumunun belirsiz olmasından kaynaklandığına dair söylentiler var.
**Sayısız insanın keşfinden sonra, sopa nihayet derin öğrenme ustası Hinton'a teslim edildi ve zaman şimdiden 2012'yi işaret etti. **
2012'de Hinton ve iki öğrenci, Alex Krizhevsky ve Ilya Sutskeverz, derin bir evrişimli sinir ağı olan AlexNet'i tasarladılar ve bu yıl ImageNet yarışmasına katılmayı planladılar. Ancak sorun şu ki, AlexNet'i bir CPU ile eğitmek birkaç ay alabilir, bu yüzden dikkatlerini GPU'ya çevirdiler.
Derin öğrenmenin geliştirme tarihinde çok önemli olan bu GPU, ünlü "nükleer bomba grafik kartı" GTX 580'dir. Nvidia'nın en yeni Fermi mimarisinin amiral gemisi ürünü olan GTX 580, 512 CUDA çekirdeği (önceki nesilde 108) ile doldurulmuştur.Bilgi işlem gücü sıçrarken, abartılı güç tüketimi ve ısı üretimi sorunları da Nvidia'yı "Nükleer Bomba Fabrikası" olarak adlandırdı. ".
A'nın arseniği, B'nin balı. Sinir ağlarını GPU'larla eğitirken ortaya çıkan "pürüzsüzlük" ile karşılaştırıldığında, ısı yayma sorunu söylenecek bir şey değildir. Hinton ekibi, Nvidia'nın CUDA platformu ile programlamayı başarıyla tamamladı.İki adet GTX 580 ekran kartı desteği ile 14 milyon resimlik eğitim sadece bir hafta sürdü ve AlexNet şampiyonluğu başarıyla kazandı.
**ImageNet yarışmasının ve Hinton'un kendisinin etkisiyle, tüm yapay zeka uzmanları GPU'nun önemini bir anda anladı. **
İki yıl sonra GoogLeNet modelini alarak ImageNet'e katılan Google, NVIDIA GPU'ları kullanarak %93 doğruluk oranıyla şampiyonluğu kazandı.Bu yıl katılan tüm ekiplerin kullandığı GPU sayısı 110'a yükseldi. Yarışmaların dışında GPU, derin öğrenme için "sahip olunması gereken bir tüketim" haline geldi ve Huang Renxun'a sürekli bir sipariş akışı gönderdi.
Bu, Nvidia'nın mobil pazardaki fiyaskonun gölgesinden kurtulmasını sağladı. 2007'de iPhone'un piyasaya sürülmesinden sonra akıllı telefon yonga pastası hızla genişledi. Nvidia da Samsung, Qualcomm ve Samsung'dan pastadan pay almaya çalıştı. MediaTek Isı dağılımı sorunu başarısız oldu. Sonunda, Nvidia'ya ikinci bir büyüme eğrisi veren GPU tarafından kurtarılan yapay zeka alanı oldu.
Ama sonuçta GPU, sinir ağlarını eğitmek için doğmadı.Yapay zeka ne kadar hızlı gelişirse, bu sorunlar o kadar fazla açığa çıkacaktır.
Örneğin, GPU, CPU'dan önemli ölçüde farklı olsa da, her ikisi de temelde von Neumann yapısını takip eder ve depolama ve çalışma birbirinden ayrılır. Bu ayrımın getirdiği verimlilik darboğazı sonuçta görüntü işleme adımları nispeten sabittir ve daha paralel işlemlerle çözülebilir ancak çok dallı yapıya sahip sinir ağlarında çok ölümcüldür.
Bir sinir ağı her katman veya dal eklediğinde, geri izleme için verileri depolamak için bir bellek erişimini artırması gerekir ve bunun için harcanan zaman kaçınılmazdır. Özellikle büyük modeller çağında, model ne kadar büyükse, o kadar çok bellek erişim işleminin gerçekleştirilmesi gerekir - bellek erişiminde tüketilen enerji, bilgi işlemdekinden çok daha fazladır.
Basit bir benzetme, GPU'nun kaslı bir adam olduğu (birçok bilgi işlem birimine sahip), ancak alınan her talimat için geri dönüp kullanım kılavuzuna (belleğe) bakması gerektiğidir.Son olarak, modelin boyutu ve karmaşıklığı arttıkça , adam Gerçek iş için zaman çok kısıtlı ve bunun yerine kılavuzları karıştırmaktan o kadar yoruldum ki ağzımdan köpükler geliyor.
Bellek sorunları, derin sinir ağı uygulamalarındaki GPU'ların birçok "rahatsızlığından" yalnızca biridir. Nvidia en başından beri bu sorunların farkındaydı ve yapay zeka uygulama senaryolarına daha uygun hale getirmek için GPU'yu hızla "sihirli bir şekilde değiştirmeye" başladı; ve yangının son derece farkında olan AI oyuncuları da gizlice içeri girerek onu kullanmaya çalışıyor. Huang Renxun'un imparatorluğunun köşesini açmak için GPU'nun kusurları.
**Bir saldırı ve savunma savaşı başlar. **
02, Google ve Nvidia arasındaki karanlık savaş
Yapay zeka bilgi işlem gücüne yönelik ezici talep ve GPU'nun doğuştan gelen kusurlarıyla karşı karşıya kalan Huang Renxun, el ele gidecek iki çözüm seti sundu.
**İlk set, "eski bilgi işlem gücü perisinin sınırsız sihirli gücü var" yolunda şiddetli bir şekilde bilgi işlem gücü biriktirmeye devam etmektir. **Yapay zeka bilgi işlem gücüne olan talebin her 3,5 ayda bir ikiye katlandığı bir çağda, bilgi işlem gücü, yapay zeka şirketlerinin gözlerinin önünde asılı duran havuç gibidir ve onları bir köpek gibi kaparken üstün kılıç becerileri için Huang Renxun'u azarlamalarına neden olur. Nvidia'nın kapasitesinin tamamı.
**İkinci set, GPU ve yapay zeka senaryoları arasındaki uyumsuzluğu "geliştirilmiş inovasyon" yoluyla kademeli olarak çözmektir. **Bu sorunlar arasında güç tüketimi, bellek duvarları, bant genişliği darboğazları, düşük kesinlikli hesaplamalar, yüksek hızlı bağlantılar, belirli model optimizasyonları bulunur ancak bunlarla sınırlı değildir... 2012'den beri Nvidia, mimari güncellemelerinin hızını aniden artırdı.
Nvidia, CUDA'yı piyasaya sürdükten sonra, Grafik ve Bilgi İşlem olmak üzere iki ana senaryoyu desteklemek için birleşik bir mimari kullandı. İlk nesil mimari 2007'de ortaya çıktı ve Tesla olarak adlandırıldı.Bunun nedeni Huang Renxun'un Musk'a olan iyiliğini göstermek istemesi değil, fizikçi Nikola Tesla'ya saygılarını sunmak istemesiydi (en eski nesil Curie mimarisiydi).
O zamandan beri, NVIDIA GPU mimarisinin her nesli, aşağıdaki şekilde gösterildiği gibi ünlü bilim adamlarının adını almıştır. Mimarinin her yinelemesinde Nvidia, "kasları ve kemikleri kesmeden" geliştirirken bilgi işlem gücünü biriktirmeye devam ediyor.
Örneğin, 2011'deki ikinci nesil Fermi mimarisi ısı dağılımı dezavantajına sahipken, 2012'deki üçüncü nesil mimari Kepler, ısı dağılımını iyileştirmek için genel tasarım fikrini yüksek performanstan güç verimliliğine kaydırdı; ve sorunları çözmek için "Kas aptalları" sorunu için, 2014'teki dördüncü nesil Maxwell mimarisi, hassas kontrolü kolaylaştırmak için içine daha fazla mantık kontrol devresi ekledi.
AI sahnesine uyum sağlamak için, Nvidia'nın "sihirli bir şekilde değiştirilmiş" GPU'su, bir dereceye kadar CPU'ya daha çok benziyor - tıpkı CPU'nun mükemmel programlama yeteneğinin bilgi işlem gücü pahasına olması gibi, Nvidia'nın kendini kısıtlaması gerekiyor. bilgi işlem çekirdeklerinin istiflenmesi. Bununla birlikte, çok yönlülüğün yükü ile GPU'yu nasıl değiştirirseniz değiştirin, yapay zeka senaryosunda özel çipi eşleştirmek zor olacaktır.
** Nvidia'ya ilk saldıran, AI bilgi işlem için büyük ölçekte GPU satın alan ilk kişi olan Google oldu. **
Google, 2014 yılında GoogLeNet ile kaslarını sergiledikten sonra artık makine tanıma yarışmasına alenen katılmadı ve yapay zekaya özgü çipler geliştirmek için komplo kurdu. 2016'da AlphaGo ile liderliği ele geçiren Google, Li Shishi'yi kazandıktan sonra hemen kendi geliştirdiği yapay zeka çipi TPU'yu piyasaya sürdü ve "yapay zeka için doğmuş" yeni bir mimariyle Nvidia'yı şaşırttı.
TPU, Tensor Processing Unit'in kısaltmasıdır ve Çince adı "tensör işleme birimi"dir. Nvidia'nın GPU'daki "sihirli reformu", batı duvarını telafi etmek için doğu duvarını yıkmaksa, TPU, depolama ve bağlantı talebini temelde azaltmak ve çip alanını hesaplamaya büyük ölçüde aktarmaktır. . Spesifik olarak, iki Büyük şu anlama gelir:
**Birincisi kantitatif teknolojidir. **Modern bilgisayar hesaplamaları genellikle çok fazla bellek kaplayan yüksek hassasiyetli veriler kullanır, ancak aslında çoğu sinir ağı hesaplaması 32 bit veya 16 bit kayan nokta hesaplamalarına ulaşmak için kesinlik gerektirmez. teknoloji temel olarak 32-bit/16-bit'i birleştirmek içindir. Sayılar 8-bit tamsayılara yaklaştırılarak uygun doğruluk korunur ve depolama gereksinimleri azaltılır.
İkincisi sistolik dizidir, TPU ile GPU arasındaki en kritik farklardan biri olan matris çarpım dizisidir. Basitçe söylemek gerekirse, sinir ağı işlemleri çok sayıda matris işlemi gerektirir.GPU, matris hesaplamalarını yalnızca adım adım çoklu vektör hesaplamalarına ayırabilir.Bir grup tamamlandığında, belleğe erişmesi ve sonuçları kaydetmesi gerekir. tüm vektör hesaplamaları tamamlanana kadar bu katmanı kullanın ve ardından çıktı değerini elde etmek için her katmanın sonuçlarını birleştirin.
TPU'da binlerce bilgi işlem birimi doğrudan bağlanarak bir matris çarpım dizisi oluşturur.Bilgisayar çekirdeği olarak matris hesaplamaları doğrudan yapılabilir.Başlangıçta veri ve işlevlerin yüklenmesi dışında, depolama birimlerine erişmeye gerek yoktur. erişimi büyük ölçüde azaltır Frekans, TPU'nun hesaplama hızını büyük ölçüde hızlandırır ve enerji tüketimi ile fiziksel alan işgali de büyük ölçüde azalır.
Google'ın TPU'su çok hızlıdır ve tasarım, doğrulama ve seri üretimden kendi veri merkezine son dağıtımına kadar yalnızca 15 ay sürmüştür. Testin ardından TPU'nun CNN, LSTM, MLP ve diğer AI senaryolarındaki performansı ve güç tüketimi, aynı dönemde Nvidia'nın GPU'sunu büyük ölçüde geride bıraktı. **Tüm baskı bir anda Nvidia'ya verildi. **
Büyük bir müşteri tarafından arkadan bıçaklanmak rahatsız edicidir, ancak Nvidia ayakta durmayacak ve yenilmeyecek ve bir çekişme başladı.
Google'ın TPU'yu piyasaya sürmesinden beş ay sonra Nvidia, 16nm işleminin Pascal mimarisini de tanıttı. Bir yandan, yeni mimari, bağlantı bant genişliğini büyük ölçüde artıran ünlü NVLink yüksek hızlı iki yönlü ara bağlantı teknolojisini sunar; diğer yandan, TPU'nun niceleme teknolojisini taklit eder ve sinir ağının bilgi işlem verimliliğini artırır. veri doğruluğunu azaltarak.
2017'de Nvidia, derin öğrenme için özel olarak tasarlanmış ilk mimari olan Volta'yı piyasaya sürdü ve 4×4 çarpma dizisi TPU 256×256 darbe dizisiyle aynı olmasına rağmen, özellikle matris işlemleri için kullanılan TensorCore'u ilk kez tanıttı. Oran biraz perişan, ancak aynı zamanda esneklik ve çok yönlülüğü koruma temelinde yapılan bir uzlaşmadır.
TensorCore tarafından Nvidia V100'de uygulanan 4x4 matris işlemi
NVIDIA yöneticileri müşterilere şunu beyan etti: ** "Volta, Pascal'ın bir yükseltmesi değil, yepyeni bir mimaridir."**
Google da zamana karşı yarışıyor 2016'dan sonra 5 yılda 3 nesil güncellenen TPU, 2017'de TPUv2'yi, 2018'de TPUv3'ü ve 2021'de TPUv4'ü piyasaya sürdü ve verileri Nvidia'nın yüzüne koydu. [4] : **TPU v4, Nvidia A100'den 1,2-1,7 kat daha hızlıdır ve güç tüketimini 1,3-1,9 kat azaltır. **
Google, TPU çiplerini dış dünyaya satmıyor ve aynı zamanda Nvidia'nın GPU'larını büyük miktarlarda satın almaya devam ediyor, bu da ikisi arasındaki AI çip rekabetinin "açık rekabet" yerine "soğuk savaş" içinde kalmasına neden oluyor. Ancak sonuçta Google, dış dünyaya yapay zeka bilgi işlem gücü hizmetleri sağlamak için TPU'yu kendi bulut hizmet sisteminde kullanıyor ve bu da şüphesiz Nvidia'nın potansiyel pazarını azaltıyor.
Google CEO'su Sundar Picha, TPU v4'ü gösteriyor
İkili "karanlıkta savaşırken" yapay zeka alanındaki gelişmeler de hızlı ilerliyor. 2017'de Google, devrim niteliğindeki Transformer modelini önerdi ve ardından OpenAI, Transformer'a dayalı GPT-1'i geliştirdi. Büyük modellerin silahlanma yarışı patlak verdi ve yapay zeka bilgi işlem gücüne olan talep, ortaya çıkışından bu yana ikinci ivmeyi başlattı. 2012 yılında AlexNet.
Yeni trendi fark ettikten sonra 2022 yılında Hopper mimarisini hayata geçiren Nvidia, Transformer tabanlı büyük dil modelinin eğitim süresini 9 kat artırabileceğini iddia ederek Transformer hızlandırma motorunu ilk kez donanım seviyesinde tanıttı. Hopper mimarisine dayanan Nvidia, "yüzeydeki en güçlü GPU" olan H100'ü piyasaya sürdü.
H100, Nvidia'nın nihai "dikiş canavarı"dır. Bir yandan niceleme, matris hesaplama (Tensor Core 4.0) ve Transformer hızlandırma motoru gibi çeşitli AI optimizasyon teknolojilerini sunarken, diğer yandan Nvidia'nın geleneksel güçlü yönleriyle doludur. 7296 CUDA Core, 80 GB HBM2 bellek ve 900 GB/sn'ye kadar NVLink 4.0 bağlantı teknolojisi gibi.
H100'ü elinde tutan Nvidia, geçici olarak rahat bir nefes aldı.Piyasada H100'den daha iyi seri üretilen bir çip yok.
Google ve Nvidia'nın gizli tahterevallisi de ortak bir başarıdır: Nvidia, Google'dan pek çok yenilikçi teknoloji ithal etti ve Google'ın yapay zeka konusundaki en son araştırması da Nvidia'nın GPU'sunun yeniliğinden tam olarak yararlandı. "sessizce" büyük bir dil modeli tarafından kullanılabilecek bir düzeye indirilir. OpenAI gibi ilgi odağı olanlar da bu ikilinin omuzlarında duruyor.
Ama duygular duygulara aittir ve iş de işe aittir. GPU etrafındaki saldırı ve savunma savaşı, sektörü bir şeyden daha emin hale getirdi: **GPU, yapay zeka için en uygun çözüm değildir ve özelleştirilmiş ASIC'lerin Nvidia'nın tekelini kırma olasılığı vardır. **Çatlaklar açıldı, lezzeti takip eden sadece Google olmayacak.
**Özellikle bilgi işlem gücü, AGI çağında en kesin talep haline geldi ve herkes yemek yerken NVIDIA ile aynı masaya oturmak istiyor. **
03, genişleyen bir çatlak
OpenAI'ye ek olarak, AI patlamasının bu turunda ezber bozan iki şirket var: Biri, çeşitli boyama stillerini kontrol etme yeteneği sayısız karbon tabanlı sanatçıyı korkutan AI çizim şirketi Midjourney; diğeri kurucusu OpenAI'den olan Authropic. Claude diyalog robotu ChatGPT ile ileri geri oynadı.
**Ancak bu iki şirket de süper bilgi işlem oluşturmak için Nvidia GPU'ları satın almadı, ancak Google'ın bilgi işlem hizmetlerini kullandı. **
Yapay zeka bilgi işlem gücündeki patlamayı karşılamak için Google, 4096 TPU'lu bir süper bilgisayar (TPU v4 Pod) oluşturdu. Çipler, yalnızca kendi LaMDA'larını eğitmek için kullanılamayan, kendi geliştirdiği optik devre anahtarları (OCS) ile birbirine bağlıdır. , MUM ve PaLM gibi büyük dil modelleri de AI girişimlerine ucuz ve kaliteli hizmetler sağlayabilir.
GoogleTPU v4 Kapsülü süper bilgi işlem
Süper hesap makinelerini kendi başına yapan Tesla da var. Araca monteli FSD çipini piyasaya sürdükten sonra Tesla, Ağustos 2021'de kendi D1 çiplerinden 3.000'i ile inşa edilen süper bilgisayar Dojo ExaPOD'u dış dünyaya gösterdi. Bunların arasında D1 yongası, TSMC tarafından 7nm teknolojisi kullanılarak üretiliyor ve 3.000 D1 yongası, Dojo'yu doğrudan dünyanın en büyük beşinci bilgi işlem gücü bilgisayarı yapıyor.
**Ancak, ikisinin kombinasyonu, Microsoft'un kendi geliştirdiği Athena çipinin getirdiği etkiyle kıyaslanamaz. **
Microsoft, Nvidia'nın en büyük müşterilerinden biridir. Kendi Azure bulut hizmeti, en az on binlerce A100 ve H100 üst düzey GPU, SwiftKey ve AI kullanan diğer ürünleri satın aldı.
Dikkatli bir hesaplamadan sonra Microsoft'un ödemek zorunda olduğu "Nvidia vergisi" astronomik bir rakam ve kendi geliştirdiği çipler neredeyse kaçınılmaz. Tıpkı Ali'nin Taobao Tmall'ın bulut bilgi işlem, veritabanları ve depolamaya yönelik gelecekteki talebini hesaplaması ve bunun astronomik bir rakam olduğunu bulması gibi, kararlı bir şekilde Alibaba Cloud'u desteklemeye başladı ve şirket içinde güçlü bir "de-IOE" kampanyası başlattı.
** Maliyet tasarrufu bir yönüdür ve farklılaşma yaratmak için dikey entegrasyon başka bir yönüdür. **Cep telefonları çağında, Samsung cep telefonlarının CPU (AP), hafıza ve ekranının kendi üretilip satılması, Samsung'un küresel Android hegemonyasına büyük katkı sağlıyor. Google ve Microsoft'un çekirdek yapımı da kendi bulut hizmetleri için çip düzeyinde optimizasyon yaparak farklılık yaratıyor.
Bu nedenle, dış dünyaya çip satmayan Apple ve Samsung'un aksine, Google ve Microsoft'un AI çipleri dış dünyaya satılmayacak olsa da, Nvidia'nın potansiyel müşterilerinin bir kısmını “AI bilgi işlem gücü bulut hizmetleri” aracılığıyla sindirecekler. ve Authropic buna örnektir.Bulut hizmetlerini seçen daha küçük şirketler (özellikle AI uygulama katmanında) vardır.
**Küresel bulut bilişim pazarının yoğunluğu çok yüksek. İlk beş üretici (Amazon AWS, Microsoft Azure, Google Cloud, Alibaba Cloud ve IBM) %60'tan fazlasını oluşturuyor ve hepsi kendi yapay zeka yongalarını üretiyor. Bunlar arasında en hızlı ilerlemeyi Google sağlıyor, rezervleri en güçlü olan IBM, en büyük etkiye sahip olan Microsoft, en iyi gizlilik Amazon'a ait ve en fazla zorluk Ali'ye ait. **
Yerli büyük üreticiler kendi çiplerini geliştiriyor ve Oppo Zheku'nun sonu sahaya giren her oyuncuya gölge düşürecek. Ancak denizaşırı büyük şirketler kendi araştırmalarını yapıyor ve fonlarla yetenek ve teknoloji tedarik zincirleri inşa edilebiliyor. Örneğin, Tesla FSD ile uğraşırken Silikon Vadisi tanrısı Jim Keller'ı işe aldı ve Google TPU'yu geliştirdi ve doğrudan davet etti Turing. Ödül sahibi, RISC mimarisinin mucidi Profesör David Patterson.
Büyük üreticilerin yanı sıra, bir zamanlar 2,8 milyar ABD doları değerinde olan Graphcore gibi bazı küçük ve orta ölçekli şirketler de Nvidia'nın pastasını almaya çalışıyor ve yerli Kambriyen de bu kategoriye giriyor. Aşağıdaki tablo, dünyadaki daha iyi bilinen başlangıç yapay zeka çip tasarım şirketlerini listeler.
Yapay zeka çipi girişimlerinin zorluğu, güçlü finansal kaynaklara sahip büyük şirketlerin sürekli yatırımı olmadan Google gibi kendi kendini üretip satamamasıdır.Teknik rota benzersiz veya avantajları özellikle güçlü olmadıkça, temelde hiçbir Nvidia ile savaşırken kazanma şansı, İkincisinin Maliyet ve ekolojik avantajları, müşterilerin tüm şüphelerini neredeyse giderebilir.
**Start-up'ın Nvidia üzerindeki etkisi sınırlıdır ve Huang Renxun'un gizli endişeleri hâlâ dürüst olmayan büyük müşterilerdir. **
Tabii ki, büyük üreticiler hala Nvidia'dan ayrılamaz. Örneğin, Google'ın TPU'su 4. nesle güncellenmiş olsa da, TPU ile birlikte bilgi işlem gücü sağlamak için yine de büyük miktarlarda GPU satın alması gerekiyor; NVIDIA'dan 10.000 GPU satın almayı seçin.
Ancak Huang Renxun, Musk'taki büyük üreticilerin plastik dostluğunu çoktan deneyimledi. 2018'de Musk, kendi araba çipini geliştireceğini kamuoyuna duyurdu (o sırada Nvidia'nın DRIVE PX'i kullanılıyordu.) Huang Renxun, bir konferans görüşmesinde olay yerinde analistler tarafından sorgulandı ve bir süre sahneden inemedi. sırasında. Sonrasında Musk bir "açıklama" yayınladı, ancak bir yıl sonra Tesla yine de arkasına bakmadan Nvidia'dan ayrıldı. [5] .
Büyük fabrikalar maliyet tasarrufu konusunda asla merhamet göstermediler. Bilgisayar çağında Intel'in yongaları B-ucuna satılsa da, tüketiciler güçlü bir özerklik seçeneğine sahip ve üreticilerin "Intel Inside" reklamını yapması gerekiyor; ancak bilgi işlem gücü bulut çağında, devler temeldeki tüm donanım bilgilerini engelleyebilir ve gelecekte de satın alacaklar.100TFlops bilgi işlem gücü ile tüketiciler hangi parçanın TPU'dan ve hangi parçanın GPU'dan geldiğini anlayabilir mi?
Bu nedenle Nvidia sonunda şu soruyla yüzleşmek zorunda: **GPU gerçekten de yapay zeka için doğmadı, ancak GPU yapay zeka için en uygun çözüm olacak mı? **
Huang Renxun, son 17 yılda GPU'yu tek bir oyun ve görüntü işleme sahnesinden ayırarak onu genel amaçlı bir bilgi işlem gücü aracı haline getirdi. Yeni senaryolar, "genellik" arasında bir denge bulmaya çalışarak GPU'yu "sihirli bir şekilde değiştirmeye" devam ediyor. " ve "özgünlük".
Son yirmi yılda Nvidia, sektörü değiştiren sayısız yeni teknolojiyi tanıttı: CUDA platformu, TensorCore, RT Core (ışın izleme), NVLink, cuLitho platformu (bilgi işlem litografi), karma hassasiyet, Omniverse, Transformer motoru ... Bunlar teknolojiler, ilham verici olmayan tüm endüstrinin piyasa değerinde ikinci kademe bir çip şirketinden bir Nanbo bilekliğine kadar Nvidia'ya yardımcı oldu.
Ama bir nesil, bir çağın bilgi işlem mimarisine sahip olmalıdır.Yapay zekanın gelişimi hızla ilerliyor ve teknolojik atılımlar saatlerle ölçülüyor.Yapay zekanın insan hayatına PC'lerin/akıllı telefonların popüler olduğu zamanki kadar nüfuz etmesini istiyorsanız, o zaman bilgi işlem gücü Maliyetlerin %99 oranında düşmesi gerekebilir ve gerçekten de GPU'lar tek yanıt olmayabilir.
**Tarih bize, bir imparatorluk ne kadar müreffeh olursa olsun, bu göze çarpmayan çatlağa karşı dikkatli olması gerektiğini söylüyor. **
Referanslar
[1] Derin Konvolüsyonel Sinir Ağları ile ImageNet Sınıflandırması, Hinton
[5] Tesla'nın AI emelleri, Tokawa Araştırma Enstitüsü
[6] Grafik İşlemcileri Kullanan Büyük Ölçekli Denetimsiz Öğrenme
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Nvidia imparatorluğunda bir çatlak
Kaynak: Silikon Tabanlı Enstitü
Yazar: He Luheng/Patron Dai
2012'de AI çevresinde iki büyük etkinlik gerçekleşti: Kronolojik sırayla, ilki, uzun süredir devam eden bir Google ekibi olan Google Brain'in "ilk çalışması" - derin bir öğrenme ağı "Google Cat" olarak piyasaya sürülmesiydi. " %74,8 tanıma ile kedileri tanıyabilen Doğruluk oranı, geçen yıl ünlü görüntü tanıma yarışması ImageNet'in kazanan algoritmasının %74'ünden %0,8 daha yüksektir.
Ancak Google'ın yüksek profilli anları yalnızca birkaç ay sürdü. Aralık 2012'de en son ImageNet'in galibi yayınlandı Derin öğrenme ustası Hinton ve müritleri, tanıma doğruluk oranını %84'e çıkaran evrişimli sinir ağı AlexNet'i getirdi ve böylece bir sonraki AI devrimini başlattı. Google Cat tarihin tozuna gömüldü.
Endüstriyi şok eden sadece ImageNet modelinin kendisi değildi. 14 milyon resim ve toplam 262 petaflop kayan nokta işlemi gerektiren bu sinir ağı, bir haftalık eğitim boyunca yalnızca dört adet NVIDIA Geforce GTX 580 kullandı. Başvuru için, Google Cat 10 milyon resim, 16.000 CPU ve 1.000 bilgisayar kullandı. [1] .
Google'ın da bu yıl yarışmaya gizlice katıldığı ve aldığı şokun bir sonraki eyleme doğrudan yansıdığı söyleniyor: Google, Hinton ekibini satın almak için 44 milyon dolar harcadı ve hemen Nvidia'ya çok sayıda GPU siparişi verdi. yapay zeka için Eğitim ve aynı zamanda "süpürme malları" da Microsoft ve Facebook gibi devlerdir.
** Nvidia en büyük kazanan oldu ve hisse senedi fiyatı önümüzdeki 10 yılda maksimum 121 kat arttı. Bir imparatorluk doğuyor. **
Ancak imparatorluğun üzerinde yavaş yavaş iki kara bulut toplandı. O zamanlar Nvidia'dan ürün satın alan Google, üç yıl sonra AlphaGo ile çarpıcı bir çıkış yaptı ve 2017'de insan şampiyonu Ke Jie'yi mağlup etti. Hevesli kişiler, AlphaGo'yu çalıştıran çipin artık Nvidia'nın GPU'su değil, Google'ın kendi geliştirdiği TPU çipi olduğunu keşfetti.
Üç yıl sonra benzer bir senaryo tekrarlandı. Bir zamanlar Huang Renxun tarafından bir kıyaslama müşterisi olarak kabul edilen Tesla, Nvidia GPU'ya da veda etti.Önce çekirdeği NPU olan FSD araç çipini piyasaya sürdü ve ardından AI eğitim kümeleri oluşturmak için kullanılan D1 çipini çıkardı.Li, iki tanesini kaybetti. AI çağındaki en önemli müşteriler.
2022 yılına kadar, küresel BT döngüsü düşüş aşamasına girecek.Büyük bulut bilişim şirketleri, veri merkezleri için GPU satın alma bütçelerini birbiri ardına azaltacak. A100/H100'ü Çin'e satmak imkansız.Üst düzey grafik kartları için Nvidia'nın envanteri arttı ve hisse senedi fiyatı zirveden 2/3 düştü.
2022'nin sonunda ChatGPT doğdu ve büyük ölçekli "simyanın" yakıtı olan GPU'lar yeniden yağmalandı.Nvidia bir mühlet aldı, ancak bunu üçüncü kara bulut izledi: 18 Nisan 2023'te ünlü teknoloji medyası The Information şu haberi verdi:* Bu yapay zeka dalgasını başlatan Microsoft, gizlice kendi yapay zeka çipini geliştiriyor* [2] .
Athena adındaki bu çip, TSMC tarafından üretilmiş ve gelişmiş bir 5nm süreci kullanıyor.Microsoft'un Ar-Ge ekibinin sayısı 300'e yakın. Açıkçası, bu çipin amacı pahalı A100/H100'ün yerini almak, OpenAI için bir bilgi işlem gücü motoru sağlamak ve sonunda Microsoft'un Azure bulut hizmeti aracılığıyla Nvidia'nın pastasını kapmak.
Microsoft şu anda Nvidia'nın H100'ünün en büyük alıcısı ve hatta H100'ün tam yıllık üretim kapasitesini "tamamlayacağı" söylendi. Microsoft'tan gelen ayrılık sinyali hiç şüphesiz maviden bir şimşek.Bilmelisiniz ki Intel en karanlık döneminde bile, hiçbir müşterisi kendi CPU yongalarını yapmaya "cesaret" edemez (bunları harici olarak satmayan Apple hariç). .
Nvidia şu anda GPU+NVlink+CUDA ile AI bilgi işlem gücü pazarının %90'ını tekelleştirse de, ilk çatlak ** imparatorlukta ortaya çıktı. **
01, yapay zeka için doğmamış GPU
En başından beri, GPU'lar yapay zeka için yapılmadı.
Ekim 1999'da Nvidia, TSMC'nin 220nm sürecine dayanan ve 23 milyon transistörü entegre eden bir grafik işleme yongası olan GeForce 256'yı piyasaya sürdü. Nvidia, Grafik İşleme Birimi'nden "GPU" baş harflerini çıkardı ve bugün GeForce 256'yı **"dünyanın ilk GPU'su" olarak adlandırdı.
Bu dönemde yapay zeka, özellikle derin sinir ağları alanında uzun yıllardır sessiz kaldı.Geoffery Hinton ve Yann LeCun gibi Future Turing Ödülü sahipleri hala akademik kürsüde oturuyorlar ve kariyerlerini hiç düşünmüyorlar. orijinal olarak oyuncular için geliştirilmiş bir GPU ile tamamen değiştirilecek.
GPU kimin için doğdu? resim. Daha doğrusu, CPU'yu grafik gösterim angaryasından kurtarmak için doğdu. Görüntü görüntülemenin temel ilkesi, her bir çerçevenin görüntüsünü ayrı piksellere bölmek ve ardından köşe işleme, ilkel işleme, rasterleştirme, parça işleme, piksel işlemi vb.
Neden bunun zor bir iş olduğunu söylüyorsunuz? Basit bir aritmetik problemi yapın:
Ekranda 300.000 piksel olduğunu varsayarsak, 60 fps kare hızında hesaplandığında, her seferinde yukarıdaki beş adım dahil olmak üzere, beş talimata karşılık gelen, yani CPU'nun saniyede 18 milyon işlemenin tamamlanması gerekir. bir saniyelik ekran sunumunu Gerçekleştirmek için saniyede 90 milyon talimatı tamamlayın Referans olarak, Intel'in o zamanki en yüksek performanslı CPU'su saniyede yalnızca 60 milyon hesaplamaya sahipti.
Bunun nedeni CPU'nun zayıf olması değil, iş parçacığı çizelgelemede iyi olması, böylece kontrol birimine ve depolama birimine daha fazla yer ayrılması ve hesaplama için kullanılan bilgi işlem biriminin alanın yalnızca %20'sini kaplamasıdır. Aksine, GPU, alanın% 80'inden fazlasını, süper paralel bilgi işlem yetenekleri getiren ve sabit adımlı, tekrarlayan ve sıkıcı görüntü görüntüleme işleri için daha uygun olan bilgi işlem birimidir.
Bazı yapay zeka uzmanları, bu tür özelliklere sahip GPU'ların derin öğrenme eğitimi için de uygun olduğunu ancak birkaç yıl sonra fark etti. Birçok klasik derin sinir ağı mimarisi, 20. yüzyılın ikinci yarısı kadar erken bir tarihte önerildi, ancak bunları eğitecek bilgi işlem donanımının olmaması nedeniyle, birçok çalışma yalnızca "kağıt üzerinde" olabiliyor ve geliştirme uzun süredir duraksıyor. zaman.
Ekim 1999'da bir silah sesi, GPU'ları yapay zekaya getirdi. Derin öğrenmenin eğitim süreci, sinir ağının her bir katmanının işlev ve parametrelerine göre her bir girdi değeri üzerinde hiyerarşik işlemler gerçekleştirmek ve son olarak tıpkı grafik işleme gibi çok sayıda matris işlemi gerektiren bir çıktı değeri elde etmektir. GPU'nun en iyi olduğu şey bu.
Bununla birlikte, görüntü, veri işleme miktarının çok büyük olmasına rağmen, adımların çoğunun sabit olduğunu göstermektedir.Derin sinir ağı karar verme alanına uygulandığında, dal yapıları ve parametreleri gibi karmaşık durumları içerecektir. her katmanın, olumlu ve olumsuz geri bildirimler içeren devasa verilere dayalı olarak eğitilmesi gerekir. Bu farklılıklar, gelecekte GPU'ların yapay zekaya uyarlanabilirliği için gizli tehlikeler ortaya çıkardı.
Bugünün Amazon AI/ML genel müdürü Kumar Chellapilla, GPU yengeçlerini yiyen ilk bilgin. 2006 yılında, evrişimli sinir ağını (CNN) ilk kez uygulamak için Nvidia'nın GeForce 7800 grafik kartını kullandı ve bunun CPU kullanmaktan 4 kat daha hızlı olduğunu buldu. Bu, derin öğrenme için GPU'ları kullanmaya yönelik bilinen en eski girişimdir. [3] .
Kumar'ın çalışması, esas olarak GPU'ya dayalı programlamanın yüksek karmaşıklığından dolayı geniş ilgi görmedi. Ancak tam bu sırada Nvidia, 2007'de geliştiricilerin derin sinir ağlarını eğitmek için GPU kullanma zorluğunu büyük ölçüde azaltan ve derin öğrenmeye inananların daha fazla umut görmesini sağlayan CUDA platformunu piyasaya sürdü.
Sonra 2009'da Stanford'dan Wu Enda ve diğerleri çığır açıcı bir makale yayınladılar. [6] , GPU, CPU'nun 70 katından fazla bilgi işlem gücü sayesinde AI eğitim süresini haftalardan saatlere indirir. Bu makale, yapay zekanın donanımsal olarak uygulanmasının yolunu göstermektedir. GPU, yapay zekanın kağıttan gerçeğe geçiş sürecini büyük ölçüde hızlandırdı.
Wu Enda'nın Google Brain'e 2011 yılında katıldığını ve başta bahsedilen Google Cat projesinin liderlerinden biri olduğunu belirtmekte fayda var. Sonunda Google Brain'in neden GPU'yu kullanamadığı yabancılar tarafından bilinmiyor, ancak Wu Enda'nın Baidu'ya katılmak için Google'dan ayrılmasından önce ve sonra, bunun Google'ın GPU'ya karşı tutumunun belirsiz olmasından kaynaklandığına dair söylentiler var.
**Sayısız insanın keşfinden sonra, sopa nihayet derin öğrenme ustası Hinton'a teslim edildi ve zaman şimdiden 2012'yi işaret etti. **
2012'de Hinton ve iki öğrenci, Alex Krizhevsky ve Ilya Sutskeverz, derin bir evrişimli sinir ağı olan AlexNet'i tasarladılar ve bu yıl ImageNet yarışmasına katılmayı planladılar. Ancak sorun şu ki, AlexNet'i bir CPU ile eğitmek birkaç ay alabilir, bu yüzden dikkatlerini GPU'ya çevirdiler.
Derin öğrenmenin geliştirme tarihinde çok önemli olan bu GPU, ünlü "nükleer bomba grafik kartı" GTX 580'dir. Nvidia'nın en yeni Fermi mimarisinin amiral gemisi ürünü olan GTX 580, 512 CUDA çekirdeği (önceki nesilde 108) ile doldurulmuştur.Bilgi işlem gücü sıçrarken, abartılı güç tüketimi ve ısı üretimi sorunları da Nvidia'yı "Nükleer Bomba Fabrikası" olarak adlandırdı. ".
A'nın arseniği, B'nin balı. Sinir ağlarını GPU'larla eğitirken ortaya çıkan "pürüzsüzlük" ile karşılaştırıldığında, ısı yayma sorunu söylenecek bir şey değildir. Hinton ekibi, Nvidia'nın CUDA platformu ile programlamayı başarıyla tamamladı.İki adet GTX 580 ekran kartı desteği ile 14 milyon resimlik eğitim sadece bir hafta sürdü ve AlexNet şampiyonluğu başarıyla kazandı.
**ImageNet yarışmasının ve Hinton'un kendisinin etkisiyle, tüm yapay zeka uzmanları GPU'nun önemini bir anda anladı. **
İki yıl sonra GoogLeNet modelini alarak ImageNet'e katılan Google, NVIDIA GPU'ları kullanarak %93 doğruluk oranıyla şampiyonluğu kazandı.Bu yıl katılan tüm ekiplerin kullandığı GPU sayısı 110'a yükseldi. Yarışmaların dışında GPU, derin öğrenme için "sahip olunması gereken bir tüketim" haline geldi ve Huang Renxun'a sürekli bir sipariş akışı gönderdi.
Bu, Nvidia'nın mobil pazardaki fiyaskonun gölgesinden kurtulmasını sağladı. 2007'de iPhone'un piyasaya sürülmesinden sonra akıllı telefon yonga pastası hızla genişledi. Nvidia da Samsung, Qualcomm ve Samsung'dan pastadan pay almaya çalıştı. MediaTek Isı dağılımı sorunu başarısız oldu. Sonunda, Nvidia'ya ikinci bir büyüme eğrisi veren GPU tarafından kurtarılan yapay zeka alanı oldu.
Ama sonuçta GPU, sinir ağlarını eğitmek için doğmadı.Yapay zeka ne kadar hızlı gelişirse, bu sorunlar o kadar fazla açığa çıkacaktır.
Örneğin, GPU, CPU'dan önemli ölçüde farklı olsa da, her ikisi de temelde von Neumann yapısını takip eder ve depolama ve çalışma birbirinden ayrılır. Bu ayrımın getirdiği verimlilik darboğazı sonuçta görüntü işleme adımları nispeten sabittir ve daha paralel işlemlerle çözülebilir ancak çok dallı yapıya sahip sinir ağlarında çok ölümcüldür.
Bir sinir ağı her katman veya dal eklediğinde, geri izleme için verileri depolamak için bir bellek erişimini artırması gerekir ve bunun için harcanan zaman kaçınılmazdır. Özellikle büyük modeller çağında, model ne kadar büyükse, o kadar çok bellek erişim işleminin gerçekleştirilmesi gerekir - bellek erişiminde tüketilen enerji, bilgi işlemdekinden çok daha fazladır.
Basit bir benzetme, GPU'nun kaslı bir adam olduğu (birçok bilgi işlem birimine sahip), ancak alınan her talimat için geri dönüp kullanım kılavuzuna (belleğe) bakması gerektiğidir.Son olarak, modelin boyutu ve karmaşıklığı arttıkça , adam Gerçek iş için zaman çok kısıtlı ve bunun yerine kılavuzları karıştırmaktan o kadar yoruldum ki ağzımdan köpükler geliyor.
Bellek sorunları, derin sinir ağı uygulamalarındaki GPU'ların birçok "rahatsızlığından" yalnızca biridir. Nvidia en başından beri bu sorunların farkındaydı ve yapay zeka uygulama senaryolarına daha uygun hale getirmek için GPU'yu hızla "sihirli bir şekilde değiştirmeye" başladı; ve yangının son derece farkında olan AI oyuncuları da gizlice içeri girerek onu kullanmaya çalışıyor. Huang Renxun'un imparatorluğunun köşesini açmak için GPU'nun kusurları.
**Bir saldırı ve savunma savaşı başlar. **
02, Google ve Nvidia arasındaki karanlık savaş
Yapay zeka bilgi işlem gücüne yönelik ezici talep ve GPU'nun doğuştan gelen kusurlarıyla karşı karşıya kalan Huang Renxun, el ele gidecek iki çözüm seti sundu.
**İlk set, "eski bilgi işlem gücü perisinin sınırsız sihirli gücü var" yolunda şiddetli bir şekilde bilgi işlem gücü biriktirmeye devam etmektir. **Yapay zeka bilgi işlem gücüne olan talebin her 3,5 ayda bir ikiye katlandığı bir çağda, bilgi işlem gücü, yapay zeka şirketlerinin gözlerinin önünde asılı duran havuç gibidir ve onları bir köpek gibi kaparken üstün kılıç becerileri için Huang Renxun'u azarlamalarına neden olur. Nvidia'nın kapasitesinin tamamı.
**İkinci set, GPU ve yapay zeka senaryoları arasındaki uyumsuzluğu "geliştirilmiş inovasyon" yoluyla kademeli olarak çözmektir. **Bu sorunlar arasında güç tüketimi, bellek duvarları, bant genişliği darboğazları, düşük kesinlikli hesaplamalar, yüksek hızlı bağlantılar, belirli model optimizasyonları bulunur ancak bunlarla sınırlı değildir... 2012'den beri Nvidia, mimari güncellemelerinin hızını aniden artırdı.
Nvidia, CUDA'yı piyasaya sürdükten sonra, Grafik ve Bilgi İşlem olmak üzere iki ana senaryoyu desteklemek için birleşik bir mimari kullandı. İlk nesil mimari 2007'de ortaya çıktı ve Tesla olarak adlandırıldı.Bunun nedeni Huang Renxun'un Musk'a olan iyiliğini göstermek istemesi değil, fizikçi Nikola Tesla'ya saygılarını sunmak istemesiydi (en eski nesil Curie mimarisiydi).
O zamandan beri, NVIDIA GPU mimarisinin her nesli, aşağıdaki şekilde gösterildiği gibi ünlü bilim adamlarının adını almıştır. Mimarinin her yinelemesinde Nvidia, "kasları ve kemikleri kesmeden" geliştirirken bilgi işlem gücünü biriktirmeye devam ediyor.
AI sahnesine uyum sağlamak için, Nvidia'nın "sihirli bir şekilde değiştirilmiş" GPU'su, bir dereceye kadar CPU'ya daha çok benziyor - tıpkı CPU'nun mükemmel programlama yeteneğinin bilgi işlem gücü pahasına olması gibi, Nvidia'nın kendini kısıtlaması gerekiyor. bilgi işlem çekirdeklerinin istiflenmesi. Bununla birlikte, çok yönlülüğün yükü ile GPU'yu nasıl değiştirirseniz değiştirin, yapay zeka senaryosunda özel çipi eşleştirmek zor olacaktır.
** Nvidia'ya ilk saldıran, AI bilgi işlem için büyük ölçekte GPU satın alan ilk kişi olan Google oldu. **
Google, 2014 yılında GoogLeNet ile kaslarını sergiledikten sonra artık makine tanıma yarışmasına alenen katılmadı ve yapay zekaya özgü çipler geliştirmek için komplo kurdu. 2016'da AlphaGo ile liderliği ele geçiren Google, Li Shishi'yi kazandıktan sonra hemen kendi geliştirdiği yapay zeka çipi TPU'yu piyasaya sürdü ve "yapay zeka için doğmuş" yeni bir mimariyle Nvidia'yı şaşırttı.
TPU, Tensor Processing Unit'in kısaltmasıdır ve Çince adı "tensör işleme birimi"dir. Nvidia'nın GPU'daki "sihirli reformu", batı duvarını telafi etmek için doğu duvarını yıkmaksa, TPU, depolama ve bağlantı talebini temelde azaltmak ve çip alanını hesaplamaya büyük ölçüde aktarmaktır. . Spesifik olarak, iki Büyük şu anlama gelir:
**Birincisi kantitatif teknolojidir. **Modern bilgisayar hesaplamaları genellikle çok fazla bellek kaplayan yüksek hassasiyetli veriler kullanır, ancak aslında çoğu sinir ağı hesaplaması 32 bit veya 16 bit kayan nokta hesaplamalarına ulaşmak için kesinlik gerektirmez. teknoloji temel olarak 32-bit/16-bit'i birleştirmek içindir. Sayılar 8-bit tamsayılara yaklaştırılarak uygun doğruluk korunur ve depolama gereksinimleri azaltılır.
İkincisi sistolik dizidir, TPU ile GPU arasındaki en kritik farklardan biri olan matris çarpım dizisidir. Basitçe söylemek gerekirse, sinir ağı işlemleri çok sayıda matris işlemi gerektirir.GPU, matris hesaplamalarını yalnızca adım adım çoklu vektör hesaplamalarına ayırabilir.Bir grup tamamlandığında, belleğe erişmesi ve sonuçları kaydetmesi gerekir. tüm vektör hesaplamaları tamamlanana kadar bu katmanı kullanın ve ardından çıktı değerini elde etmek için her katmanın sonuçlarını birleştirin.
TPU'da binlerce bilgi işlem birimi doğrudan bağlanarak bir matris çarpım dizisi oluşturur.Bilgisayar çekirdeği olarak matris hesaplamaları doğrudan yapılabilir.Başlangıçta veri ve işlevlerin yüklenmesi dışında, depolama birimlerine erişmeye gerek yoktur. erişimi büyük ölçüde azaltır Frekans, TPU'nun hesaplama hızını büyük ölçüde hızlandırır ve enerji tüketimi ile fiziksel alan işgali de büyük ölçüde azalır.
Google'ın TPU'su çok hızlıdır ve tasarım, doğrulama ve seri üretimden kendi veri merkezine son dağıtımına kadar yalnızca 15 ay sürmüştür. Testin ardından TPU'nun CNN, LSTM, MLP ve diğer AI senaryolarındaki performansı ve güç tüketimi, aynı dönemde Nvidia'nın GPU'sunu büyük ölçüde geride bıraktı. **Tüm baskı bir anda Nvidia'ya verildi. **
Büyük bir müşteri tarafından arkadan bıçaklanmak rahatsız edicidir, ancak Nvidia ayakta durmayacak ve yenilmeyecek ve bir çekişme başladı.
Google'ın TPU'yu piyasaya sürmesinden beş ay sonra Nvidia, 16nm işleminin Pascal mimarisini de tanıttı. Bir yandan, yeni mimari, bağlantı bant genişliğini büyük ölçüde artıran ünlü NVLink yüksek hızlı iki yönlü ara bağlantı teknolojisini sunar; diğer yandan, TPU'nun niceleme teknolojisini taklit eder ve sinir ağının bilgi işlem verimliliğini artırır. veri doğruluğunu azaltarak.
2017'de Nvidia, derin öğrenme için özel olarak tasarlanmış ilk mimari olan Volta'yı piyasaya sürdü ve 4×4 çarpma dizisi TPU 256×256 darbe dizisiyle aynı olmasına rağmen, özellikle matris işlemleri için kullanılan TensorCore'u ilk kez tanıttı. Oran biraz perişan, ancak aynı zamanda esneklik ve çok yönlülüğü koruma temelinde yapılan bir uzlaşmadır.
NVIDIA yöneticileri müşterilere şunu beyan etti: ** "Volta, Pascal'ın bir yükseltmesi değil, yepyeni bir mimaridir."**
Google da zamana karşı yarışıyor 2016'dan sonra 5 yılda 3 nesil güncellenen TPU, 2017'de TPUv2'yi, 2018'de TPUv3'ü ve 2021'de TPUv4'ü piyasaya sürdü ve verileri Nvidia'nın yüzüne koydu. [4] : **TPU v4, Nvidia A100'den 1,2-1,7 kat daha hızlıdır ve güç tüketimini 1,3-1,9 kat azaltır. **
Google, TPU çiplerini dış dünyaya satmıyor ve aynı zamanda Nvidia'nın GPU'larını büyük miktarlarda satın almaya devam ediyor, bu da ikisi arasındaki AI çip rekabetinin "açık rekabet" yerine "soğuk savaş" içinde kalmasına neden oluyor. Ancak sonuçta Google, dış dünyaya yapay zeka bilgi işlem gücü hizmetleri sağlamak için TPU'yu kendi bulut hizmet sisteminde kullanıyor ve bu da şüphesiz Nvidia'nın potansiyel pazarını azaltıyor.
İkili "karanlıkta savaşırken" yapay zeka alanındaki gelişmeler de hızlı ilerliyor. 2017'de Google, devrim niteliğindeki Transformer modelini önerdi ve ardından OpenAI, Transformer'a dayalı GPT-1'i geliştirdi. Büyük modellerin silahlanma yarışı patlak verdi ve yapay zeka bilgi işlem gücüne olan talep, ortaya çıkışından bu yana ikinci ivmeyi başlattı. 2012 yılında AlexNet.
Yeni trendi fark ettikten sonra 2022 yılında Hopper mimarisini hayata geçiren Nvidia, Transformer tabanlı büyük dil modelinin eğitim süresini 9 kat artırabileceğini iddia ederek Transformer hızlandırma motorunu ilk kez donanım seviyesinde tanıttı. Hopper mimarisine dayanan Nvidia, "yüzeydeki en güçlü GPU" olan H100'ü piyasaya sürdü.
H100, Nvidia'nın nihai "dikiş canavarı"dır. Bir yandan niceleme, matris hesaplama (Tensor Core 4.0) ve Transformer hızlandırma motoru gibi çeşitli AI optimizasyon teknolojilerini sunarken, diğer yandan Nvidia'nın geleneksel güçlü yönleriyle doludur. 7296 CUDA Core, 80 GB HBM2 bellek ve 900 GB/sn'ye kadar NVLink 4.0 bağlantı teknolojisi gibi.
H100'ü elinde tutan Nvidia, geçici olarak rahat bir nefes aldı.Piyasada H100'den daha iyi seri üretilen bir çip yok.
Google ve Nvidia'nın gizli tahterevallisi de ortak bir başarıdır: Nvidia, Google'dan pek çok yenilikçi teknoloji ithal etti ve Google'ın yapay zeka konusundaki en son araştırması da Nvidia'nın GPU'sunun yeniliğinden tam olarak yararlandı. "sessizce" büyük bir dil modeli tarafından kullanılabilecek bir düzeye indirilir. OpenAI gibi ilgi odağı olanlar da bu ikilinin omuzlarında duruyor.
Ama duygular duygulara aittir ve iş de işe aittir. GPU etrafındaki saldırı ve savunma savaşı, sektörü bir şeyden daha emin hale getirdi: **GPU, yapay zeka için en uygun çözüm değildir ve özelleştirilmiş ASIC'lerin Nvidia'nın tekelini kırma olasılığı vardır. **Çatlaklar açıldı, lezzeti takip eden sadece Google olmayacak.
**Özellikle bilgi işlem gücü, AGI çağında en kesin talep haline geldi ve herkes yemek yerken NVIDIA ile aynı masaya oturmak istiyor. **
03, genişleyen bir çatlak
OpenAI'ye ek olarak, AI patlamasının bu turunda ezber bozan iki şirket var: Biri, çeşitli boyama stillerini kontrol etme yeteneği sayısız karbon tabanlı sanatçıyı korkutan AI çizim şirketi Midjourney; diğeri kurucusu OpenAI'den olan Authropic. Claude diyalog robotu ChatGPT ile ileri geri oynadı.
**Ancak bu iki şirket de süper bilgi işlem oluşturmak için Nvidia GPU'ları satın almadı, ancak Google'ın bilgi işlem hizmetlerini kullandı. **
Yapay zeka bilgi işlem gücündeki patlamayı karşılamak için Google, 4096 TPU'lu bir süper bilgisayar (TPU v4 Pod) oluşturdu. Çipler, yalnızca kendi LaMDA'larını eğitmek için kullanılamayan, kendi geliştirdiği optik devre anahtarları (OCS) ile birbirine bağlıdır. , MUM ve PaLM gibi büyük dil modelleri de AI girişimlerine ucuz ve kaliteli hizmetler sağlayabilir.
Süper hesap makinelerini kendi başına yapan Tesla da var. Araca monteli FSD çipini piyasaya sürdükten sonra Tesla, Ağustos 2021'de kendi D1 çiplerinden 3.000'i ile inşa edilen süper bilgisayar Dojo ExaPOD'u dış dünyaya gösterdi. Bunların arasında D1 yongası, TSMC tarafından 7nm teknolojisi kullanılarak üretiliyor ve 3.000 D1 yongası, Dojo'yu doğrudan dünyanın en büyük beşinci bilgi işlem gücü bilgisayarı yapıyor.
**Ancak, ikisinin kombinasyonu, Microsoft'un kendi geliştirdiği Athena çipinin getirdiği etkiyle kıyaslanamaz. **
Microsoft, Nvidia'nın en büyük müşterilerinden biridir. Kendi Azure bulut hizmeti, en az on binlerce A100 ve H100 üst düzey GPU, SwiftKey ve AI kullanan diğer ürünleri satın aldı.
Dikkatli bir hesaplamadan sonra Microsoft'un ödemek zorunda olduğu "Nvidia vergisi" astronomik bir rakam ve kendi geliştirdiği çipler neredeyse kaçınılmaz. Tıpkı Ali'nin Taobao Tmall'ın bulut bilgi işlem, veritabanları ve depolamaya yönelik gelecekteki talebini hesaplaması ve bunun astronomik bir rakam olduğunu bulması gibi, kararlı bir şekilde Alibaba Cloud'u desteklemeye başladı ve şirket içinde güçlü bir "de-IOE" kampanyası başlattı.
** Maliyet tasarrufu bir yönüdür ve farklılaşma yaratmak için dikey entegrasyon başka bir yönüdür. **Cep telefonları çağında, Samsung cep telefonlarının CPU (AP), hafıza ve ekranının kendi üretilip satılması, Samsung'un küresel Android hegemonyasına büyük katkı sağlıyor. Google ve Microsoft'un çekirdek yapımı da kendi bulut hizmetleri için çip düzeyinde optimizasyon yaparak farklılık yaratıyor.
Bu nedenle, dış dünyaya çip satmayan Apple ve Samsung'un aksine, Google ve Microsoft'un AI çipleri dış dünyaya satılmayacak olsa da, Nvidia'nın potansiyel müşterilerinin bir kısmını “AI bilgi işlem gücü bulut hizmetleri” aracılığıyla sindirecekler. ve Authropic buna örnektir.Bulut hizmetlerini seçen daha küçük şirketler (özellikle AI uygulama katmanında) vardır.
**Küresel bulut bilişim pazarının yoğunluğu çok yüksek. İlk beş üretici (Amazon AWS, Microsoft Azure, Google Cloud, Alibaba Cloud ve IBM) %60'tan fazlasını oluşturuyor ve hepsi kendi yapay zeka yongalarını üretiyor. Bunlar arasında en hızlı ilerlemeyi Google sağlıyor, rezervleri en güçlü olan IBM, en büyük etkiye sahip olan Microsoft, en iyi gizlilik Amazon'a ait ve en fazla zorluk Ali'ye ait. **
Yerli büyük üreticiler kendi çiplerini geliştiriyor ve Oppo Zheku'nun sonu sahaya giren her oyuncuya gölge düşürecek. Ancak denizaşırı büyük şirketler kendi araştırmalarını yapıyor ve fonlarla yetenek ve teknoloji tedarik zincirleri inşa edilebiliyor. Örneğin, Tesla FSD ile uğraşırken Silikon Vadisi tanrısı Jim Keller'ı işe aldı ve Google TPU'yu geliştirdi ve doğrudan davet etti Turing. Ödül sahibi, RISC mimarisinin mucidi Profesör David Patterson.
Yapay zeka çipi girişimlerinin zorluğu, güçlü finansal kaynaklara sahip büyük şirketlerin sürekli yatırımı olmadan Google gibi kendi kendini üretip satamamasıdır.Teknik rota benzersiz veya avantajları özellikle güçlü olmadıkça, temelde hiçbir Nvidia ile savaşırken kazanma şansı, İkincisinin Maliyet ve ekolojik avantajları, müşterilerin tüm şüphelerini neredeyse giderebilir.
**Start-up'ın Nvidia üzerindeki etkisi sınırlıdır ve Huang Renxun'un gizli endişeleri hâlâ dürüst olmayan büyük müşterilerdir. **
Tabii ki, büyük üreticiler hala Nvidia'dan ayrılamaz. Örneğin, Google'ın TPU'su 4. nesle güncellenmiş olsa da, TPU ile birlikte bilgi işlem gücü sağlamak için yine de büyük miktarlarda GPU satın alması gerekiyor; NVIDIA'dan 10.000 GPU satın almayı seçin.
Ancak Huang Renxun, Musk'taki büyük üreticilerin plastik dostluğunu çoktan deneyimledi. 2018'de Musk, kendi araba çipini geliştireceğini kamuoyuna duyurdu (o sırada Nvidia'nın DRIVE PX'i kullanılıyordu.) Huang Renxun, bir konferans görüşmesinde olay yerinde analistler tarafından sorgulandı ve bir süre sahneden inemedi. sırasında. Sonrasında Musk bir "açıklama" yayınladı, ancak bir yıl sonra Tesla yine de arkasına bakmadan Nvidia'dan ayrıldı. [5] .
Büyük fabrikalar maliyet tasarrufu konusunda asla merhamet göstermediler. Bilgisayar çağında Intel'in yongaları B-ucuna satılsa da, tüketiciler güçlü bir özerklik seçeneğine sahip ve üreticilerin "Intel Inside" reklamını yapması gerekiyor; ancak bilgi işlem gücü bulut çağında, devler temeldeki tüm donanım bilgilerini engelleyebilir ve gelecekte de satın alacaklar.100TFlops bilgi işlem gücü ile tüketiciler hangi parçanın TPU'dan ve hangi parçanın GPU'dan geldiğini anlayabilir mi?
Bu nedenle Nvidia sonunda şu soruyla yüzleşmek zorunda: **GPU gerçekten de yapay zeka için doğmadı, ancak GPU yapay zeka için en uygun çözüm olacak mı? **
Huang Renxun, son 17 yılda GPU'yu tek bir oyun ve görüntü işleme sahnesinden ayırarak onu genel amaçlı bir bilgi işlem gücü aracı haline getirdi. Yeni senaryolar, "genellik" arasında bir denge bulmaya çalışarak GPU'yu "sihirli bir şekilde değiştirmeye" devam ediyor. " ve "özgünlük".
Son yirmi yılda Nvidia, sektörü değiştiren sayısız yeni teknolojiyi tanıttı: CUDA platformu, TensorCore, RT Core (ışın izleme), NVLink, cuLitho platformu (bilgi işlem litografi), karma hassasiyet, Omniverse, Transformer motoru ... Bunlar teknolojiler, ilham verici olmayan tüm endüstrinin piyasa değerinde ikinci kademe bir çip şirketinden bir Nanbo bilekliğine kadar Nvidia'ya yardımcı oldu.
Ama bir nesil, bir çağın bilgi işlem mimarisine sahip olmalıdır.Yapay zekanın gelişimi hızla ilerliyor ve teknolojik atılımlar saatlerle ölçülüyor.Yapay zekanın insan hayatına PC'lerin/akıllı telefonların popüler olduğu zamanki kadar nüfuz etmesini istiyorsanız, o zaman bilgi işlem gücü Maliyetlerin %99 oranında düşmesi gerekebilir ve gerçekten de GPU'lar tek yanıt olmayabilir.
**Tarih bize, bir imparatorluk ne kadar müreffeh olursa olsun, bu göze çarpmayan çatlağa karşı dikkatli olması gerektiğini söylüyor. **
Referanslar
[1] Derin Konvolüsyonel Sinir Ağları ile ImageNet Sınıflandırması, Hinton
[2] Microsoft, Makine Öğrenimi Maliyetleri Artarken Yapay Zeka Yongasını Hazırlıyor, Bilgi
[3] Belge İşleme için Yüksek Performanslı Konvolüsyonel Sinir Ağları
[4] Google'ın Cloud TPU v4'ü, sektör lideri verimlilikle exaFLOPS ölçeğinde makine öğrenimi sağlar
[5] Tesla'nın AI emelleri, Tokawa Araştırma Enstitüsü
[6] Grafik İşlemcileri Kullanan Büyük Ölçekli Denetimsiz Öğrenme