Myślisz o wejściu w projekty ze sztuczną inteligencją?

Jeśli zastanawiasz się o rywalizowaniu z dużymi firmami technologicznymi poprzez wykorzystanie sztucznej inteligencji to masz przed sobą trudne zadanie.

Photo by Nathan Cowley on Pexels.com

Nie chodzi mi tutaj o zniechęcanie kogokolwiek a raczej uwzględnienie swoją sytuację aby uchronić Cię przed marnowaniem zasobów.

Zanim zagłębimy się w to zagadnienie, najpierw sprawdźmy, dlaczego duże firmy technologiczne dużo inwestują w rozwój sztucznej inteligencji. Dla wielu Start-up’ów marzących o byciu jednorożcem, prawdziwym marzeniem jest, aby rozwijająca się dopiero firma szła łeb w łeb z gigantami świata technologii, ale porozmawiajmy o tym, dlaczego tak się dzieje. Wszystko sprowadza się do kilku rzeczy: pieniędzy i kosztu wejścia. To takie proste ???
Niestety odpowiedź , że sztuczna inteligencja to przyszłość i te globalne firmy o tym wiedzą. Rozumieją potencjał sztucznej inteligencji do zrewolucjonizowania każdego aspektu naszego życia, od opieki zdrowotnej, przez finanse, po transport, i chcą być na czele tej rewolucji. Inwestują już zatem miliardy dolarów w rozwój najnowocześniejszych technologii AI, które zapewnią im w przyszłości przewagę konkurencyjną na rynku.

Konkurowanie z budżetami i skalą rozwoju sztucznej inteligencji gigantów

1. Koszty wejścia – dla GPT-4 jest on ogromny, a w rzeczywistości jest sześciokrotnie większy niż GPT-3. To naturalnie prowadzi nas do zastanowienia się:
   • Jakie są rzeczywiste koszty i bariery inwestycyjne, jeśli chodzi o konkurencję AI?
   • Dlaczego wydaje się, że tylko największe firmy technologiczne, takie jak Microsoft i OpenAI, mają wszystko, czego potrzeba, aby uruchomić duże modele językowe (LLM) tak ogromne jak GPT-4?
     • Najpierw musimy zrozumieć rzeczywistą cenę związaną z opracowywaniem takich modeli sztucznej inteligencji. Prawda jest taka, że tworzenie i utrzymywanie modeli sztucznej inteligencji tego kalibru wiąże się z ogromnymi kosztami. Dlatego to zazwyczaj główni gracze technologiczni, dysponujący obfitymi zasobami i głębokimi kieszeniami, są w stanie sprostać projektom na taką skalę.
     • Istotnym czynnikiem stojącym za tymi wysokimi kosztami jest potrzeba posiadania najnowocześniejszej infrastruktury obliczeniowej. Aby uruchomić LLM, takie jak GPT-4, potrzebujesz mnóstwo mocy obliczeniowej i najwyższej klasy sprzętu, który może być dość drogi i poza zasięgiem mniejszych firm lub start-upów
     • Rzeczywiste koszty i bariery inwestycyjne w konkurencji AI sprowadzają się do zasobów wymaganych do tworzenia, zarządzania i ulepszania modeli AI, takich jak GPT-4. To połączenie inwestycji finansowych w infrastrukturę, przetwarzanie danych i poszukiwanie najwyższej klasy talentów sprawia, że mniejszym firmom trudno jest dorównać technologicznym gigantom na tej arenie.
     • Weźmy na przykład OpenAI i ich imponujące modele GPT-4. Te przełomowe modele sztucznej inteligencji nie byłyby możliwe bez wsparcia firmy Microsoft i jej niesamowitych zasobów, takich jak najnowocześniejsze procesory graficzne NVidia w centrach danych Azure. Dodaj do tego dedykowany zespół dozorców danych w Indiach i, oczywiście, ich pozornie nieskończone rezerwy gotówki
     • ChatGPT potrzebuje dużej mocy obliczeniowej, aby generować odpowiedzi na podstawie podpowiedzi użytkownika. Wstępne szacunki branżowe dotyczące modelu GPT-3 OpenAI są prawdopodobnie jeszcze droższe w utrzymaniu, niż mogłoby się wydawać.
     • Załóżmy więc kapelusz matematyczny i spróbujmy oszacować, korzystając z informacji z porównywalnej platformy, takiej jak Google Cloud.
     • Widzisz, liczba parametrów w modelu językowym może nam wiele powiedzieć o infrastrukturze wymaganej do uruchomienia sztucznej inteligencji. Te parametry określają ogólną pojemność i możliwości języka generatywnego w dużym modelu językowym (LLM) i bezpośrednio wpływają na rozmiar obliczeń klaster potrzebny do jego szkolenia.
     • O ile GPT1 szacowano na 117m parametrów o tyle GTP3 już 175b parametrów natomiast GTP4 tysiące razy więcej
     • TrendForce szacuje, że ChatGPT OpenAI będzie ostatecznie wymagał ponad 30 000 kart graficznych Nvidii. Wykorzystując akcelerator A100 (Ampere) jako punkt odniesienia, firma TrendForce ustaliła, że ChatGPT wymaga około 20 000 jednostek do przetwarzania danych szkoleniowych. Oczekuje się jednak, że liczba ta znacznie wzrośnie, potencjalnie przekraczając 30 000 jednostek, w miarę kontynuowania przez OpenAI komercyjnego wdrażania ChatGPT i firmowego modelu generatywnego wstępnie przeszkolonego transformatora (GPT).
     • Obliczanie GPT4: roczne wydatki operacyjne na hosting w chmurze:
       • Podstawowa cena 1 procesora graficznego NVIDIA A100 hostowanego w chmurowym centrum danych wynosi co najmniej 3,50 USD za godzinę w Google Cloud, a cena przekracza 5,00 USD w innych chmurach, takich jak AWS i Lambda Labs.
       • CENA OPERACYJNA KAŻDEGO GPU NA ROK:
       • @ 3,50 USD / godz. x 24 godz. x 365 DNI = 30 660 USD
         • Tak, dobrze to przeczytałeś. Całkowity koszt hostingu wynosi średnio 30 000 USD lub więcej rocznie na pojedynczy procesor graficzny. Astronomiczne!
         • Dla porównania, liczba ta jest większa niż średni roczny dochód indywidualnego gospodarstwa domowego w dwóch trzecich krajów świata. Oznacza to 30 tys. dolarów na procesor graficzny rocznie.
         • Aby zyskać dalszą perspektywę, spójrzmy, ile kosztowałoby korzystanie z GPT4 w ujęciu rocznym. Oto szacunkowe koszty obsługi GPT4 i GPT3 w przypadku korzystania z centrum danych Google Cloud:
           • na GPT3 na 8tys kartach graf wynosi 125MUSD / 20GW mocy
           • na GPT4 na 30tys kartach graf wynosi 920MUSD / 105GW mocy
2. Decyzja: Budować czy kupować?
   • Cena 360 milionów dolarów za proces oparty o karty graficzne (ok 30 tys. procesorów graficznych A100)
   • Konfiguracja infrastruktury o wartości 400 milionów dolarów (kable do stojaków itp.)
   • 300 milionów dolarów dla ponad 1000 inżynierów i administratorów danych
   • Ponad 50 milionów dolarów rocznego zużycia energii przez procesor graficzny
   • Dla porównania : Koszty hostingu w chmurze wynoszą 920 milionów dolarów
   • Jednakże koszt budowy nie obejmuje jeszcze zakupu ponad 30 000 procesorów graficznych NVIDIA, których cena wynosi około 12 000 dolarów każdy. Ponadto do hostowania takich wielkoskalowych, połączonych ze sobą superkomputerów AI wymagany jest pomocniczy sprzęt sieciowy, miejsce na dysku i inny sprzęt.
   • Uwzględniając koszt energii, standardowa Nvidia A100 zużywa 400 W na godzinę, co daje łącznie 3,5 megawata rocznie. Przy 30 000 procesorów graficznych działających jednocześnie, całkowite zużycie wynosi 105 gigawatów, co daje dzienny koszt energii w wysokości 140 000 USD przy dzisiejszej cenie 0,50 USD za kilowatogodzinę w Stanach Zjednoczonych. Daje to roczny rachunek za energię w wysokości około 52,5 miliona dolarów.
   • Koszt zakupu 30 000 procesorów graficznych A100 wyniesie minimum 360 mln dolarów. Dodanie kosztów infrastruktury, takiej jak stojaki, obiekt, kable i inne niezbędne komponenty, daje łączną kwotę 400 milionów dolarów. Zatrudnienie ponad 1000 inżynierów i dozorców danych będzie kosztować 300 milionów dolarów.
   • Podsumowując: Całkowity całkowity koszt funkcjonowania GPT-4 wynosi około 1,1 miliarda dolarów rocznie!
3. DANE są obecnie na cenę złota
   • Dane to paliwo napędzające sztuczną inteligencję, a duże firmy technologiczne mają ich mnóstwo. Zbierają dane od swoich użytkowników, ich urządzeń i Internetu jako całości. Daje im to ogromną przewagę nad mniejszymi firmami, które nie mają dostępu do takiej samej ilości danych.
   • Duże firmy technologiczne mają zasoby, aby zatrudniać najlepsze talenty w branży.
   • Mogą oferować wysokie pensje, dodatki i świadczenia, którym mniejsze firmy nie są w stanie dorównać. Oznacza to, że mogą przyciągnąć czołowych badaczy, inżynierów i programistów AI z całego świata. A jeśli nad projektami AI pracują najlepsi utalentowani pracownicy, z pewnością osiągniesz lepsze wyniki.
   • Nie wspominając o zasobach, które można zainwestować w najnowocześniejszy sprzęt i infrastrukturę. Rozwój sztucznej inteligencji wymaga dużej mocy obliczeniowej, a duże firmy technologiczne dysponują zasobami do budowy i utrzymywania ogromnych centrów danych i infrastruktury chmurowej. Daje im to przewagę w szkoleniu i obsłudze modeli sztucznej inteligencji
4. Duży może więcej?
   • Co to wszystko oznacza dla mniejszych firm chcących konkurować na rynku sztucznej inteligencji? Cóż, oznacza to, że mają do czynienia z dość trudnymi przeciwnościami losu. Nawet jeśli uda im się opracować system sztucznej inteligencji, który będzie tak samo dobry jak duże firmy technologiczne, znajdą się w znacznie niekorzystnej sytuacji, jeśli chodzi o dane, talenty, infrastrukturę i doświadczenie.
   • Nie oznacza to jednak, że mniejsze firmy powinny całkowicie zrezygnować ze sztucznej inteligencji. Nadal istnieją możliwości opracowania niszowych produktów i usług AI dostosowanych do konkretnych branż lub przypadków użycia. W branży technologicznej zawsze jest miejsce na innowacje i nowe podejście .
   • Chociaż mniejsze firmy mogą konkurować z dużymi firmami technologicznymi na rynku sztucznej inteligencji, jest to zniechęcające zadanie, które wymaga dużych zasobów, wiedzy specjalistycznej i nieco szczęścia. Zanim więc zdecydujesz się zmierzyć z najcięższymi działami, upewnij się, że masz jasną strategię i realistyczne zrozumienie nadchodzących wyzwań.