Superkomputer LUMI przyspieszy trenowanie AI w europejskich językach. Potężną maszynę zbudowało konsorcjum 10 państw, w tym Polska. Wystarczą dwa tygodnie na przetworzenie 40 miliardów tokenów.
Żeby chatboty wykorzystujące sztuczną inteligencję mogły sprawnie komunikować się z człowiekiem, muszą zgromadzić odpowiedni zasób słów i pojęć. Umożliwiają to tzw. duże modele językowe LLM (od ang. large language models), takie jak modele GPT w usługach ChatGPT czy Bing.
Model językowy LLM jest jak świadomość i wiedza człowieka, wymaga więc nauki. Na wytrenowanie AI, której dostarcza się treści takie jak książki, artykuły i strony internetowe, potrzeba jednak ogromnej mocy obliczeniowej, co spowalnia proces uczenia. Co więcej modele LLM zwykle działają w oparciu o własnościowe technologie oraz wyłącznie język angielski, co ogranicza pole ich wykorzystania.
By to zmienić, fiński Uniwersytet Turku rozpoczął współpracę z laboratoriami w Europie i zamierza stworzyć nowe modele językowe LLM w wielu europejskich językach. W przyszłości mają powstać modele dla co najmniej wszystkich oficjalnych języków Unii Europejskiej, a także kilku innych.
Umożliwi to budowany w ostatnich latach superkomputer LUMI (Large Unified Modern Infrastructure), znajdujący się w centrum danych CSC w Kajaani w Finlandii. Szczytowa wydajność LUMI to 552 petaflopsów.
Potężną maszynę zbudowało konsorcjum LUMI złożone z 10 państw, w tym Polski. W naszym kraju od strony naukowej za projekt odpowiada Akademickie Centrum Komputerowe Cyfronet AGH. Do konsorcjum należy ponadto Finlandia, Belgia, Czechy, Dania, Estonia, Islandia, Norwegia, Szwecja i Szwajcaria.
Superkomputer LUMI ruszył w 2022 roku jako platforma stworzona z myślą o międzynarodowej współpracy badawczej oraz rozwoju sztucznej inteligencji i technologii kwantowej. Może nieść pomoc w zrozumieniu takich zjawisk jak zmiana klimatu, ale może być też wykorzystywany do trenowania AI.
Ambicją jest stworzenie największego otwartego modelu ze wsparciem dla europejskich języków. (…) LUMI staje się dojrzałą platformą dla dużej skali AI. W przyszłości będziemy trenować ją na znacznie większych tokenach. Prawdopodobnie będą one większe niż bilion słów. (…) AMD wykonało znakomitą pracę importując najważniejsze oprogramowanie z tej dziedziny na swoją platformę
– powiedział Sampo Pyysalo z Uniwersytetu Turku.
LUMI to najszybszy superkomputer w Europie i jeden z najbardziej efektywnych energetycznie na świecie dzięki zastosowaniu procesorów AMD EPYC i akceleratorów AMD Instinct. Jego konfiguracja umożliwia grupie badaczy TurkuNLP tworzenie nowych modeli w rozsądnym czasie.
Wcześniej w Finlandii wstępny trening LLM z jednym miliardem parametrów zajmował aż pół roku, a teraz wystarczą dwa tygodnie, ażeby LUMI przetworzył 40 miliardów tokenów składających się na znaki, sylaby i słowa.
Zobacz: Polacy mogą już korzystać z Google Barda. Oto jak zacząć
Zobacz: Włamał się na konto bankowe. Pomogła sztuczna inteligencja
Źródło zdjęć: www.lumi-supercomputer.eu
Źródło tekstu: AMD, LUMI, wł.
