Въпреки че определено сте наясно с ChatGPT и вероятно знаете, че големите езикови модели (LLM) се използват за обучение на генеративен AI, може да не знаете степента на изчислителната мощност, необходима, за да оживите тези модели.

Освен това, големите езикови модели, както версията, използвана за ChatGPT, обикновено са патентовани и базирани на английски, и се използват недостатъчно, когато става въпрос за академични изследвания и липсата на езиково разнообразие. Това определено представлява бариера за достъп до тях.

Университетът в Турку, Финландия, пожела да промени това и сега си сътрудничи с 10 университетски изследователски лаборатории в цяла Европа, използвайки суперкомпютъра LUMI за изграждане на чисто нови големи езикови модели на различни европейски езици. В бъдеще те се надяват да създадат основни модели поне за всички официални езици на ЕС, както и за няколко други, които да се използват за академични изследвания и обучение.

Базиран на ускорители AMD Instinct™ GPU и процесори AMD EPYC™, суперкомпютърът LUMI – наскоро класиран като най-бързият суперкомпютър в Европа, както и един от най-енергийно ефективните – позволява на TurkuNLP Group да създава нови модели в рамките на разумен период от време. За сравнение, LUMI е с два порядъка по-голям от предишното поколение машини, налични във Финландия. Преди това на екипа отне половин година, за да обучи предварително езиков модел с 1 милиард параметри на компютър, но сега само за две седмици LUMI успя да обработи около 40 милиарда токени, съставляващи знаци, срички или думи.

Във връзка с това Вайно Хатанпаа, специалист по машинно обучение, каза: „Изчислителният капацитет и възможността за допълнително мащабиране с LUMI позволява на нашите клиенти да тласнат напред границите на машинното обучение и изкуствения интелект.”