Delavnica NVIDIA: Hitro razvijanje aplikacij z uporabo velikih jezikovnih modelov

Kratek opis: Ta delavnica ponuja praktičen uvod v razvoj aplikacij z velikimi jezikovnimi modeli (LLM). Napredek v tehnikah in dostopnosti LLM-jev odpira neprimerljive priložnosti za podjetja, da poenostavijo svoje poslovanje, zmanjšajo stroške in povečajo produktivnost. Udeleženci bodo pridobili temeljito razumevanje in praktično znanje o razvoju aplikacij z LLM-ji z raziskovanjem odprtokodnega ekosistema, vključno s prednastavljenimi modeli, ki omogočajo hiter začetek razvoja. Ob koncu delavnice lahko udeleženci pridobijo uradni certifikat NVIDIA Deep Learning Institute.
Podrobnejši opis: Delavnica ponuja celovit uvod v razvoj aplikacij z velikimi jezikovnimi modeli. Spoznali boste, kako so strukturirani veliki jezikovni modeli in kako jih uporabljati. Pregledali bomo arhitekture transformerjev, vmesnike in intuicije ter kako se skalirajo za doseganje najsodobnejših rešitev LLM.
Raziskovali boste specializirane kodirne modele (encoder models) za naloge, kot so semantična analiza, vektorske predstavitve (embeddings), odgovarjanje na vprašanja in klasifikacija brez učenja (zero-shot classification). Prav tako se boste naučili uporabljati dekodirne modele (decoder models) za generiranje zaporedij, kot so programska koda, neomejeni odgovori in pogovori.
Ob koncu tečaja boste znali uporabljati tehnike upravljanja stanja in kompozicije za vodenje LLM-jev k varnim, učinkovitim in natančnim pogovorom, vključno z implementacijo RAG (Retrieval-Augmented Generation) za dostop do zunanjega okolja. Ob koncu delavnice lahko udeleženci pridobijo uradni certifikat Deep Learning Institute pri NVIDIA.
Zahtevnost: Osnovna
Jezik: Slovenski
Opis poteka izobraževanja: Delavnica poteka na daljavo preko brskalnika na oblačni infrastrukturi.
Priporočeno predznanje: Osnovno poznavanje globokega učenja in udobje pri uporabi PyTorch ter prenosnem učenju. Srednje poznavanje Pythona, vključno z objektno orientiranim programiranjem in uporabo knjižnic.
Ciljna publika: Študenti računalništva in informatike, inženirji, raziskovalci, razvijalci ter vsi, ki želijo razumeti in uporabljati velike jezikovne modele v praksi.
Na izobraževanju pridobljena znanja:
– Poiskati, uporabiti in eksperimentirati z repozitorijem modelov HuggingFace in pripadajočim API-jem
– Uporabljati kodirne modele za naloge, kot so semantična analiza, vektorske predstavitve, odgovarjanje na vprašanja in klasifikacija brez učenja
– Uporabljati dekodirne modele za generiranje zaporedij, kot so programska koda, neomejeni odgovori in pogovori
– Uporabljati tehnike upravljanja stanja in kompozicije za vodenje LLM-jev k varnim, učinkovitim in natančnim pogovorom
Omejitev števila udeležencev: 30
Virtualna lokacija: MS Teams
Organizator: UM FERI, NVIDIA
Speaker(s): Domen Verber, Jani Dugonik
Agenda:
Previdven program:
10:00–10:15: Uvod (Spoznajte inštruktorje. Ustvarite račun na courses.nvidia.com/join)
10:15–11:30: Od globokega učenja do velikih jezikovnih modelov (Naučili se boste, kako so veliki jezikovni modeli strukturirani in kako jih uporabljati. Pregled globokega učenja in razmišljanja na osnovi razredov ter kako iz tega izhaja jezikovno modeliranje. Razpravljanje o arhitekturah transformerjev, vmesnikih in intuicijah ter o tem, kako se povečujejo in spreminjajo za vrhunske rešitve velikih jezikovnih modelov.
11:30–11:45: Odmor
11:45–12:30: Specializirani kodirni modeli (Naučili se boste, kako obravnavati različne specifikacije nalog: Raziskali boste najsodobnejše kodirne modele HuggingFace. Uporabili boste že prilagojene modele za zanimive naloge, kot so klasifikacija tokenov, klasifikacija zaporedij, napoved obsega in klasifikacija brez učenja)
12:30–13:30: Odmor
13:30–14:15: Kodirno-dekodirni modeli za Seq2Seq: Dekodirni modeli za generiranje besedila
14:25–15:10: Dekodirni modeli za generiranje besedila ( Naučili se boste o dekodirnih modelih v slogu GPT in kako jih določiti ter uporabljati: Raziskali boste, kdaj je dekodirnik samostojen primeren, in obravnavanje težav pri oblikovanju. Razpravljanje o velikosti modela, posebnih tehnikah uvajanja in premislekih. Uporabili boste nekaj velikih modelov za generiranje besedila in si oglejte, kako delujejo).
15:10–15:30: Odmor
15:30–16:30: Stanje velikih jezikovnih modelov (Naučili se boste, kako dvigniti jezikovne modele nad “stohastične papige” z vnosom konteksta: Predstavitev sodobnih tehnik sestavljanja velikih jezikovnih za upravljanje zgodovine in stanja. Razpravljanje o generiranju z izboljšanim iskanjem (RAG) za dostop do zunanjega okolja)
16:30–17:00: Preverjanje znanja in vprašanja/odgovori (Pregled ključnih spoznanj. Opravite preverjanje znanja na osnovi kode in pridobite certifikat.)
Virtual: https://events.vtools.ieee.org/m/534061