Podlodka #444 – Архитектура LLM

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.

Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: t.me/podlodka
Telegram-канал: t.me/podlodkanews
Страница в Facebook: www.facebook.com/podlodkacast/
Twitter-аккаунт: twitter.com/PodcastPodlodka

Ведущие в выпуске:
Женя Кателла, Андрей Смирнов

Полезные ссылки:

Illustrated Transformer
jalammar.github.io/illustrated-transformer

Attention is all you need
arxiv.org/abs/1706.03762

Illustrated BERT
jalammar.github.io/illustrated-bert

GPT-family models overview
towardsdatascience.com/meet-gpt-the-decoder-on…

A bit of overview of tokenization
huggingface.co/learn/llm-course/en/chapter6/1