Intro

Math recap

1. Dot product - мера сонаправленности двух векторов.

   $<u,v>\ = u_1v_1 + u_2v_2 =|u||v| \cos\varphi.$

1. Matrix multiplication - насколько строки левой матрицы скалярно близки к столбцам второй матрицы.

   $A = \begin{bmatrix} a_1 & a_2 \\ a_3 & a_4 \end{bmatrix}, v = \begin{bmatrix} v_1 \\ v_2 \end{bmatrix}, Av = \begin{bmatrix} <r_1, v_1> \\ <r_2, v_1> \end{bmatrix}.$

Embeddings

Embedding - векторное представление слова**.**

Lena Voita NLP course - все до LLM.

Pretrain-Finetune

преимущества LLM

• собрали очень много текста, со всего света;
• взяли только декодер;
• подаём текст;
• получаются токены для каждого входного эмбеддинга;
• для каждого подмножества, начиная с начала предложения;
• весь текст, все что мы знаем, за какой последовательностью идёт слово, мы пытаемся предсказывать следующий токен, где ошиблись - собираем loss, получаем функцию потерь, от которой берём градиент от $\theta$, чтобы loss уменьшался по всем батчам слов, который мы подаём.

Трансформеры: выводы

• чем больше батч, тем лучше качество, но это тяжело по памяти;
• аккумуляция градиентов: ;
• при обучении трансформера надо давать последовательности не случайным образом, а агрегировать данные, которые друг к другу ближе (главы, статьи); начинать обучение лучше с коротких последовательностей;