POPA ReconВ этом выпуске джема разбираем трансформер от токена до вероятности: почему GPT не понимает текст, а только предсказывает символы, и почему…
В этом выпуске джема разбираем трансформер от токена до вероятности: почему GPT не понимает текст, а только предсказывает символы, и почему RAG почти не работает. — Токенизация BPE и эмбеддинги: как буквы становятся цифрами. — Механизм Attention (Q, K, V): метафора «ключ–запрос–значение» и квадратичная сложность O(n²). — Файнтюнинг и катастрофическое забывание: как сломать модель одним датасетом. — Инструкции, system prompt и Data drift: почему бот тупеет при смене тарифа. — Кризис RAG: семантическая близость ≠ полезный контекст (60–70% — потолок). — Трансформер как марковская цепь: никакого…
The excerpt is quoted from a public Telegram channel, which owns its text.