Как на самом деле работает ChatGPT: разбор для обычных людей

ChatGPT отвечает так, будто всё понимает. Шутит, объясняет квантовую физику, пишет код. Но понимает ли он что-то на самом деле? Сегодня разберу по шагам, что происходит внутри — от вашего вопроса до готового ответа. Без сложной математики, с понятными аналогиями.

Главная идея: предсказатель слов

Вся суть ChatGPT в одном предложении:

ChatGPT — это очень умный автокомплит. Он предсказывает, какое слово должно идти следующим.

Когда вы набираете сообщение в телефоне, автокомплит предлагает продолжение. ChatGPT делает то же самое, но на невероятно сложном уровне.

Пример:

Вход: "Столица России — это..."
ChatGPT думает: какое слово вероятнее всего идёт дальше?
Ответ: "Москва"

Но как именно он угадывает?

Шаг 1: Токенизация

Ваш текст приходит к ChatGPT как строка символов. Первым делом он разбивает текст на токены.

Токен — это кусочек текста. Не обязательно слово:

• Короткие слова = 1 токен
• Длинные слова = несколько токенов
• Пробелы и знаки — тоже токены

Пример:

"ChatGPT — это круто!" 
→ ["Chat", "GPT", " —", " это", " круто", "!"]
→ 6 токенов

Аналогия: Токенизация — как разрезание предложения на слоги. Модель работает не с буквами и не со словами, а с этими кусочками.

Шаг 2: Эмбеддинги

Компьютер не понимает слова. Он понимает числа.

Поэтому каждый токен превращается в эмбеддинг — набор из сотен чисел (вектор).

"кот" → [0.23, -0.15, 0.87, ..., 0.02]  (768+ чисел)
"собака" → [0.21, -0.12, 0.85, ..., 0.05]

Сейчас покажу на примере.

Похожие по смыслу слова получают похожие векторы. «Кот» и «собака» будут рядом друг с другом в этом пространстве чисел. А «математика» — далеко от них.

Аналогия: Эмбеддинги — это координаты слов на карте смыслов. Похожие слова — как соседние дома.

Шаг 3: Трансформер (Attention)

Вот тут и начинается магия.

У вас есть набор токенов-векторов. Но контекст важен! Слово «банка» в предложении «открой банку» и «иди в банку» означает разное.

Attention (внимание) — механизм, который позволяет каждому токену «смотреть» на все остальные токены и понимать контекст.

"Ключ лежал на столе, он был ржавый"

Вопрос: "он" — это кто?
Attention: смотрит на всё предложение
Ответ: "он" = "ключ" (не "стол")

Аналогия: Attention — как читать книгу, держа в голове ключевые моменты. Вы не забываете, о ком речь, даже через несколько предложений.

Почему Transformer?

ChatGPT построен на архитектуре Transformer (Google, 2017).

Название — не от Трансформеров-роботов. Это название научной статьи: «Attention Is All You Need».

| Элемент | Что делает |

|---------|------------|

| **Self-Attention** | Каждый токен смотрит на все остальные |

| **Multi-Head** | Несколько «голов» внимания одновременно |

| **Feed-Forward** | Обработка каждого токена по отдельности |

| **Layers** | Много слоёв — каждый усложняет понимание |

GPT-4 имеет десятки слоёв Transformer.

Шаг 4: Предсказание следующего слова

После всех преобразований модель получает вероятности для каждого возможного следующего токена.

Вход: "Я люблю"

Вероятности:
- "тебя" — 15%
- "программирование" — 8%
- "есть" — 12%
- "музыку" — 7%
- ...тысячи других вариантов...

Модель выбирает один из вариантов — обычно высоковероятный, но не всегда самый вероятный (иначе ответы были бы скучные).

Шаг 5: Повтор

Получив первое слово ответа, модель добавляет его к контексту и... повторяет весь процесс!

Шаг 1: "Я люблю" → "Я люблю программирование"
Шаг 2: "Я люблю программирование" → "Я люблю программирование, потому"
Шаг 3: "Я люблю программирование, потому" → "Я люблю программирование, потому что"
...

Аналогия: Игра «продолжи предложение». Каждый ход — одно слово. Игра продолжается, пока не дойдёт до конца.

Что ChatGPT НЕ делает

А теперь о том, что ChatGPT НЕ делает:

❌ Не «думает»

У него нет внутреннего монолога. Нет размышлений. Только статистическое предсказание следующего слова.

❌ Не «понимает»

Он не знает, что такое «грусть» или «любовь». Он знает, какие слова обычно идут рядом с этими словами.

❌ Не «помнит» между сессиями

Каждый новый чат — с чистого листа. Память только в пределах контекстного окна.

❌ Не ищет в интернете (по умолчанию)

Базовый ChatGPT отвечает из того, что «выучил» на тренировке. Поиск — отдельная функция.

Почему ChatGPT галлюцинирует

Вот почему он иногда несёт чушь.

Галлюцинации — когда ChatGPT выдумывает несуществующие факты.

Почему это происходит:

1. Модель НЕ проверяет факты — она предсказывает слова
2. Если паттерн «выглядит правильно» — модель его выдаёт
3. Она не знает, чего не знает

Аналогия: Студент на экзамене, который не знает ответ, но стесняется сказать «не знаю». Он что-то говорит — и это звучит уверенно.

Пример:

Вопрос: "Кто написал книгу 'Тайный код Вселенной'?"
ChatGPT: "Книгу написал Джон Смит в 2015 году."
Реальность: Такой книги не существует.

Почему плохо считает

ChatGPT иногда ошибается в простой математике. Почему?

1. Он не калькулятор — он предсказывает слова
2. Числа — просто токены — «123» для него как «abc»
3. Обучался на текстах — а не на математических операциях

Модель может «угадать» ответ, если видела похожие примеры. Но для нестандартных вычислений — легко ошибётся.

Масштаб

Несколько цифр для понимания масштаба:

| Модель | Параметры | Данные для обучения |

|--------|-----------|---------------------|

| GPT-2 (2019) | 1.5 миллиарда | ~40 ГБ текста |

| GPT-3 (2020) | 175 миллиардов | ~570 ГБ текста |

| GPT-4 (2023) | ~1.8 триллиона (оценка) | ? |

Параметры — это веса модели. Чем больше параметров, тем сложнее паттерны модель может выучить.

Итог: инструмент, а не разум

ChatGPT — это:

• ✅ Невероятно мощный инструмент
• ✅ Отличный помощник для текстов, кода, идей
• ✅ Впечатляющая инженерная работа

ChatGPT — это НЕ:

• ❌ Мыслящее существо
• ❌ Источник 100% правды
• ❌ Замена критическому мышлению

Понимание того, как это работает, помогает использовать инструмент правильно — и не ожидать от него невозможного.

📖 Словарик

• Токенизация — разбиение текста на кусочки (токены)
• Эмбеддинг — числовое представление слова (вектор)
• Transformer — архитектура нейросети с механизмом внимания
• Attention — способность модели «смотреть» на весь контекст
• Галлюцинации — когда модель выдумывает несуществующие факты
• Параметры — веса модели (миллиарды чисел)

📅 Актуально на: январь 2026

Теперь понятнее, как это работает? Или кажется, что ChatGPT всё-таки «понимает»? Спорим в комментариях!

Если статья была полезной — подписывайтесь, будет ещё много интересного!