LLM (Large Language Model) — это программа, которая предсказывает следующее слово. Вся "магия" AI — это предсказание слов, одного за другим, очень быстро и очень точно.
Ты хочешь создавать AI-продукты. Для этого нужно понимать, что AI на самом деле делает — не на уровне "он умный", а на уровне "как он работает внутри". Когда ты понимаешь механику, ты можешь:
Представь: ты пишешь сообщение в Telegram. Набираешь "Привет, как твои..." — и клавиатура предлагает следующее слово: "дела". Она предсказала его, потому что видела миллионы сообщений, где после "как твои" идёт "дела".
LLM делает то же самое, но на совершенно другом уровне:
| Автозаполнение в телефоне | LLM (Claude, GPT) |
|---|---|
| Предсказывает 1-2 слова | Предсказывает целые абзацы, статьи, код |
| Обучена на твоих сообщениях | Обучена на огромной части интернета |
| Знает простые шаблоны | Понимает контекст, логику, стиль |
| Не понимает смысл | Улавливает связи между идеями |
Принцип один и тот же — предсказание следующего слова. Разница — в масштабе и глубине.
LLM не программируют вручную. Её обучают — показывают огромное количество текстов, и она сама находит закономерности.
Модели показывают миллиарды текстов — книги, статьи, код, сайты, форумы. Из каждого предложения убирают слово, и модель пытается его угадать.
Текст: "Столица Франции — ___"
Модель угадывает: "Париж" (с вероятностью 97%)
Текст: "Чтобы установить пакет в Python, используй команду ___"
Модель угадывает: "pip install" (с вероятностью 89%)
Так, после триллионов таких угадываний, модель запоминает:
- Факты ("столица Франции — Париж")
- Грамматику ("после 'я' идёт глагол")
- Логику ("если условие истинно, выполни код")
- Шаблоны кода ("после def идёт имя функции")
После предобучения модель умеет продолжать текст, но не умеет быть помощником. Она может написать продолжение статьи, но не ответить на вопрос.
Поэтому её дополнительно обучают на примерах диалогов:
Пользователь: Как создать список в Python?
Помощник: Используй квадратные скобки: my_list = ["a", "b", "c"]
Людям показывают несколько ответов модели, и они выбирают лучший. Так модель учится быть полезной, а не просто продолжать текст.
Аналогия: Представь, что ты наняла стажёра. Этап 1 — он прочитал все книги и статьи по теме (знает много). Этап 2 — ты показываешь ему как отвечать клиентам: "вот так хорошо, а вот так нет" (учится быть полезным).
LLM — это нейронная сеть. Не нужно знать математику, чтобы понять принцип:
Параметры — это "знания" модели. Каждый параметр — число, которое влияет на предсказание.
Claude Haiku — ~20 миллиардов параметров (быстрая, дешёвая)
Claude Sonnet — ~70 миллиардов параметров (баланс скорость/качество)
Claude Opus — ~200+ миллиардов параметров (самая умная, дорогая)
Аналогия: Параметры — как нейроны в мозге. Чем больше нейронов задействовано, тем глубже и точнее ответ. Маленькая модель — как студент-первокурсник: быстро отвечает, но может ошибаться в сложных вопросах. Большая модель — как профессор: думает дольше, но разбирается в тонкостях.
Когда ты будешь делать AI-продукт, ты будешь выбирать модель:
| Задача | Какую модель взять | Почему |
|---|---|---|
| Быстрые ответы в чат-боте | Haiku | Дешёвая, быстрая, для простых задач хватает |
| Анализ текста, работа с данными | Sonnet | Хороший баланс цены и качества |
| Сложные рассуждения, код | Opus | Самая умная, но дороже |
Аналогия: LLM — как очень умный собеседник с амнезией. Он знает невероятно много, может помочь с чем угодно — но каждый раз, когда ты начинаешь новый чат, он тебя не помнит. И иногда он настолько уверен в себе, что выдумывает факты, лишь бы не молчать.
Когда ты пишешь AI, он видит не только твоё последнее сообщение — он видит весь разговор. Но у него есть лимит — контекстное окно.
Claude Sonnet — до 200,000 токенов (~500 страниц текста)
GPT-4 — до 128,000 токенов (~300 страниц текста)
Что такое токен — примерно ¾ слова. "Привет, как дела?" = ~5 токенов.
Когда разговор превышает контекстное окно — модель "забывает" начало. Как если бы ты читала книгу, но помнила только последние 500 страниц.
Подробнее про токены и стоимость — в уроке 2.5.
Когда ты отправляешь сообщение Claude, вот что происходит:
1. Ты пишешь: "Напиши функцию для подсчёта лайков"
2. Твой текст разбивается на токены:
["Нап", "иши", " функ", "цию", " для", " под", "счёта", " лай", "ков"]
3. Модель предсказывает первый токен ответа:
"def" (вероятность 73%)
4. Добавляет "def" к контексту и предсказывает следующий:
" count" (вероятность 61%)
5. И так далее, токен за токеном:
"def count_likes(posts):\n total = 0\n for post in posts:..."
6. Генерация заканчивается, когда модель предсказывает специальный токен "конец".
Весь ответ — это цепочка предсказаний, одно за другим. Поэтому AI иногда "думает" медленно при длинных ответах — он генерирует каждый токен по очереди.
Все LLM делятся на два типа:
Код и веса модели принадлежат компании. Ты не можешь скачать модель на свой компьютер. Доступ только через API — отправляешь запрос на серверы компании, получаешь ответ.
Аналогия: Netflix. Ты смотришь фильмы, но не можешь скачать их и поставить на свой сервер. Ты зависишь от Netflix — если они поднимут цену или уберут фильм, ты ничего не сделаешь.
Примеры: - Claude (Anthropic) — наш основной инструмент - GPT-4, GPT-4o (OpenAI) — популярная альтернатива - Gemini (Google) — интегрирован в Google-сервисы
Компания публикует веса модели. Ты можешь скачать модель и запустить на своём сервере. Бесплатно, без API, без зависимости от чужих серверов.
Аналогия: Скачанный фильм. Он на твоём жёстком диске, ты смотришь его когда хочешь, без интернета, без подписки. Никто не может его у тебя забрать.
Примеры: - Llama (Meta) — одна из самых мощных открытых моделей - Mistral (Mistral AI) — сильная европейская модель
| Критерий | Закрытая (Claude, GPT) | Открытая (Llama, Mistral) |
|---|---|---|
| Качество ответов | Обычно выше | Догоняют, но пока слабее в сложных задачах |
| Нужен свой сервер? | Нет, работает через API | Да, нужен мощный сервер с GPU |
| Приватность данных | Данные уходят на серверы компании | Данные остаются у тебя |
| Стоимость | Платишь за каждый запрос | Бесплатно, но платишь за сервер |
| Настройка | Берёшь как есть | Можно дообучить под себя |
Для наших проектов мы используем Claude — ты уже работаешь с ним, и у тебя уже есть API-ключ. Открытые модели пригодятся позже, когда захочешь полный контроль над данными или снизить расходы.
Открой любой чат с Claude или ChatGPT. Напиши начало предложения и попроси продолжить:
Продолжи предложение: "Когда я открыла терминал и набрала команду git..."
Посмотри, как модель предсказала продолжение. Попробуй 3 разных начала и сравни ответы.
Спроси AI что-то очень конкретное, что можно проверить:
Кто основал компанию Gonka.AI и в каком году?
Проверь ответ. Скорее всего модель либо ответит неточно, либо выдумает — потому что это не в её обучающих данных.
Если у тебя есть доступ к разным моделям, задай одинаковый сложный вопрос (например, "Объясни квантовые вычисления простыми словами") — и сравни глубину и качество ответа.
Задача 1: Что делает LLM, когда ты задаёшь ей вопрос?
Задача 2: Почему AI иногда уверенно говорит неправду?
Задача 3: Ты делаешь Telegram-бота для ответов на частые вопросы клиентов (типа "какой у вас график работы?"). Какую модель выберешь — Haiku, Sonnet или Opus? Почему?
Задача 4: У Claude контекстное окно 200,000 токенов. Ты отправляешь ему книгу на 600 страниц (~240,000 токенов). Что произойдёт?
| Термин | Что значит |
|---|---|
| LLM (Large Language Model) | Большая языковая модель — программа, обученная на огромном количестве текста предсказывать следующее слово. |
| Токен | Минимальная единица текста, с которой работает модель — это может быть слово, часть слова или знак препинания. |
| Нейронная сеть | Математическая структура, вдохновлённая мозгом, которая лежит в основе LLM и позволяет ей обучаться на данных. |
| Обучение (training) | Процесс, при котором модель читает огромное количество текста и настраивает свои параметры, чтобы лучше предсказывать слова. |
| Inference | Момент, когда уже обученная модель получает твой запрос и генерирует ответ. |
| Параметры модели | Числа внутри нейронной сети, которые определяют её "знания" — чем больше параметров, тем умнее модель. |
| Open-source модель | Модель с открытым кодом и весами, которую можно скачать и запустить на своём компьютере (например, LLaMA). |
| Закрытая модель | Модель, доступная только через API — нельзя скачать или посмотреть, как она устроена (например, Claude, GPT). |
| Temperature | Параметр, который управляет "креативностью" модели: 0 — строгие ответы, 1 — более случайные и разнообразные. |
| Галлюцинация | Ситуация, когда модель уверенно выдаёт неправильную или выдуманную информацию. |
| Контекстное окно | Максимальный объём текста (в токенах), который модель может "видеть" за один раз — и запрос, и ответ. |
| Foundation model | Базовая модель, обученная на общих данных, которую потом адаптируют под конкретные задачи. |
В следующем уроке — API: язык программ. Узнаешь, как программы общаются друг с другом — и как ты будешь отправлять запросы к Claude из кода.