Джефф Дин о контекстной инженерии

«Триллионы токенов, смешанные в один суп», — так Джефф Дин описывает обучающие данные модели, противопоставляя им контекст под конкретную задачу, который куда яснее и точнее. Бывший главный научный сотрудник Google, стоявший у истоков его ИИ, на интервью Y Combinator с Дианой Ху заявил главное: какую именно модель вы берёте — вопрос вторичный, важнее то, как вы выстраиваете систему вокруг неё.

Дин называет это контекстной инженерией. Модель, по его словам, — «лишь один кусок» большой системы. Куда сильнее на результат влияют инструменты, доступ к поиску информации, оркестрация нескольких агентов и чёткий контекст, релевантный именно вашей проблеме. Полностью его тезисы приводит Search Engine Journal.

Что советует Дин:

• учиться на ошибках — смотреть, где модель спотыкается на реальных задачах;
• править инструкции и «скиллы», а не параметры: улучшайте контекст, а не переобучайте модель;
• итерировать — каждый провал показывает, какой информации модели не хватило.

Ключевой плюс подхода — доступность. Обучение модели требует огромных GPU-ресурсов, а контекстная инженерия по силам любому, у кого есть API и своя система извлечения данных и инструментов. Для SEO- и контент-команд это прямой сигнал: не ждите «более умную модель», а структурируйте информацию так, чтобы ИИ было легко её найти и правильно использовать. Понятные факты, чистые источники и продуманная подача сегодня важнее, чем то, какая именно нейросеть отвечает пользователю.