Джефф Дін про контекстну інженерію

«Трильйони токенів, змішані в один суп», — так Джефф Дін описує навчальні дані моделі, протиставляючи їм контекст під конкретне завдання, що куди ясніший і точніший. Колишній головний науковець Google, який стояв біля витоків його ШІ, на інтерв'ю Y Combinator із Діаною Ху сказав головне: яку саме модель ви берете — питання другорядне, важливіше те, як ви вибудовуєте систему навколо неї.

Дін називає це контекстною інженерією. Модель, за його словами, — «лише один шматок» великої системи. Значно сильніше на результат впливають інструменти, доступ до пошуку інформації, оркестрація кількох агентів і чіткий контекст, релевантний саме вашій проблемі. Повністю його тези наводить Search Engine Journal.

Що радить Дін:

• вчитися на помилках — дивитися, де модель спотикається на реальних задачах;
• правити інструкції та «скіли», а не параметри: покращуйте контекст, а не перенавчайте модель;
• ітерувати — кожен провал показує, якої інформації моделі забракло.

Ключовий плюс підходу — доступність. Навчання моделі потребує величезних GPU-ресурсів, а контекстна інженерія до снаги будь-кому, хто має API та власну систему видобутку даних та інструментів. Для SEO- і контент-команд це прямий сигнал: не чекайте «розумнішої моделі», а структуруйте інформацію так, щоб ШІ було легко її знайти й правильно використати. Зрозумілі факти, чисті джерела й продумана подача сьогодні важливіші, ніж те, яка саме нейромережа відповідає користувачу.