
| Рост расходов на токены (авг-сен) | Без изменений (данные Ramp) |
| Общий рост расходов на ИИ (окт) | +1.65% (данные Ramp) |
| Доля расходов на флагманские модели | 69.5% (данные Ramp) |
| Расходы на ИИ в клиентском сервисе | 13.3% от общего объема (по оценке автора) |
| Эффективность Google Orchestrator | Экономия квоты на 24% (по данным Google) |
Кому этот разбор сэкономит час?Отправим со ссылкой и выводом «на деле» — человеку не придётся смотреть весь ролик.
Компании оптимизируют расходы, переходя на компактные специализированные модели и инструменты автоматической маршрутизации, чтобы не переплачивать за мощные «флагманские» ИИ там, где это не требуется.
Видео указывает на риск перепроизводства: если спрос со стороны клиентов будет расти медленнее, чем производственные мощности NVIDIA, это может привести к избытку предложения.
Это новые специализированные модели от Google: Carbon предназначена для сложных логических задач, а Hydrogen оптимизирована для высокой скорости и снижения затрат.
Используйте оркестраторы или ручную маршрутизацию запросов, чтобы сложные задачи решались дорогими моделями (вроде GPT-4 или Gemini Ultra), а простые — бюджетными аналогами.
Автор считает, что снижение качества инженерной культуры, отток опытных кадров и чрезмерное доверие к коду, написанному ИИ, негативно влияют на стабильность систем.