GPT-4o吃掉97%预算后,这家AI公司改用任务难度路由省钱
77%调用吃掉97%预算的真实分布 这家公司过去和大多数团队一样,把最强的语言模型设为默认选项。生产环境中GPT-4o承担了77%的调用量,却消耗了全部模型支出的97%。这个数字来自他们对真实生产流量的测量:instrumented production traffic后,团队第一次看清钱到底花在了哪里……
专注于Android、Java、Go语言(golang)、移动互联网、项目管理、软件架构