IT之家2月19日消息,OpenAI在去年11月召開的DevDay活動中,推出了GPT-4 Turbo,最多支持12.8萬個token:輸入token價格是GPT-4的三分之一,輸出token價格是其二分之一。
OpenAI近日發(fā)布新聞稿,宣布GPT-4 Turbo速率上限翻番,每分鐘最多可處理150萬個token(TPM),而且完全取消了每日限制。

OpenAI為了防止濫用、確保公平性和管理基礎(chǔ)架構(gòu)負載,限制企業(yè)訪問API的速率。這種限制可以防止惡意超載應(yīng)用程序接口,確保所有用戶都能公平訪問,并通過節(jié)流指定時間內(nèi)允許的請求數(shù)量,在高需求期間保持平穩(wěn)的性能。
IT之家注:OpenAI一共使用了5種速率限制:RPM(每分鐘請求數(shù))、RPD(每天請求數(shù))、TPM(每分鐘tokens數(shù)量)、TPD(每天tokens數(shù)量)和IPM(每分鐘圖像數(shù)量)。
需要注意的是,速率限制是對組織級別實施的,對個體用戶沒啥影響。速率限制因所使用的模式而異,組織每月在API上的總支出也有"使用限制"。