?? 高可用不是“永遠(yuǎn)不報(bào)錯(cuò)”，而是報(bào)錯(cuò)時(shí)業(yè)務(wù)不掉下去

很多團(tuán)隊(duì)第一次談高可用時(shí)，直覺是多準(zhǔn)備幾個(gè)模型名，等主模型不通了再切。這個(gè)思路只對(duì)了一半。真正影響業(yè)務(wù)體驗(yàn)的，不是切換動(dòng)作有沒有發(fā)生，而是切換發(fā)生時(shí)，用戶有沒有明顯感知、任務(wù)有沒有中斷、賬單有沒有失控。

所以高可用接入的核心，不是簡(jiǎn)單的備用模型列表，而是一整套降級(jí)秩序：什么錯(cuò)誤允許重試，什么錯(cuò)誤應(yīng)該立即切換，什么請(qǐng)求必須保持同模型一致性，什么任務(wù)可以接受能力差異。

把這些規(guī)則提前寫明白，切換才是工程動(dòng)作；不寫明白，切換就只是情緒化應(yīng)對(duì)。

?? 先分清三類故障，再?zèng)Q定怎么切

第一類是連接層問題，比如超時(shí)、**抖動(dòng)、短時(shí)擁堵。這類問題通常適合小次數(shù)、短間隔重試，不一定需要馬上換模型。

第二類是模型層問題，比如上游返回不可用、限流、當(dāng)前模型維護(hù)中。這個(gè)時(shí)候繼續(xù)撞同一個(gè)目標(biāo)意義不大，更適合直接切到預(yù)設(shè)備選模型。

第三類是業(yè)務(wù)層問題，比如提示詞不合法、格式校驗(yàn)失敗、上下文過大。這類問題不是容災(zāi)能解決的，應(yīng)該直接返回清晰錯(cuò)誤，讓調(diào)用方修請(qǐng)求。

retry:
  **x_attempts: 2
  timeout_ms: 20000
fall*ack:
  - claude-sonnet
  - gpt-4.1
  - glm-4.5

?? 故障切換一定要配“切換邊界”

并不是所有請(qǐng)求都適合自由切換。像批量摘要、分類、標(biāo)題生成這類任務(wù)，對(duì)模型一致性要求沒那么高，切換后通常只會(huì)帶來風(fēng)格差異；但如果是合約審校、代碼生成或需要穩(wěn)定結(jié)構(gòu)化輸出的接口，隨意切換可能造成結(jié)果漂移。

因此建議把任務(wù)按容錯(cuò)等級(jí)分層：可自由切換、可有限切換、不可切換。這個(gè)分層一旦建立，接入側(cè)就不會(huì)為了追求表面的成功率，把所有請(qǐng)求都硬切到另一家。

高可用真正值錢的地方，就是在出故障時(shí)仍然保持邊界感，而不是為了一次成功把后續(xù)排查全部搞亂。

?? 實(shí)際接入時(shí)，先把主備順序和超時(shí)閾值定下來

主模型通常負(fù)責(zé)質(zhì)量最穩(wěn)定的默認(rèn)任務(wù)，備模型負(fù)責(zé)在擁堵或限流時(shí)接住請(qǐng)求。這里最容易犯的錯(cuò)誤，是所有模型共用一套超時(shí)值。不同模型、不同任務(wù)長(zhǎng)度，對(duì)等待時(shí)間的容忍度完全不同。

更實(shí)用的做法是：短問答用更短超時(shí)，長(zhǎng)文本生成適當(dāng)放寬；同步接口只保留一次重試，異步任務(wù)可以允許進(jìn)入隊(duì)列后再切。只要規(guī)則和任務(wù)類型掛鉤，容災(zāi)效果會(huì)比“統(tǒng)一重試三次”強(qiáng)很多。

統(tǒng)一入口配置時(shí)，常見做法就是把端點(diǎn)固定到 https://www.lnsns.com/，讓請(qǐng)求都從一個(gè)地方進(jìn)入，再在內(nèi)部做模型選擇和切換。

?? 沒有觀測(cè)，就沒有高可用

一套看起來很漂亮的主備方案，如果沒有日志和指標(biāo)支撐，最后通常只會(huì)留下“系統(tǒng)好像更復(fù)雜了”。至少要盯住四個(gè)數(shù)據(jù)：主模型命中率、切換率、切換后成功率、切換后平均成本。

如果切換率很低但成功率高，說明主鏈路穩(wěn)定；如果切換率很高但切換后成功率一般，說明你的備鏈路只是安慰劑；如果切換后成功率高但成本暴漲，說明策略需要更細(xì)，而不是繼續(xù)放大流量。

高可用不是一次性搭完的功能，更像持續(xù)調(diào)參。

?? 穩(wěn)定鏈路的終點(diǎn)，不是更復(fù)雜，而是更可預(yù)測(cè)

真正成熟的中轉(zhuǎn)站，不會(huì)把所有問題都交給上游。它會(huì)在接入層先完成分流、重試、熔斷、切換，再把結(jié)果以可解釋的形式還給業(yè)務(wù)。

這樣做的好處很直接：白天流量上來時(shí)，團(tuán)隊(duì)不會(huì)因?yàn)橐徊▓?bào)錯(cuò)就滿屏排查；晚上跑批時(shí)，也不會(huì)因?yàn)槟Ｐ颓袚Q把預(yù)算徹底打散。

高可用做得好的系統(tǒng)，看起來往往不熱鬧，因?yàn)榇蠖鄶?shù)問題還沒冒到用戶側(cè)，就已經(jīng)在中間層被消化掉了。