導(dǎo)讀:“光”進(jìn)“銅”退是通信行業(yè)的必然趨勢(shì),但并不意味著“銅”的消失,在數(shù)據(jù)中心標(biāo)準(zhǔn)化快速發(fā)展,數(shù)據(jù)中心硬件設(shè)計(jì)更加極致化的今天,“光”與“銅”需要結(jié)合自身的優(yōu)勢(shì),分別承擔(dān)好自己的“角色”,更好的為數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)。
“銅”進(jìn)“光”退的需求
伴隨著云業(yè)務(wù)的快速發(fā)展,數(shù)據(jù)中心互聯(lián)硬件對(duì)高運(yùn)行穩(wěn)定性和低成本的訴求也越來(lái)越強(qiáng)烈。以 25G 速率的服務(wù)器到交換機(jī)互聯(lián)方案為例,主要的連接方式有兩種,DAC和AOC。
DAC(direct attach cable)顧名思義,由于是直連方案,高速通信信號(hào)在設(shè)備之間傳遞,處于透?jìng)鳡顟B(tài),而常用的AOC(active optical cable)由于需要將電信號(hào)轉(zhuǎn)換成光信號(hào),再轉(zhuǎn)換成電信號(hào),存在多次信號(hào)轉(zhuǎn)換的過(guò)程,會(huì)引入相應(yīng)的適配問(wèn)題,而數(shù)據(jù)中心互聯(lián)硬件故障里面因?yàn)樾盘?hào)或者協(xié)議匹配導(dǎo)致的適配性問(wèn)題占比在 30%以上,而且故障更因定位過(guò)程復(fù)雜、時(shí)間長(zhǎng),嚴(yán)重的會(huì)影響數(shù)據(jù)中心的交付使用。
DAC由于裝配組件少,結(jié)構(gòu)簡(jiǎn)單,相比于AOC在 BOM 成本上有著明顯的優(yōu)勢(shì)。不僅如此,DAC 幾乎沒(méi)有功耗,一根 25GDAC的線(xiàn)纜功耗在 0.1w 左右,而同樣速率的 AOC 功耗在 2w 左右,相差 10 倍以上。以 20w 臺(tái)服務(wù)器接入的規(guī)模為例,一年可以節(jié)省大幾百萬(wàn)的電費(fèi)。
為滿(mǎn)足快速交付的要求,數(shù)據(jù)中心安裝布線(xiàn)的時(shí)效非常重要,布線(xiàn)過(guò)程中必然會(huì)存在線(xiàn)纜損傷,從材料及結(jié)構(gòu)上講,銅比玻璃有著更好的機(jī)械應(yīng)力容忍性,因此,DAC 也能夠比 AOC 容忍更多布線(xiàn)過(guò)程中導(dǎo)致的損傷。
但由于機(jī)柜功耗的限制,服務(wù)器到交換機(jī)的連接距離很多場(chǎng)景下往往需要達(dá)到甚至超過(guò) 7m,所以早期 25G 服務(wù)器到交換機(jī)連接的方式以 AOC(有源光纜)為主,而 DAC(直連銅纜)方案,由于理論上只能支持到 5m 的應(yīng)用,使得其應(yīng)用大為受限。
25G NRZ 的嘗試
在保證低成本的前提下,如何延長(zhǎng)銅纜連接距離,有效的方式有兩種:一種是基于信號(hào)時(shí)鐘恢復(fù)的 Retimer 方案,一種是基于信號(hào)放大的 Redriver 方案,如下圖:
Retimer 技術(shù)原理:
Redriver 技術(shù)原理:
顯而易見(jiàn),以 25G 為例。在成本,功耗和功能復(fù)雜性等各方面,Repeater 方案都有著明顯的優(yōu)勢(shì),因此我們選擇了 Repeater 方案。
根據(jù)信號(hào)傳輸?shù)奶攸c(diǎn),我們?cè)诙鄠€(gè)不同的頻點(diǎn)和頻率范圍進(jìn)行輸出參數(shù)調(diào)整,使輸出信號(hào)能夠,最終使得極限情況下 DAC 的連接距離延長(zhǎng)到了 10m。
但是,理論上設(shè)計(jì)的連接距離,并不意味著最終量產(chǎn)可用,除了成本還要考慮量產(chǎn)一致性和系統(tǒng)的冗余度。
通過(guò)多輪的測(cè)試驗(yàn)證,結(jié)合現(xiàn)網(wǎng)故障率容忍度,我們最終確定了 25G Linear-ACC 的應(yīng)用范圍<8m,這個(gè)距離已經(jīng)可以覆蓋 25G 服務(wù)器 80%的應(yīng)用場(chǎng)景。
最終,25G 相關(guān)的產(chǎn)品帶來(lái)了預(yù)想的收益,通過(guò) DAC+ACC 的布線(xiàn)方案,成本相對(duì)于傳統(tǒng) AOC 方案,降低了 40%,現(xiàn)網(wǎng)故障率由原來(lái)的 0.3%降低一個(gè)數(shù)量級(jí)。
50G PAM4 的升級(jí)
對(duì)于 linear-ACC 方案的嘗試,25G 只是一個(gè)開(kāi)始,無(wú)論是方案,還是成本,都還沒(méi)有做到極致化,進(jìn)入 50G PAM4 時(shí)代,成本必然進(jìn)一步提高,而系統(tǒng)對(duì)于信號(hào)質(zhì)量的要求也更上了一個(gè)臺(tái)階,ACC 的設(shè)計(jì)也需要更加精細(xì)化。在 50G PAM4 調(diào)制下,我們進(jìn)一步參與到的芯片設(shè)計(jì)上,包括整體方案選擇、參數(shù)調(diào)節(jié)功能優(yōu)化、融入降噪技術(shù)等一系列的工作。從這一代開(kāi)始,我們給它一個(gè)新的名字 TAC(Tencent Active Cable)。
200G 7m TAC 產(chǎn)品
1. 更精細(xì)的成本控制
通信行業(yè)硬件成本優(yōu)化離不開(kāi)的大原則:?jiǎn)螐牟牧蠈用嫔现v,InP 比 Si 貴,Cu 比 Si 貴。跟 25G 一樣,DAC 和 ACC 一定有一個(gè)交界點(diǎn),同樣的長(zhǎng)度下,ACC 一定比 DAC 便宜;在 50G PAM4 下,以 200G1 分 2 銅纜為例,2.5m 就是這個(gè)成本變化的交叉點(diǎn),超過(guò) 2.5m 的銅纜應(yīng)用,用 ACC 不僅性能裕量更大,而且綜合成本更低。
2. 系統(tǒng)參數(shù)歸一化
IEEE802.3cd 要求 50G PAM4 調(diào)制下的線(xiàn)纜滿(mǎn)足在 13.28GHz 下的 SDD21 小于 17dB,而實(shí)際大規(guī)模生產(chǎn)出來(lái)的線(xiàn)纜,超過(guò) 2.8m 長(zhǎng)的距離,已經(jīng)超出這個(gè)標(biāo)準(zhǔn)。另一方面,雖然 50G PAM4 調(diào)制下的基準(zhǔn)頻率與 25G NRZ 相差不大,但對(duì)于信號(hào)輸出強(qiáng)度更加敏感,中高頻的衰減相比于 25G NRZ 帶來(lái)的誤碼代價(jià)更高,因此在 50G PAM4 的應(yīng)用和設(shè)計(jì)上我們傾向于更大的冗余度。
新一代 ACC 的設(shè)計(jì),我們?nèi)∶?TAC,這里 T 即有 Tencent 的意思,也有 Tunable 的意思,意味著相比 25G,我們可以更加靈活的調(diào)制線(xiàn)纜的參數(shù),使其與系統(tǒng)更加匹配。
需要特別說(shuō)的是,系統(tǒng)在識(shí)別銅纜的過(guò)程中,需要對(duì)銅纜的 SI 進(jìn)行定標(biāo),這個(gè)定標(biāo)的過(guò)程,我們稱(chēng)之為 Training,如果已知銅纜的 SI 參數(shù),并且參數(shù)統(tǒng)一,我們只需要在系統(tǒng)側(cè)輸入一個(gè)匹配參數(shù),即可快速連接,降低了系統(tǒng)在識(shí)別過(guò)程中的時(shí)間損耗和錯(cuò)誤率,并且由此可能帶來(lái)的鏈路故障。
TAC 的最大特點(diǎn)就是可以將不同長(zhǎng)度的線(xiàn)纜 SI 歸一化到一個(gè)極小的范圍,使得不同長(zhǎng)度的線(xiàn)纜,看上去就像是同一個(gè)規(guī)格。這就是“T”的精髓。
3. 融入降噪設(shè)計(jì)
剛剛提到,相比較 25G NRZ 信號(hào),50G PAM4 信號(hào)對(duì) ACC 的性能要求高了很多。首先,PAM4 信號(hào)單個(gè)眼的信號(hào)能量比相同幅度的 NRZ 信號(hào)少了 9.5dB,所以對(duì) Redriver 芯片的噪聲性能要求提高了。其次,PAM4 信號(hào)的多電平特性需要 Redriver 芯片有更好的線(xiàn)性度,從而保持三個(gè)眼張開(kāi)的一致性。最后,PAM4 信號(hào)比同等波特率的 NRZ 信號(hào)對(duì)上升 / 下降沿的要求更高,這意味著需要更多的高頻補(bǔ)償。
用于 50G PAM4 ACC 的 Redriver 芯片需要同時(shí)實(shí)現(xiàn)更低的噪聲,更高的帶寬和線(xiàn)性度。但是,噪聲和帶寬以及 Redriver 提供的高頻增益是相互矛盾的,為了解決這個(gè)問(wèn)題,進(jìn)一步優(yōu)化噪聲和均衡能力之間的折中,我們?cè)谛乱淮?Redriver 芯片中加入了噪聲抵消技術(shù)(Noise CancellingTechnique,NCT)。其工作原理如下圖:均衡器里的晶體管在 Y 點(diǎn)的輸出噪聲通過(guò)反饋網(wǎng)絡(luò)同相拷貝到了輸入 X 點(diǎn)。另一方面,Y 點(diǎn)的輸出信號(hào)和 X 點(diǎn)的輸入信號(hào)是反向的。通過(guò)引入前饋網(wǎng)絡(luò)把 X 點(diǎn)的信號(hào)和噪聲進(jìn)行反相放大并和 Y 點(diǎn)的信號(hào)和噪聲相加,可以抵消一部分輸出噪聲,同時(shí)加強(qiáng)了信號(hào)本身。在理想情況下(HFF=-1/HFB),均衡器里晶體管的噪聲可以被完全抵消。通過(guò)在線(xiàn)性均衡器電路里引入上述噪聲抵消技術(shù),晶體管的等效高頻噪聲減少了 30%。通過(guò)這個(gè)技術(shù),線(xiàn)性 Redriver 在提高帶寬和高頻增益的同時(shí)沒(méi)有惡化信噪比(Signal-to-Noise Ratio, SNR)。換句話(huà)說(shuō),在保持一樣的帶寬和高頻均衡增益時(shí),提高了 Redriver 的輸出 SNR。另外,一種新穎的推挽式跨導(dǎo)結(jié)構(gòu)(Push-Pull Transconductance)被用在了新一代線(xiàn)性均衡器里,大大提高了電路的大信號(hào)線(xiàn)性度,使得在提高 SNR 的同時(shí),保持了 PAM4 信號(hào)三個(gè)眼的一致性。
4. 性能實(shí)測(cè)
為了驗(yàn)證基于新一代 50G PAM4 線(xiàn)性 Redriver 芯片的性能,用 7m 28AWG 制作的 SFP56 有源線(xiàn)纜在實(shí)驗(yàn)室里測(cè)試了 S- 參數(shù)和誤碼率(Bit Error Rate, BER),測(cè)試環(huán)境和結(jié)果如下圖所示:
經(jīng)測(cè)試,各項(xiàng)指標(biāo)已經(jīng)超出預(yù)期,7m 28AWG ACC 的回波損耗和插入損耗完全滿(mǎn)足和超出了 802.3bj 標(biāo)準(zhǔn)的要求,COM 值達(dá)到了 6dB。測(cè)試接收誤碼率,不開(kāi) FEC 下 BER 在 10-9 量級(jí),遠(yuǎn)低于標(biāo)準(zhǔn)要求,開(kāi) FEC 下無(wú)誤碼。線(xiàn)纜整體功耗實(shí)測(cè)小于 0.4W,大約是 56G PAM4 AOC 的 1/10。
結(jié)語(yǔ)
“光”進(jìn)“銅”退是通信行業(yè)的必然趨勢(shì),但并不意味著“銅”的消失,在數(shù)據(jù)中心標(biāo)準(zhǔn)化快速發(fā)展,數(shù)據(jù)中心硬件設(shè)計(jì)更加極致化的今天,“光”與“銅”需要結(jié)合自身的優(yōu)勢(shì),分別承擔(dān)好自己的“角色”,更好的為數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)。