導讀:“光”進“銅”退是通信行業(yè)的必然趨勢,但并不意味著“銅”的消失,在數(shù)據(jù)中心標準化快速發(fā)展,數(shù)據(jù)中心硬件設計更加極致化的今天,“光”與“銅”需要結合自身的優(yōu)勢,分別承擔好自己的“角色”,更好的為數(shù)據(jù)中心網(wǎng)絡服務。
“銅”進“光”退的需求
伴隨著云業(yè)務的快速發(fā)展,數(shù)據(jù)中心互聯(lián)硬件對高運行穩(wěn)定性和低成本的訴求也越來越強烈。以 25G 速率的服務器到交換機互聯(lián)方案為例,主要的連接方式有兩種,DAC和AOC。
DAC(direct attach cable)顧名思義,由于是直連方案,高速通信信號在設備之間傳遞,處于透傳狀態(tài),而常用的AOC(active optical cable)由于需要將電信號轉換成光信號,再轉換成電信號,存在多次信號轉換的過程,會引入相應的適配問題,而數(shù)據(jù)中心互聯(lián)硬件故障里面因為信號或者協(xié)議匹配導致的適配性問題占比在 30%以上,而且故障更因定位過程復雜、時間長,嚴重的會影響數(shù)據(jù)中心的交付使用。
DAC由于裝配組件少,結構簡單,相比于AOC在 BOM 成本上有著明顯的優(yōu)勢。不僅如此,DAC 幾乎沒有功耗,一根 25GDAC的線纜功耗在 0.1w 左右,而同樣速率的 AOC 功耗在 2w 左右,相差 10 倍以上。以 20w 臺服務器接入的規(guī)模為例,一年可以節(jié)省大幾百萬的電費。
為滿足快速交付的要求,數(shù)據(jù)中心安裝布線的時效非常重要,布線過程中必然會存在線纜損傷,從材料及結構上講,銅比玻璃有著更好的機械應力容忍性,因此,DAC 也能夠比 AOC 容忍更多布線過程中導致的損傷。
但由于機柜功耗的限制,服務器到交換機的連接距離很多場景下往往需要達到甚至超過 7m,所以早期 25G 服務器到交換機連接的方式以 AOC(有源光纜)為主,而 DAC(直連銅纜)方案,由于理論上只能支持到 5m 的應用,使得其應用大為受限。
25G NRZ 的嘗試
在保證低成本的前提下,如何延長銅纜連接距離,有效的方式有兩種:一種是基于信號時鐘恢復的 Retimer 方案,一種是基于信號放大的 Redriver 方案,如下圖:
Retimer 技術原理:
Redriver 技術原理:
顯而易見,以 25G 為例。在成本,功耗和功能復雜性等各方面,Repeater 方案都有著明顯的優(yōu)勢,因此我們選擇了 Repeater 方案。
根據(jù)信號傳輸?shù)奶攸c,我們在多個不同的頻點和頻率范圍進行輸出參數(shù)調(diào)整,使輸出信號能夠,最終使得極限情況下 DAC 的連接距離延長到了 10m。
但是,理論上設計的連接距離,并不意味著最終量產(chǎn)可用,除了成本還要考慮量產(chǎn)一致性和系統(tǒng)的冗余度。
通過多輪的測試驗證,結合現(xiàn)網(wǎng)故障率容忍度,我們最終確定了 25G Linear-ACC 的應用范圍<8m,這個距離已經(jīng)可以覆蓋 25G 服務器 80%的應用場景。
最終,25G 相關的產(chǎn)品帶來了預想的收益,通過 DAC+ACC 的布線方案,成本相對于傳統(tǒng) AOC 方案,降低了 40%,現(xiàn)網(wǎng)故障率由原來的 0.3%降低一個數(shù)量級。
50G PAM4 的升級
對于 linear-ACC 方案的嘗試,25G 只是一個開始,無論是方案,還是成本,都還沒有做到極致化,進入 50G PAM4 時代,成本必然進一步提高,而系統(tǒng)對于信號質(zhì)量的要求也更上了一個臺階,ACC 的設計也需要更加精細化。在 50G PAM4 調(diào)制下,我們進一步參與到的芯片設計上,包括整體方案選擇、參數(shù)調(diào)節(jié)功能優(yōu)化、融入降噪技術等一系列的工作。從這一代開始,我們給它一個新的名字 TAC(Tencent Active Cable)。
200G 7m TAC 產(chǎn)品
1. 更精細的成本控制
通信行業(yè)硬件成本優(yōu)化離不開的大原則:單從材料層面上講,InP 比 Si 貴,Cu 比 Si 貴。跟 25G 一樣,DAC 和 ACC 一定有一個交界點,同樣的長度下,ACC 一定比 DAC 便宜;在 50G PAM4 下,以 200G1 分 2 銅纜為例,2.5m 就是這個成本變化的交叉點,超過 2.5m 的銅纜應用,用 ACC 不僅性能裕量更大,而且綜合成本更低。
2. 系統(tǒng)參數(shù)歸一化
IEEE802.3cd 要求 50G PAM4 調(diào)制下的線纜滿足在 13.28GHz 下的 SDD21 小于 17dB,而實際大規(guī)模生產(chǎn)出來的線纜,超過 2.8m 長的距離,已經(jīng)超出這個標準。另一方面,雖然 50G PAM4 調(diào)制下的基準頻率與 25G NRZ 相差不大,但對于信號輸出強度更加敏感,中高頻的衰減相比于 25G NRZ 帶來的誤碼代價更高,因此在 50G PAM4 的應用和設計上我們傾向于更大的冗余度。
新一代 ACC 的設計,我們?nèi)∶?TAC,這里 T 即有 Tencent 的意思,也有 Tunable 的意思,意味著相比 25G,我們可以更加靈活的調(diào)制線纜的參數(shù),使其與系統(tǒng)更加匹配。
需要特別說的是,系統(tǒng)在識別銅纜的過程中,需要對銅纜的 SI 進行定標,這個定標的過程,我們稱之為 Training,如果已知銅纜的 SI 參數(shù),并且參數(shù)統(tǒng)一,我們只需要在系統(tǒng)側輸入一個匹配參數(shù),即可快速連接,降低了系統(tǒng)在識別過程中的時間損耗和錯誤率,并且由此可能帶來的鏈路故障。
TAC 的最大特點就是可以將不同長度的線纜 SI 歸一化到一個極小的范圍,使得不同長度的線纜,看上去就像是同一個規(guī)格。這就是“T”的精髓。
3. 融入降噪設計
剛剛提到,相比較 25G NRZ 信號,50G PAM4 信號對 ACC 的性能要求高了很多。首先,PAM4 信號單個眼的信號能量比相同幅度的 NRZ 信號少了 9.5dB,所以對 Redriver 芯片的噪聲性能要求提高了。其次,PAM4 信號的多電平特性需要 Redriver 芯片有更好的線性度,從而保持三個眼張開的一致性。最后,PAM4 信號比同等波特率的 NRZ 信號對上升 / 下降沿的要求更高,這意味著需要更多的高頻補償。
用于 50G PAM4 ACC 的 Redriver 芯片需要同時實現(xiàn)更低的噪聲,更高的帶寬和線性度。但是,噪聲和帶寬以及 Redriver 提供的高頻增益是相互矛盾的,為了解決這個問題,進一步優(yōu)化噪聲和均衡能力之間的折中,我們在新一代的 Redriver 芯片中加入了噪聲抵消技術(Noise CancellingTechnique,NCT)。其工作原理如下圖:均衡器里的晶體管在 Y 點的輸出噪聲通過反饋網(wǎng)絡同相拷貝到了輸入 X 點。另一方面,Y 點的輸出信號和 X 點的輸入信號是反向的。通過引入前饋網(wǎng)絡把 X 點的信號和噪聲進行反相放大并和 Y 點的信號和噪聲相加,可以抵消一部分輸出噪聲,同時加強了信號本身。在理想情況下(HFF=-1/HFB),均衡器里晶體管的噪聲可以被完全抵消。通過在線性均衡器電路里引入上述噪聲抵消技術,晶體管的等效高頻噪聲減少了 30%。通過這個技術,線性 Redriver 在提高帶寬和高頻增益的同時沒有惡化信噪比(Signal-to-Noise Ratio, SNR)。換句話說,在保持一樣的帶寬和高頻均衡增益時,提高了 Redriver 的輸出 SNR。另外,一種新穎的推挽式跨導結構(Push-Pull Transconductance)被用在了新一代線性均衡器里,大大提高了電路的大信號線性度,使得在提高 SNR 的同時,保持了 PAM4 信號三個眼的一致性。
4. 性能實測
為了驗證基于新一代 50G PAM4 線性 Redriver 芯片的性能,用 7m 28AWG 制作的 SFP56 有源線纜在實驗室里測試了 S- 參數(shù)和誤碼率(Bit Error Rate, BER),測試環(huán)境和結果如下圖所示:
經(jīng)測試,各項指標已經(jīng)超出預期,7m 28AWG ACC 的回波損耗和插入損耗完全滿足和超出了 802.3bj 標準的要求,COM 值達到了 6dB。測試接收誤碼率,不開 FEC 下 BER 在 10-9 量級,遠低于標準要求,開 FEC 下無誤碼。線纜整體功耗實測小于 0.4W,大約是 56G PAM4 AOC 的 1/10。
結語
“光”進“銅”退是通信行業(yè)的必然趨勢,但并不意味著“銅”的消失,在數(shù)據(jù)中心標準化快速發(fā)展,數(shù)據(jù)中心硬件設計更加極致化的今天,“光”與“銅”需要結合自身的優(yōu)勢,分別承擔好自己的“角色”,更好的為數(shù)據(jù)中心網(wǎng)絡服務。