Aspera速鉑高性能海量數據傳輸解決方案

　　概述

　　Aspera速鉑的核心技術(shù)faspTM是一種全新的軟件技術(shù)。它徹底克服了傳統數據傳輸軟件例如FTP, HTTP以及Windows CIFS中的固有瓶頸，實(shí)現了在各種共享和私有網(wǎng)絡(luò )環(huán)境中傳輸速度的最大化。這種技術(shù)可以獲得完美的傳輸效率，不為網(wǎng)絡(luò )延遲和丟包所限制。并且，用戶(hù)享有對傳輸速度以及不同傳輸流之間帶寬共享的無(wú)以倫比的控制。不管網(wǎng)絡(luò )距離和動(dòng)態(tài)性能如何，即便是在最困難的網(wǎng)絡(luò )條件下(例如衛星，無(wú)線(xiàn)和洲際遠程鏈接)，文件傳輸時(shí)間仍然可以得到保障。FASP具有內置的，完整的安全性，包括連接節點(diǎn)安全驗證，傳輸中數據加密以及數據完整性驗證。

　　高速文件傳輸的挑戰

　　和傳統的基于磁帶的郵件遞送相比，通過(guò)數字化網(wǎng)絡(luò )傳輸來(lái)實(shí)現海量數據的遞送具有經(jīng)濟高效的特點(diǎn)。在理想情況下，數據文件可以通過(guò)現有應用程序例如FTP文件傳輸，HTTP網(wǎng)上遞送以及Windows CIFS拷貝實(shí)現在全世界IP網(wǎng)絡(luò )間快速經(jīng)濟的傳輸。但是在實(shí)際網(wǎng)絡(luò )中，傳統的手段無(wú)一不陷入速度的瓶頸中，以至于無(wú)法利用已有網(wǎng)絡(luò )帶寬的一小部分。這是由于這些應用都基于同一種協(xié)議—傳輸控制協(xié)議(TCP)。

　　TCP有一個(gè)根本的速度瓶頸，這個(gè)瓶頸隨著(zhù)傳輸延遲和網(wǎng)絡(luò )丟包率的增加而變得愈發(fā)明顯。速度瓶頸的形成和TCP控制數據流量速率的機制密切相關(guān)。TCP發(fā)送端需要得到數據接收端收到每個(gè)數據包的確認消息才向網(wǎng)絡(luò )中注入新的數據。但是由此產(chǎn)生的傳輸速率的增加卻隨傳輸延遲的增加而減小。當遇到丟包時(shí)，TCP簡(jiǎn)單的認為所有丟包都是因為網(wǎng)絡(luò )擁塞造成的，而無(wú)法區分擁塞造成的丟包和信道本身差錯造成的丟包。在這種情況下，TCP就會(huì )迅速的減低自身的傳輸速率。簡(jiǎn)而言之，TCP的傳輸速率在丟包時(shí)下降過(guò)多，而在正常情況時(shí)增加又太過(guò)緩慢，以至在高速廣域網(wǎng)上無(wú)法充分利用已有帶寬。對于所有基于TCP之上的應用而言，它們無(wú)一不受以下幾個(gè)方面的限制：

　　速率緩慢以及帶寬利用率低下

　　基于TCP的文件傳輸帶寬利用率極低。在局域和校園網(wǎng)這些延遲和丟包率都較小的環(huán)境中(10微秒/0.1%)，TCP在千兆網(wǎng)上的最大吞吐率僅為50兆位/秒。當在廣域網(wǎng)上傳輸時(shí)，這個(gè)問(wèn)題變得更加突出。在典型的洲際網(wǎng)絡(luò )或衛星鏈接上，傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。

　　傳輸速率不穩定

　　如前所述，TCP采用一種基于丟包的速率控制機制。其依賴(lài)于丟包來(lái)實(shí)現減速，而在其他時(shí)候線(xiàn)性加速。當信道本身沒(méi)有丟包時(shí)，TCP只有短暫超出網(wǎng)絡(luò )帶寬以至產(chǎn)生丟包的情況下才能減速。這樣的設計決定了即使在最理想的情況下，TCP也只能在最優(yōu)速率上下震蕩。當網(wǎng)絡(luò )加載負荷變化時(shí)，TCP的傳輸速率也隨之劇烈震蕩。

　　缺少安全性和可監控性

　　除了被TCP緩慢和不穩定的傳輸速率所限制以外，傳統的文件傳輸應用往往不具備現代商業(yè)所必需的安全性和可管理性。FTP沒(méi)有內置的安全機制，往往需要額外的機制來(lái)確保內容不被竊取和篡改。而且有關(guān)性能和傳輸的統計數據也常常無(wú)法得到。這對管理傳輸進(jìn)程極為不利。

　　速鉑FASP解決方案

　　速鉑的文件傳輸產(chǎn)品線(xiàn)完全基于fasp高速傳輸協(xié)議。fasp是一種全新的應用層協(xié)議，特別為企業(yè)關(guān)鍵型文件傳輸所設計，可以滿(mǎn)足其所需的高速度，可預測性和百分之百的安全可靠性。fasp出眾的性能對所有的網(wǎng)絡(luò )傳輸媒體皆適用。

　　高速可靠

　　和TCP吞吐率的特性相比，fasp的傳輸速率完全不受網(wǎng)絡(luò )延遲的影響，并且對網(wǎng)絡(luò )丟包也有很好的魯棒性。如圖1所示，在OC-3(155Mbps)網(wǎng)絡(luò )鏈接上，fasp實(shí)現了傳輸速率的最大化，在某些情況下可以比TCP快千倍。而TCP的傳輸速率性能隨網(wǎng)絡(luò )延遲的增加和丟包率的增大而迅速減小。在典型的洲際網(wǎng)絡(luò )或衛星鏈接上，TCP的傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。fasp的傳輸速率具有可預測性。在10%的丟包情況下，fasp的吞吐率可以達到網(wǎng)絡(luò )鏈接帶寬的90%。在極端情況下，fasp的吞吐率僅為終端系統的吞吐能力(通常是磁盤(pán)吞吐能力)所限制。

　　fasp是在用戶(hù)數據報協(xié)議(UDP)之上開(kāi)發(fā)的應用層協(xié)議。和那些基于并行TCP的應用不同，fasp在單個(gè)數據流上實(shí)現了速度最大化。借助于革新性的文件流線(xiàn)化技術(shù)，fasp的傳輸速率在分發(fā)大批小文件時(shí)同樣可以得到保障。例如在從美國到新西蘭的OC-3鏈接上傳輸一千個(gè)2MB的小文件，傳輸速率同樣可以接近155Mbps(圖2)。所以fasp實(shí)現了在高速廣域網(wǎng)上傳輸海量數據(和文件大小無(wú)關(guān))的傳輸速率最大化。相反，并行TCP技術(shù)往往在有丟包的環(huán)境下無(wú)法實(shí)現速率最大化，在傳輸大量小文件時(shí)速率也不穩定，而且需要耗費大量系統資源。

　　作為一種數據傳輸協(xié)議，fasp具有應用層傳輸的完全可靠性。fasp的可靠性設計是基于一種負反饋的機制：接收端檢測到丟包并把需要重傳的信息反饋給發(fā)送端。通過(guò)理論優(yōu)化，fasp的重傳機制只針對真正的丟包，沒(méi)有冗余傳輸和帶寬浪費。其重傳效率接近百分之一百。

　　自適應速率控制

　　在理論上fasp沒(méi)有速率上限，可以完全利用任意速度網(wǎng)絡(luò )的帶寬。fasp采用和TCP完全不同的速率控制機制，從而實(shí)現帶寬利用的最大化以及和已有TCP數據流公平分享帶寬。

　　有效而公平的自動(dòng)速率控制

　　和TCP不同，fasp的速率控制是基于網(wǎng)絡(luò )中的排隊延遲。當網(wǎng)絡(luò )沒(méi)有負荷(檢測不到排隊延遲或排隊延遲很小)時(shí)，fasp可以迅速提速以充分利用帶寬。當網(wǎng)絡(luò )擁塞時(shí)，fasp可以迅速減速以獲得應有的帶寬。fasp的這套速率控制機制還具有帶寬共享的公平性。當已有TCP數據流不能充分利用鏈路帶寬時(shí)(圖3)，fasp可以自動(dòng)提速占據余下的帶寬。當鏈路因為有多個(gè)數據流存在而變得擁擠時(shí)(圖4)，fasp數據流可以實(shí)現和TCP數據流等量公平共享鏈路帶寬。

　　響應終端速度瓶頸

　　在超高速網(wǎng)絡(luò )環(huán)境例如千兆網(wǎng)中，速度瓶頸往往不在網(wǎng)絡(luò )鏈路本身而在終端系統，尤其是存儲設備的吞吐能力。fasp自適應速率控制不僅可以自動(dòng)發(fā)現現有的網(wǎng)絡(luò )帶寬，而且也能對存儲設備動(dòng)態(tài)吞吐率的作出理想的響應。當存儲設備成為瓶頸時(shí)，fasp可以自動(dòng)減速以避免其超速運轉所造成的丟包。當檢測到存儲設備不再繁忙時(shí)，fasp自動(dòng)提速以充分利用其數據吞吐能力。

　　可靈活設置的帶寬策略

　　用戶(hù)可以對每個(gè)fasp數據流獲取帶寬的能力進(jìn)行設置。除了和其他數據流對等共享帶寬外，fasp還支持其他帶寬共享機制。比如用戶(hù)可以選定用固定速率傳輸，從而使傳輸速率不受網(wǎng)絡(luò )負荷的變化而變化。此外，用戶(hù)還可以選定后臺傳輸模式，以便在檢測到TCP數據流后減到最低速。

　　完整的安全機制

　　fasp提供完整的內置安全機制。fasp的安全模式完全基于開(kāi)放標準的密碼體系，包括了：1)通過(guò)標準安全外殼(SSH)對傳輸終端進(jìn)行驗證;2)對傳輸中數據加以128位強密碼(AES-128)加密;3)對每個(gè)數據塊進(jìn)行完整性驗證以抵御象中間人以及匿名UDP之類(lèi)的惡意攻擊。在不同系統間進(jìn)行fasp傳輸不會(huì )改變文件本身的安全屬性。引進(jìn)以上安全機制對傳輸性能并沒(méi)有削弱。在加密模式下，fasp可以在P4或單處理器工作站上實(shí)現100-150Mbps的傳輸，在雙核或雙處理器工作站上實(shí)現200-400Mbps的高速傳輸。