[NSDI'23] Parsimon
[NSDI'23] Scalable Tail Latency Estimation for Data Center Networks (Parsimon)
Paper: https://www.usenix.org/system/files/nsdi23-zhao-kevin.pdf
Codebase: https://github.com/netiken/parsimon
Presentation Video: https://www.youtube.com/watch?v=lqjbqH7tu5g
Homepage of Author: https://homes.cs.washington.edu/~kwzhao/
背景與問(wèn)題
主題：大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)中尾時(shí)延的快速估計(jì)，通過(guò)反事實(shí)模擬（Counterfactual Simulation）。
網(wǎng)絡(luò)尾延遲如何響應(yīng)工作負(fù)載、拓?fù)浠蚱渌渲玫淖兓?/p>
如果網(wǎng)絡(luò)架構(gòu)演進(jìn)了如何變化？
如果鏈路抖動(dòng) / 故障了如何變化？
現(xiàn)有方案：通過(guò)網(wǎng)絡(luò)模擬器（Network Simulator），最知名的例如 ns-3。ns-3 可以回答許多問(wèn)題，對(duì)各個(gè)性能指標(biāo)的模擬都很精細(xì)，但是非常耗時(shí)。
問(wèn)題：隨著生產(chǎn)數(shù)據(jù)中心網(wǎng)絡(luò)帶寬的擴(kuò)大和規(guī)模的擴(kuò)大，網(wǎng)絡(luò)仿真未能跟上步伐。
目標(biāo)：快速、精準(zhǔn)地估計(jì)流完成時(shí)間（FCT）的尾時(shí)延
相關(guān)工作
MimicNet 需要對(duì)新的工作負(fù)載和網(wǎng)絡(luò)配置進(jìn)行長(zhǎng)達(dá)數(shù)小時(shí)的 retraining，并且它只會(huì)加速在同等大小的機(jī)器集群中具有統(tǒng)一流量的統(tǒng)一 fat trees 模擬。
DeepQueueNet 放寬了 MimicNet 的一些限制，但沒(méi)有對(duì)擁塞控制進(jìn)行建模，這可能是性能的 first-order 決定因素。
Parsimon
理論基礎(chǔ)
作者的假設(shè)是：我們可以通過(guò)對(duì)沿各個(gè)路徑的每個(gè)鏈接處的局部擁塞事件的頻率和大小進(jìn)行建模，來(lái)近似計(jì)算在大型網(wǎng)絡(luò)上運(yùn)行的特定工作負(fù)載的端到端流量性能分布。長(zhǎng)流在其生命周期中當(dāng)然會(huì)經(jīng)歷多次擁塞事件，但其中大部分會(huì)在不同時(shí)間沿路徑的不同點(diǎn)發(fā)生。該假設(shè)與排隊(duì)論（Queueing Theory）相關(guān)。
作者認(rèn)為，單個(gè)隊(duì)列的狀態(tài)僅取決于它接收的流量而不是網(wǎng)絡(luò)其余部分的狀態(tài)。我們可以單獨(dú)分析各個(gè)隊(duì)列，并將結(jié)果組合起來(lái)以近似端到端網(wǎng)絡(luò)行為。
Overview
本文介紹了一組快速、可擴(kuò)展地估計(jì)數(shù)據(jù)中心網(wǎng)絡(luò)中流量性能分布的方法。 這些技術(shù)在名為 Parsimon 的 prototype 中實(shí)現(xiàn)：
WorkFlow
輸入：拓?fù)涿枋?、工作?fù)載
處理步驟：Decomposition → Clustering → Simulation → Aggregation
輸出：流完成時(shí)間分布（FCT Distribution）
為了加速 FCT 估計(jì)，獨(dú)立且并行地估計(jì)每個(gè)鏈路的效果。 然后整合結(jié)果，對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。
具體設(shè)計(jì)
生成鏈路級(jí)工作負(fù)載｜Generating Link-Level Workloads
首先，Parsimon 將每個(gè)鏈路與通過(guò)它的流相關(guān)聯(lián)。 由于鏈接是雙向的，因此每個(gè)鏈接有兩組流，因此有兩個(gè)鏈接級(jí)模擬。Parsimon 通過(guò)流的路由用流來(lái)填充鏈路。對(duì)于每個(gè)鏈路和每個(gè)方向，關(guān)聯(lián)的流構(gòu)成鏈路級(jí)模擬的輸入工作負(fù)載。 流的大小和到達(dá)時(shí)間未經(jīng)修改地通過(guò)。
生成鏈路級(jí)拓?fù)洌麲enerating Link-Level Topologies
接下來(lái)我們生成鏈路級(jí)拓?fù)洹?strong>我們認(rèn)為每條鏈路都會(huì)對(duì)端到端 FCT 產(chǎn)生一定程度的延遲。對(duì)于每個(gè)鏈路和每個(gè)方向，我們生成一個(gè)拓?fù)洳H使用穿過(guò)該鏈路的流來(lái)執(zhí)行模擬。 模擬完成后，通過(guò)獲取觀察到的 FCT 并移除該流量大小的理想 FCT 來(lái)計(jì)算由給定流量的鏈路引起的延遲。例如對(duì)于大小為 ?? 的流穿過(guò)速度為 ?? 和傳播延遲為 ?? 的鏈路，理想的 FCT 為 ?? / ?? + ??，這直觀地捕獲了由于排隊(duì)、擁塞控制、帶寬共享等在目標(biāo)鏈路引起的所有延遲。
在生成每鏈路拓?fù)鋾r(shí)，我們的目標(biāo)是隔離和測(cè)量目標(biāo)鏈路的預(yù)期延遲貢獻(xiàn)。
為每個(gè)鏈路級(jí)模擬構(gòu)建了一個(gè)拓?fù)浣Y(jié)構(gòu)，以反映性能和準(zhǔn)確性之間的權(quán)衡，試圖捕獲最重要的影響以計(jì)算目標(biāo)鏈路造成的延遲。以這種方式重寫(xiě)拓?fù)淇纱_保數(shù)據(jù)包最多可以遍歷三跳，而不管原始拓?fù)涞拇笮∪绾巍?/strong>
建模往返時(shí)延｜Modeling round-trip delay
接下來(lái)，我們?cè)诿總€(gè)構(gòu)造的拓?fù)渲性O(shè)置鏈路延遲以匹配原始網(wǎng)絡(luò)中的往返延遲。擁塞控制的角度，正確建模 RTT 對(duì)于正確建模隊(duì)列動(dòng)態(tài)也至關(guān)重要。
選擇鏈路帶寬｜Selecting link bandwidths
在某些情況下，人為地增加下行鏈路的帶寬以確保它們不會(huì)人為地增加擁塞（圖 A、B 中粗線(xiàn)條）。這是一種簡(jiǎn)化方法，可以減小存儲(chǔ)和轉(zhuǎn)發(fā)延遲以及核心鏈路對(duì)擁塞分析的影響。
糾正 ACK 流量｜Correcting for ACK traffic
調(diào)整每個(gè)模擬鏈路上的前向帶寬。方法的關(guān)鍵思想是將鏈路上的前向帶寬減少一個(gè)與鏈路上傳輸?shù)?ACK 平均流量成正比的量，使得模擬結(jié)果更貼近實(shí)際網(wǎng)絡(luò)環(huán)境中 ACK 的帶寬消耗情況。
后處理鏈路級(jí)結(jié)果｜Post-Processing Link-Level Results
每個(gè)鏈路級(jí)仿真為鏈路級(jí)工作負(fù)載中的每個(gè)流生成一個(gè) FCT，這些 FCT 用于計(jì)算延遲。 在對(duì)鏈路級(jí)結(jié)果進(jìn)行后處理和構(gòu)建這些分布時(shí)，我們的主要目標(biāo)是支持對(duì)所有流量大小的準(zhǔn)確估計(jì)。
分組歸一化延遲｜Packet-normalized delay
問(wèn)題：在處理 FCT 延遲時(shí)，如何通過(guò)對(duì)延遲進(jìn)行歸一化來(lái)解決不同流大小。
歸一化方案：計(jì)算特定流的延遲后，我們可以將延遲除以流的數(shù)據(jù)包數(shù)量。將生成的度量稱(chēng)為數(shù)據(jù)包歸一化延遲，它具有總結(jié)每個(gè)數(shù)據(jù)包流的平均延遲的直觀解釋。歸一化實(shí)際上是根據(jù)流的數(shù)據(jù)包數(shù)量進(jìn)行的。
桶分布處理｜Bucketing distributions
桶分布用于將不同大小的流分成不同的“桶”，以便更準(zhǔn)確地為不同的流大小從合適的分布中選擇樣本。
Parsimon 使用了一種簡(jiǎn)單的分桶算法：
聚合鏈路級(jí)估計(jì)｜Aggregating Link-Level Estimates
在 Parsimon 中，為了估計(jì)端到端的延遲，需要對(duì)路徑中每個(gè)鏈路的延遲分布進(jìn)行聚合。
這里用的鏈路級(jí)模擬后端采用了一個(gè)自定義的最小模擬器，僅對(duì)工作負(fù)載、拓?fù)?/strong>、隊(duì)列和擁塞控制進(jìn)行建模。
加速的主要來(lái)源｜Primary Source of Speedup
強(qiáng)擴(kuò)展能力｜Strong Scalability
Parsimon 通過(guò)單獨(dú)考慮每個(gè)鏈接的影響來(lái)加速大型網(wǎng)絡(luò)模擬，允許它擴(kuò)展模擬網(wǎng)絡(luò)的大小和處理核心的數(shù)量。
聚類(lèi)和修剪模擬｜Clustering and Pruning Simulations
貪婪的鏈路聚類(lèi)方法將網(wǎng)絡(luò)中的鏈路分組，從而在大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)分析中降低計(jì)算復(fù)雜度，與上述的桶分布有類(lèi)似的效果，通過(guò)聚類(lèi)來(lái)集合相同特征的鏈路，然后選擇一個(gè) representative 來(lái)代表這個(gè) cluster。
錯(cuò)誤的主要來(lái)源｜Primary Sources of Error
瓶頸扇入｜Bottleneck Fan-in
Parsimon 在模擬目標(biāo)鏈路時(shí)，并沒(méi)有模擬上游鏈路的實(shí)際情況。在實(shí)際數(shù)據(jù)中心網(wǎng)絡(luò)中，這些擁塞和排隊(duì)情況可能相對(duì)更輕。
缺乏流量平滑｜Lack of Traffic Smoothing
流量平滑是指在網(wǎng)絡(luò)中，由于諸如鏈路傳輸速率、緩沖器限制、路由限制等因素，流量在從發(fā)射源到接收目標(biāo)的傳輸過(guò)程中自然地被混合和分散，從而導(dǎo)致到達(dá)目標(biāo)鏈路時(shí)不會(huì)同時(shí)產(chǎn)生巨大的突發(fā)流量。
包括 TCP 擁塞控制和其他流控制協(xié)議在內(nèi)的很多網(wǎng)絡(luò)協(xié)議能夠提供各種程度的流量平滑。
鏈路級(jí)獨(dú)立性｜Link-level Independence
一個(gè)更基本的近似是鏈路級(jí)模擬是獨(dú)立處理的。這種技術(shù)可以實(shí)現(xiàn)大規(guī)模并行化，但其準(zhǔn)確性取決于路徑上各個(gè)躍點(diǎn)上的流量強(qiáng)度之間的相關(guān)性。 流量越相關(guān)，Parsimon 的方法產(chǎn)生的錯(cuò)誤就越多。
同時(shí)間單瓶頸｜One Bottleneck at A Time
當(dāng)擁塞是偶發(fā)的和臨時(shí)的，在不同的時(shí)間出現(xiàn)在不同的鏈路上時(shí)，Parsimon 更準(zhǔn)確，而當(dāng)擁塞在給定路徑的多個(gè)邊緣和核心鏈路上持續(xù)存在時(shí)，Parsimon 的準(zhǔn)確性較低。
實(shí)驗(yàn)及結(jié)果
Parsimon 的目標(biāo)是快速估計(jì)各種大型數(shù)據(jù)中心網(wǎng)絡(luò)和工作負(fù)載的尾部延遲。在評(píng)估 Parsimon 時(shí)，我們想評(píng)估：
Parsimon 在數(shù)千臺(tái)主機(jī)規(guī)模上的準(zhǔn)確性和性能。
準(zhǔn)確性如何受到工作負(fù)載和拓?fù)渖系母鞣N變量的影響。
實(shí)驗(yàn)設(shè)置
拓?fù)湟?guī)模 & 超額訂閱因子
仿照 Meta 的數(shù)據(jù)中心結(jié)構(gòu)。
流量矩陣
流量大小分布 & 突發(fā)級(jí)別
最大負(fù)載級(jí)別
Parsimon 變體 & baseline
實(shí)驗(yàn)一：大規(guī)模網(wǎng)絡(luò)分析
評(píng)估速度和準(zhǔn)確性
384-rack，6144-host，超額訂閱 2:1，矩陣 B，高突發(fā)性（?? = 2），最大鏈路負(fù)載 50%
運(yùn)行五秒的模擬時(shí)間
實(shí)驗(yàn)二：小規(guī)模敏感性分析
評(píng)估近 200 個(gè)拓?fù)浜凸ぷ髫?fù)載場(chǎng)景
256-host
不同最大負(fù)載下：
在所有場(chǎng)景下，85% 的時(shí)間中 Parsimon 的 p99 估計(jì)值在 ns-3 的估計(jì)值的 10% 以?xún)?nèi)，最差情況下高估了 52%。
在負(fù)載最高的一組場(chǎng)景中（最大鏈路負(fù)載在 56% 到 83% 之間）62% 的時(shí)間中 Parsimon 在 ns-3 的 10% 以?xún)?nèi)，平均誤差約為 11%。
在最大鏈路負(fù)載介于 26% 和 41% 之間的場(chǎng)景中，Parsimon 在 100% 的時(shí)間內(nèi)處于 ns-3 的 10% 以?xún)?nèi)。
在 3% 的場(chǎng)景中，Parsimon 低估了 p99 達(dá) 2%。
其他參數(shù)：
按流量矩陣、流大小分布、超額訂閱和突發(fā)性分組的低負(fù)載場(chǎng)景的中值誤差和誤差分布作為 小提琴圖｜Violin Plot。
Max load ≤ 50%：這些參數(shù)的變化只產(chǎn)生了適度的影響
Max load > 50%：矩陣 A 的錯(cuò)誤分布、WebServer 流量大小分布和 4 比 1 超額訂閱的尾部更長(zhǎng)
實(shí)驗(yàn)三：一種配置分析
矩陣 A，Hadoop 流大小分布、低突發(fā)性、2:1 超額訂閱和 68% 的最大負(fù)載（前 10% 的平均負(fù)載為 56%）的場(chǎng)景。
對(duì)于這種配置，Parsimon 對(duì)于小流量和低到中等最大鏈路利用率最為準(zhǔn)確，這對(duì)于所有三種擁塞控制協(xié)議都是如此。 對(duì)于中低利用率的中小型流，DCTCP 的錯(cuò)誤率略低。 對(duì)于較大的傳輸和較高的最大鏈路利用率，相對(duì)誤差較高，不同協(xié)議的誤差沒(méi)有明確的模式。
總結(jié)
在這篇論文中，作者討論了如何為大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)提供快速的流級(jí)尾部延遲估計(jì)。提出并評(píng)估了一種新方法 Parsimon。作者通過(guò) Decomposition → Clustering → Simulation → Aggregation 四個(gè)步驟快速產(chǎn)生尾時(shí)延流級(jí)估計(jì)。單個(gè)多核服務(wù)器上的性能比 ns-3 高出 492 倍，延遲分布尾部的精度損失小于 9%。
優(yōu)勢(shì)：問(wèn)題拆解、分析詳細(xì)、優(yōu)化手段多、實(shí)驗(yàn)完善
劣勢(shì)：只可用于尾時(shí)延估計(jì)、是否能運(yùn)用于工業(yè)界使用有待觀察
相關(guān)知識(shí)補(bǔ)充
反事實(shí)模擬｜Counterfactual Simulation
反事實(shí)模擬（Counterfactual Simulation）是一種模擬分析方法，主要目的是在不改變實(shí)際環(huán)境的情況下，評(píng)估可能的事實(shí)或事件對(duì)實(shí)際結(jié)果的影響。這種方法通常應(yīng)用于評(píng)估策略、決策或系統(tǒng)性能，并通過(guò)假設(shè)環(huán)境變量的改變來(lái)預(yù)測(cè)不同場(chǎng)景下可能出現(xiàn)的結(jié)果。
此類(lèi)模擬可以幫助研究人員或決策者通過(guò)預(yù)測(cè)和評(píng)估潛在情景來(lái)優(yōu)化現(xiàn)有系統(tǒng)及其部署。反事實(shí)模擬有助于發(fā)現(xiàn)已有策略或決策可能存在的問(wèn)題，并預(yù)防現(xiàn)實(shí)環(huán)境中的風(fēng)險(xiǎn)。這可以用于各種場(chǎng)景，如經(jīng)濟(jì)政策研究、數(shù)據(jù)中心網(wǎng)絡(luò)優(yōu)化、供應(yīng)鏈模型優(yōu)化和市場(chǎng)策略評(píng)估等。
這是作者在文章開(kāi)頭提到的一個(gè)概念，其實(shí)就可以理解為網(wǎng)絡(luò)模擬。
網(wǎng)絡(luò)模擬器｜Network Simulator
一個(gè)網(wǎng)絡(luò)模擬器，例如 NS-3，在工作時(shí)需要以下類(lèi)型的輸入：
拓?fù)涿枋?/strong>：定義網(wǎng)絡(luò)的結(jié)構(gòu)，包括節(jié)點(diǎn)（如路由器和主機(jī)）以及它們之間的連接（如鏈路和交換機(jī)）。拓?fù)涿枋鲞€可能包括線(xiàn)路速度、傳播延遲、丟包率等鏈路屬性。
協(xié)議棧配置：選擇和配置各個(gè)節(jié)點(diǎn)上的網(wǎng)絡(luò)協(xié)議棧，例如 IP、TCP、UDP、MAC 層協(xié)議等。這通常包括為協(xié)議分配參數(shù)，如窗口大小、超時(shí)值和最大傳輸次數(shù)等。
流量模型：定義網(wǎng)絡(luò)中的流量模式，如數(shù)據(jù)的發(fā)送者和接收者、數(shù)據(jù)傳輸速率、數(shù)據(jù)包大小、流的開(kāi)始和結(jié)束時(shí)間等。流量模型可以是確定的，也可以是基于統(tǒng)計(jì)模型的隨機(jī)流量生成。
調(diào)度策略：如果涉及到資源分配或者流量調(diào)度，可以配置調(diào)度策略，例如流量控制算法、擁塞控制算法或負(fù)載平衡策略等。
仿真配置：設(shè)置仿真所需的全局參數(shù)，如仿真持續(xù)時(shí)間、隨機(jī)數(shù)種子、仿真分辨率等。此外，可以指定輸出數(shù)據(jù)的格式和文件名，用于存儲(chǔ)仿真結(jié)果。
可選擴(kuò)展模塊：對(duì)于一些特定的網(wǎng)絡(luò)場(chǎng)景，可能需要加載額外的模塊或插件。例如，在無(wú)線(xiàn)網(wǎng)絡(luò)模擬中，可能需要一個(gè)無(wú)線(xiàn)信道模型來(lái)考慮信號(hào)傳播特性、干擾和衰落等因素。
這些輸入?yún)?shù)將用于配置網(wǎng)絡(luò)模擬，在整個(gè)模擬過(guò)程中控制和記錄網(wǎng)絡(luò)行為。根據(jù)輸入?yún)?shù)的不同，網(wǎng)絡(luò)模擬器可以表示各種網(wǎng)絡(luò)環(huán)境和使用場(chǎng)景。
排隊(duì)論｜Queueing Theory
排隊(duì)論（Queueing Theory）是研究排隊(duì)現(xiàn)象的數(shù)學(xué)理論，主要關(guān)注等待時(shí)間、排隊(duì)長(zhǎng)度、服務(wù)設(shè)施能力和阻塞等現(xiàn)象。在計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域，排隊(duì)論被廣泛應(yīng)用于性能建模和分析。網(wǎng)絡(luò)中的鏈路、路由器、交換機(jī)等可以被視為排隊(duì)系統(tǒng)的組成部分，每個(gè)鏈路都有其輸入隊(duì)列和輸出隊(duì)列。數(shù)據(jù)包在鏈路之間傳輸時(shí)，需要根據(jù)網(wǎng)絡(luò)設(shè)備的等待時(shí)間、處理時(shí)間和傳輸時(shí)間來(lái)調(diào)度。這些時(shí)間變量導(dǎo)致了流量擁塞。
在論文中，作者基于排隊(duì)論提出了這個(gè)假設(shè)。通過(guò)研究每個(gè)鏈路的局部擁塞事件，可以找出潛在的網(wǎng)絡(luò)瓶頸。為了估計(jì)端到端數(shù)據(jù)流性能，作者將問(wèn)題分解為大量獨(dú)立的單鏈路模擬。每個(gè)鏈路模型基于排隊(duì)論來(lái)量化擁塞事件的頻率和幅度，進(jìn)而建立性能模型。然后，將這些帶有局部擁塞信息的鏈路模型組合起來(lái)，以估算整個(gè)網(wǎng)絡(luò)的端到端數(shù)據(jù)流性能分布。因此，排隊(duì)論在這個(gè)假設(shè)中起到了關(guān)鍵作用，為研究網(wǎng)絡(luò)擁塞現(xiàn)象以及預(yù)測(cè)端到端性能提供了理論基礎(chǔ)。論文中的方法將排隊(duì)論應(yīng)用于實(shí)際場(chǎng)景，以解決計(jì)算速度慢的問(wèn)題，并取得了一定程度的準(zhǔn)確性。
蒙特卡洛采樣｜Monte Carlo Sampling
蒙特卡洛采樣（Monte Carlo Sampling）是一種隨機(jī)抽樣方法，用于估算復(fù)雜系統(tǒng)的性質(zhì)。其基本思路是利用隨機(jī)過(guò)程進(jìn)行數(shù)值模擬，并通過(guò)大量實(shí)驗(yàn)或抽樣次數(shù)，近似計(jì)算某個(gè)復(fù)雜問(wèn)題的結(jié)果。蒙特卡洛采樣廣泛應(yīng)用于多種領(lǐng)域，如物理學(xué)、工程學(xué)、金融學(xué)和計(jì)算機(jī)科學(xué)等。
蒙特卡洛采樣的主要用途如下：
數(shù)值積分和求解高維復(fù)雜問(wèn)題：在某些情況下，傳統(tǒng)的數(shù)值積分方法面臨較高的計(jì)算成本或難以實(shí)現(xiàn)。而蒙特卡洛采樣可以通過(guò)隨機(jī)抽樣，近似計(jì)算復(fù)雜高維積分。
概率分布的分析：對(duì)于復(fù)雜概率分布或不易處理的聯(lián)合概率分布，蒙特卡洛采樣可以輔助分析這些分布的性質(zhì)，例如通過(guò)生成隨機(jī)樣本來(lái)近似復(fù)雜分布的期望值、方差等統(tǒng)計(jì)量。
運(yùn)籌學(xué)和決策分析：蒙特卡洛采樣可以在模擬和優(yōu)化決策過(guò)程中發(fā)揮作用。它可以用于確定最佳策略、分析風(fēng)險(xiǎn)、估算不確定性和評(píng)估各種決策方案的概率。
機(jī)器學(xué)習(xí)與模型優(yōu)化：在機(jī)器學(xué)習(xí)領(lǐng)域，蒙特卡洛采樣為優(yōu)化算法提供了更多隨機(jī)性。在蒙特卡洛樹(shù)搜索（MCTS）中，它用于尋找決策空間的有希望區(qū)域。在馬爾可夫鏈蒙特卡洛（MCMC）方法中，其構(gòu)建隨機(jī)馬爾可夫鏈來(lái)近似概率分布。
通過(guò)蒙特卡洛采樣，可以為復(fù)雜問(wèn)題提供數(shù)值解和近似解。盡管在某些情況下精度可能不如解析解，但其優(yōu)勢(shì)在于對(duì)復(fù)雜問(wèn)題和高維空間的適應(yīng)性以及針對(duì)具有非常復(fù)雜結(jié)構(gòu)的問(wèn)題實(shí)現(xiàn)相對(duì)較快的近似求解。
桶分布｜Bucketing distributions
桶分布（Bucketing distributions）是一種數(shù)據(jù)分析方法，它將一組連續(xù)數(shù)據(jù)劃分為幾個(gè)范圍或“桶”，以便更有效地分析數(shù)據(jù)的分布特征。數(shù)據(jù)分桶有助于更好地理解數(shù)據(jù)的概況和特征，而不需要關(guān)注每個(gè)數(shù)據(jù)點(diǎn)的細(xì)節(jié)。在計(jì)算機(jī)網(wǎng)絡(luò)和流量管理中，桶分布通常用于分析不同流大小下的性能度量，如延遲和吞吐量等。
超額預(yù)訂因子｜Oversubscription Factor
超額預(yù)訂因子（又稱(chēng)超額訂閱比率，Oversubscription Factor）是一種用于描述網(wǎng)絡(luò)中不同層次之間帶寬需求比例的度量。它常常用于數(shù)據(jù)中心網(wǎng)絡(luò)和企業(yè)局域網(wǎng)等具有多層次網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的環(huán)境中。超額預(yù)訂因子表示上層網(wǎng)絡(luò)資源（如交換機(jī)、路由器等）的帶寬與下層網(wǎng)絡(luò)資源的帶寬之間的比值。更具體地說(shuō)，這個(gè)因子描述了如何在網(wǎng)絡(luò)拓?fù)涞牟煌瑢哟沃g共享和管理有限的網(wǎng)絡(luò)帶寬。
舉個(gè)例子，假設(shè)數(shù)據(jù)中心中存在一組服務(wù)器，它們連接到一個(gè)二層交換機(jī)。與此同時(shí)，這個(gè)二層交換機(jī)又連接到一個(gè)上層的聚合交換機(jī)，形成多層次的拓?fù)?。如果二層交換機(jī)到聚合交換機(jī)的鏈路總帶寬是連接到所有服務(wù)器的鏈路總帶寬的一半，那么超額預(yù)訂因子就是 2:1。這意味著在給定時(shí)刻，該數(shù)據(jù)中心內(nèi)部的服務(wù)器對(duì)上層網(wǎng)絡(luò)資源的需求可能超過(guò)了實(shí)際可用的帶寬。因此，在面臨高速網(wǎng)絡(luò)流量時(shí)，這種情況可能會(huì)導(dǎo)致鏈路擁塞和性能下降。
在網(wǎng)絡(luò)設(shè)計(jì)和管理中，適當(dāng)設(shè)置超額預(yù)訂因子是很重要的，以確保不同層次之間帶寬的合理分配和有效使用。研究人員和工程師需要權(quán)衡系統(tǒng)的成本、可擴(kuò)展性以及不同業(yè)務(wù)和工作負(fù)載的需求，以便選擇最佳的超額預(yù)訂因子。
小提琴圖｜Violin Plot
小提琴圖是一種用于可視化數(shù)據(jù)分布的圖表，它可以幫助我們快速了解數(shù)據(jù)的分布情況和趨勢(shì)，同時(shí)也可以用于比較不同組數(shù)據(jù)的差異。
下面是小提琴圖的一些基本元素，以及如何解讀這些元素：
對(duì)稱(chēng)的小提琴形狀：小提琴圖由多個(gè)對(duì)稱(chēng)的、有著不同寬度的小提琴形狀組成，每個(gè)小提琴代表了數(shù)據(jù)的一個(gè)分布情況。小提琴的寬度表示數(shù)據(jù)出現(xiàn)的頻率，越寬表示數(shù)據(jù)出現(xiàn)的頻率越高。
中間線(xiàn)：小提琴中間的粗線(xiàn)表示中位數(shù)，如果中位數(shù)的粗線(xiàn)偏離數(shù)軸中心線(xiàn)有明顯偏移，則意味著數(shù)據(jù)分布的傾斜性。
箱線(xiàn)圖：小提琴圖中的箱線(xiàn)圖通常會(huì)繪制在小提琴中間，箱線(xiàn)圖可以顯示出數(shù)據(jù)的四分位數(shù)和異常值（指數(shù)據(jù)中相距正負(fù)一個(gè)標(biāo)準(zhǔn)差以外的離群點(diǎn)），箱子的上下邊緣代表75%和25%的分位數(shù)，箱子中間的線(xiàn)是中位數(shù)，上下延伸的線(xiàn)是上下邊界范圍內(nèi)未被視為離群值的觀測(cè)值的最大值和最小值。
多個(gè)小提琴組成的圖形：小提琴圖可以堆疊起來(lái)進(jìn)行比較，一般用于不同樣本或不同時(shí)間區(qū)間的比較。
總之，小提琴圖除了顯示數(shù)據(jù)的“中心位置”和分布情況，還能夠很好地展示不同數(shù)據(jù)的離散程度和偏態(tài)等特征，這讓它成為了一種重要可視化工具，幫助我們更好的理解數(shù)據(jù)。
