基于容量估算

主要問題： 每天將索引多少原始數(shù)據(jù)（GB）？保留數(shù)據(jù)多少天？

原始數(shù)據(jù)膨脹率

您將強(qiáng)制執(zhí)行多少個(gè)副本分片？

您將為每個(gè)數(shù)據(jù)節(jié)點(diǎn)分配多少內(nèi)存？

您的內(nèi)存:數(shù)據(jù)比例是多少？

原則 保留 +15% 以保持在磁盤水位以下。

保留 +5% 用于誤差和后臺(tái)活動(dòng)的余量。

保留相當(dāng)于一個(gè)數(shù)據(jù)節(jié)點(diǎn)的資源來處理故障。

公式： 總數(shù)據(jù)量 GB = 原始數(shù)據(jù) GB/天 * 保留天數(shù) * 膨脹率 * (副本數(shù) + 1) 總存儲(chǔ) GB = 總數(shù)據(jù) GB * 1.15（包括磁盤 watermark threshold 和誤差范圍） 總數(shù)據(jù)節(jié)點(diǎn)數(shù) = ROUNDUP(總存儲(chǔ) GB / (每個(gè)數(shù)據(jù)節(jié)點(diǎn)的內(nèi)存 * 內(nèi)存/數(shù)據(jù)比例)) + 1（用于故障轉(zhuǎn)移） 舉例：

假設(shè) 需要存儲(chǔ)的源數(shù)據(jù) 50TB 大小 膨脹率 10% 副本數(shù) 1 每個(gè)節(jié)點(diǎn) 256G 內(nèi)存 計(jì)算出： 總數(shù)據(jù)量 TB = 50TB * (1 + 0.10) * (1 + 1) = 110TB 總存儲(chǔ) TB = 110TB * 1.15（考慮磁盤 watermark threshold 和誤差范圍） = 126.5TB 如果有 256GB 的物理內(nèi)存，128GB 會(huì)用于 JVM 堆，剩下的 128GB 將用于操作系統(tǒng)、文件緩存和其他系統(tǒng)進(jìn)程。 按照常見的 1:30 的 RAM 到磁盤比例來計(jì)算，那么每個(gè)節(jié)點(diǎn)能處理的數(shù)據(jù)存儲(chǔ)大約是： 256GB 內(nèi)存 * 30 = 7680GB，大約等于 7.68TB 總數(shù)據(jù)節(jié)點(diǎn)數(shù) = ROUNDUP(126.5TB / 7.68TB) + 1（用于故障轉(zhuǎn)移） = ROUNDUP(16.47) + 1 = 18 基于搜索吞吐量估算

在存儲(chǔ)容量層面之外，還要考慮搜索響應(yīng)時(shí)間和搜索吞吐量的目標(biāo)，這些目標(biāo)可能需要更多的內(nèi)存和計(jì)算資源。 搜索響應(yīng)時(shí)間受太多變量的影響，無法預(yù)測(cè)任何給定容量計(jì)劃會(huì)如何影響它。但通過經(jīng)驗(yàn)性測(cè)試搜索響應(yīng)時(shí)間并估計(jì)預(yù)期的搜索吞吐量，我們可以估算出滿足這些需求所需的集群資源。 主要問題： 你每秒的最高搜索次數(shù)是多少？

你的平均搜索響應(yīng)時(shí)間（毫秒）是多少？

你的數(shù)據(jù)節(jié)點(diǎn)上有多少個(gè)核心和每個(gè)核心有多少個(gè)線程

經(jīng)驗(yàn)方法： 與其確定資源將如何影響搜索速度，不如將搜索速度視為一個(gè)常數(shù)，通過在計(jì)劃的硬件上進(jìn)行測(cè)量來處理。然后確定集群需要多少個(gè)核心來處理預(yù)期的搜索吞吐量峰值。最終目標(biāo)是防止線程池隊(duì)列增長(zhǎng)速度超過它們被消耗的速度。如果計(jì)算資源不足，搜索請(qǐng)求有被丟棄的風(fēng)險(xiǎn)。 公式： 峰值線程數(shù) = 向上取整（每秒的峰值搜索次數(shù) * 平均搜索響應(yīng)時(shí)間（毫秒） / 1000 毫秒） 線程池大小 = 向上取整（（每個(gè)節(jié)點(diǎn)的物理核心數(shù) * 每個(gè)核心的線程數(shù) * 3 / 2） + 1） 總數(shù)據(jù)節(jié)點(diǎn)數(shù) = 向上取整（峰值線程數(shù) / 線程池大?。?舉例： 假設(shè)每秒 2 萬搜索請(qǐng)求，平均響應(yīng)時(shí)間 50 毫秒，每個(gè)節(jié)點(diǎn)有 16 個(gè)線程數(shù)，計(jì)算需要多少節(jié)點(diǎn) 峰值線程數(shù) = 20000 * 50 /1000 = 1000 線程池大小 = (16 * 1 * 3/2) + 1 = 25 總數(shù)據(jù)節(jié)點(diǎn)數(shù) = 1000 / 25 = 40 大概需要 40 個(gè)數(shù)據(jù)節(jié)點(diǎn)來處理每秒 2 萬的搜索請(qǐng)求，平均響應(yīng)時(shí)間為 50 毫秒，每個(gè)節(jié)點(diǎn)有 16 個(gè)線程。這是一個(gè)粗略的估計(jì)，實(shí)際需求可能會(huì)因多種因素而有所不同。建議進(jìn)行實(shí)際測(cè)試以確認(rèn)這些數(shù)字。 Hot, Warm, Frozen

根據(jù)索引使用情況不同，通常分為種存儲(chǔ)。 這是一種經(jīng)濟(jì)高效的方法，用于存儲(chǔ)大量數(shù)據(jù)，同時(shí)優(yōu)化了對(duì)較新數(shù)據(jù)的性能。在容量規(guī)劃期間，每個(gè)層次必須獨(dú)立進(jìn)行規(guī)模確定，然后進(jìn)行合并。

實(shí)際情況要把搜索吞吐量估算和容量估算結(jié)合考慮。

關(guān)于 Easysearch

INFINI Easysearch 是一個(gè)分布式的近實(shí)時(shí)搜索與分析引擎，核心引擎基于開源的 Apache Lucene。Easysearch 的目標(biāo)是提供一個(gè)輕量級(jí)的 Elasticsearch 可替代版本，并繼續(xù)完善和支持更多的企業(yè)級(jí)功能。 與 Elasticsearch 相比，Easysearch 更關(guān)注在搜索業(yè)務(wù)場(chǎng)景的優(yōu)化和繼續(xù)保持其產(chǎn)品的簡(jiǎn)潔與易用性。 官網(wǎng)文檔：https://www.infinilabs.com/docs/latest/easysearch 下載地址：https://www.infinilabs.com/download