賽題名稱：Google - Fast or Slow? Predict AI Model Runtime

賽題鏈接：https://www.kaggle.com/competitions/predict-ai-model-runtime

賽題背景

Alice 是一名 AI 模型開發(fā)人員，但她的團隊開發(fā)的一些模型運行速度非常慢。她最近發(fā)現了編譯器的配置，這些配置改變了編譯器編譯和優(yōu)化模型的方式，從而使模型運行得更快（或更慢）。參賽者的任務是幫助 Alice 找到每個模型的最佳配置。

賽題方向

數據挖掘

賽題任務

根據訓練數據集中提供給參賽者的運行時數據訓練機器學習模型，并進一步預測測試數據集中圖形和配置的運行時。

數據描述

我們的數據集稱為TpuGraphs,這是在XLA HLO圖上運行在張量處理單元(TPUs) v3上的性能預測數據集。

總共有5個數據集集合:layout:xla:random、layout:xla:default、layout:nlp:random、layout:nlp:default和tile:xla。

最終得分將是所有數據集的平均值。要下載整個數據集并查看更多信息，參賽者可以導航到數據選項卡。

基準模型

我們在https://github.com/google-research-datasets/tpu_graphs上提供了基準模型和訓練設置。請參閱我們的數據集論文（https://arxiv.org/abs/2308.13490），了解基準模型的詳細信息。

評價指標

根據實際需求，我們使用兩種評估指標，并對其取平均。

具體來說，對于數據集“tile:xla”，我們使用top-K預測產生的“(1-slowdown)”來反映模型預測的top-K配置相對于實際最快配置的速度降低情況,計算如下:

其中 K 是top-K預測，A 是數據集中給定圖的所有配置，y 是測量的執(zhí)行時間。

對于 layout:* 數據集，我們使用肯德爾秩相關系數(一種排名評估指標：模型預測的配置排序與運行時間排序的實際對應程度)。

提交文件

參賽者的提交文件必須是一個帶有標題ID、TopConfigs的csv文件。每個npz/**/test/*.npz文件（請參閱數據）在csv文件中必須有一行。

• ID是{collection}:{test_filename_without_extension}，其中collection是tile:xla、layout:xla:random、layout:xla:default、layout:nlp:random和layout:nlp:default之一。

• TopConfigs應該根據參賽者的模型預測，按照從最快（運行時間最短）到最慢（運行時間最長）的順序，用“;”分隔列出配置的索引。

• 對于集合tile:xla，只有前5個條目將被考慮，其余的將被忽略。

• 對于layout:*集合，所有條目將被考慮

• 有關樣本提交文件，請從數據選項卡下載sample_submission.csv。

時間安排

• 2023年8月29日 - 開始日期。

• 2023年11月10日 - 報名截止日期。

• 2023年11月17日 - 最終提交截止日期。

賽題獎金

• 第一名 - 15,000美元

• 第二名 - 10,000美元

• 第三名 - 8,000美元

• 第四名 - 7,000美元

• 第五名 - 5,000美元

• 第六名 - 5,000美元

新賽火熱報名中！??！

戳海報了解詳情??

添加小享，報名新賽
有其他問題也可以咨詢哦