渣機(jī)器翻譯，沒有自己實(shí)驗(yàn)過，僅供參考。

Comfy SD Krita Plugin，開源手繪動(dòng)畫軟件和COMFYUI的合并插件

https://civitai.com/models/135081/comfy-sd-krita-plugin

試用于虛幻5的機(jī)器學(xué)習(xí)動(dòng)畫功能，學(xué)習(xí)代理適用于哪些人？

學(xué)習(xí)代理對于游戲開發(fā)人員來說至關(guān)重要，尤其是那些將編寫AI機(jī)器人的人。我們創(chuàng)建此插件的目的是使開發(fā)人員在現(xiàn)有或新游戲中訓(xùn)練和部署 ML 機(jī)器人更加可行。所有熟悉機(jī)器學(xué)習(xí)的開發(fā)人員都應(yīng)該發(fā)現(xiàn)該插件是有益的。

https://dev.epicgames.com/community/learning/courses/M3D/unreal-engine-learning-agents-getting-started/8OWY/unreal-engine-learning-agents-introduction

DiffBIR：通過生成擴(kuò)散先驗(yàn)實(shí)現(xiàn)盲圖像恢復(fù)

https://github.com/XPixelGroup/DiffBIR?ref=aiartweekly

Compositional Diffusion-Based
Continuous Constraint Solvers機(jī)器運(yùn)動(dòng)學(xué)習(xí)，可能學(xué)習(xí)錯(cuò)誤的并加入部分存儲功能，避免一本正經(jīng)幻覺，計(jì)算物體點(diǎn)云，深度，光影，材質(zhì)，并計(jì)算存儲物理，點(diǎn)路徑。

https://diffusion-ccsp.github.io/，參考演示，https://www.bilibili.com/video/BV1wm4y1K7f4/

靈活的等值面提取，用于基于梯度的
網(wǎng)格優(yōu)化，AI優(yōu)化AI生成3D模型表面材質(zhì)，好像沒有開源

這項(xiàng)工作考慮了基于梯度的網(wǎng)格優(yōu)化，其中我們通過將其表示為標(biāo)量場的等值面來迭代優(yōu)化 3D 表面網(wǎng)格，這是攝影測量、生成建模和逆物理等應(yīng)用中越來越常見的范式?，F(xiàn)有實(shí)現(xiàn)采用經(jīng)典等值面提取算法，如行進(jìn)立方體或雙輪廓;這些技術(shù)旨在從固定的已知場中提取網(wǎng)格，并且在優(yōu)化設(shè)置中，它們?nèi)狈Ρ硎靖哔|(zhì)量特征保留網(wǎng)格的自由度，或者存在數(shù)值不穩(wěn)定。我們介紹了FlexiCubes，這是一種等值面表示，專門設(shè)計(jì)用于優(yōu)化未知網(wǎng)格的幾何，視覺甚至物理物鏡。我們的主要見解是在表示中引入其他精心挑選的參數(shù)，從而允許對提取的網(wǎng)格幾何體和連通性進(jìn)行局部靈活調(diào)整。在優(yōu)化下游任務(wù)時(shí)，這些參數(shù)通過自動(dòng)微分與基礎(chǔ)標(biāo)量字段一起更新。我們的提取方案基于雙行進(jìn)立方體，以改進(jìn)拓?fù)鋵傩?，并提供擴(kuò)展以選擇性地生成四面體和分層自適應(yīng)網(wǎng)格。大量的實(shí)驗(yàn)驗(yàn)證了FlexiCubes在綜合基準(zhǔn)測試和實(shí)際應(yīng)用中的應(yīng)用，表明它在網(wǎng)格質(zhì)量和幾何保真度方面提供了顯著的改進(jìn)。

https://research.nvidia.com/labs/toronto-ai/flexicubes/

TokenFlow: Consistent Diffusion Features for Consistent Video Editing開源的擴(kuò)散視頻生成模型，提供試玩。

https://diffusion-tokenflow.github.io/

ControlMat：2D材質(zhì)圖片捕獲的受控生成3D模型材質(zhì)方法，好像沒有開源

https://gvecchio.com/controlmat/

Falcon 180B 登陸 Hugging Face Hub，中東開發(fā)，恐怕是最大開源模型了。

我們很高興地宣布由 Technology Innovation Institute (TII) 訓(xùn)練的開源大模型 Falcon 180B 登陸 Hugging Face! Falcon 180B 為開源大模型樹立了全新的標(biāo)桿。作為當(dāng)前最大的開源大模型，有180B 參數(shù)并且是在在 3.5 萬億 token 的 TII RefinedWeb 數(shù)據(jù)集上進(jìn)行訓(xùn)練，這也是目前開源模型里最長的單波段預(yù)訓(xùn)練。

你可以在 Hugging Face Hub 中查閱其 基礎(chǔ)模型、聊天模型，以及其 Space 應(yīng)用。

從表現(xiàn)能力上來看，F(xiàn)alcon 180B 在自然語言任務(wù)上的表現(xiàn)十分優(yōu)秀。它在開源模型排行榜 (預(yù)訓(xùn)練) 上名列前茅，并可與 PaLM-2 等專有模型相差無幾。雖然目前還很難給出明確的排名，但它被認(rèn)為與 PaLM-2 Large 不相上下，這也使得它成為目前公開的能力最強(qiáng)的 LLM 之一。

從架構(gòu)維度來看，F(xiàn)alcon 180B 是 Falcon 40B 的升級版本，并在其基礎(chǔ)上進(jìn)行了創(chuàng)新，比如利用 Multi-Query Attention 等來提高模型的可擴(kuò)展性?？梢酝ㄟ^回顧 Falcon 40B 的博客 Falcon 40B 來了解其架構(gòu)。Falcon 180B 是使用 Amazon SageMaker 在多達(dá) 4096 個(gè) GPU 上同時(shí)對 3.5 萬億個(gè) token 進(jìn)行訓(xùn)練，總共花費(fèi)了約 7,000,000 個(gè) GPU 計(jì)算時(shí)，這意味著 Falcon 180B 的規(guī)模是 Llama 2 的 2.5 倍，而訓(xùn)練所需的計(jì)算量是 Llama 2 的 4 倍。

其訓(xùn)練數(shù)據(jù)主要來自 RefinedWeb 數(shù)據(jù)集 (大約占 85%)，此外，它還在對話、技術(shù)論文和一小部分代碼 (約占 3%) 等經(jīng)過整理的混合數(shù)據(jù)的基礎(chǔ)上進(jìn)行了訓(xùn)練。這個(gè)預(yù)訓(xùn)練數(shù)據(jù)集足夠大，即使是 3.5 萬億個(gè)標(biāo)記也只占不到一個(gè)時(shí)期 (epoch)。

已發(fā)布的 聊天模型 在對話和指令數(shù)據(jù)集上進(jìn)行了微調(diào)，混合了 Open-Platypus、UltraChat 和 Airoboros 數(shù)據(jù)集。

?? 商業(yè)用途: Falcon 180b 可用于商業(yè)用途，但條件非常嚴(yán)格，不包括任何“托管用途”。如果您有興趣將其用于商業(yè)用途，我們建議您查看 許可證 并咨詢您的法律團(tuán)隊(duì)。

https://huggingface.co/blog/zh/falcon-180b，https://huggingface.co/spaces/tiiuae/falcon-180b-demo，順帶送抱臉開源模型排行榜，https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

ModelScope-Agent： 基于開源大語言模型的可定制Agent系統(tǒng)

https://github.com/modelscope/modelscope-agent/blob/master/README_CN.md

ReMoDiffuse：檢索增強(qiáng)運(yùn)動(dòng)擴(kuò)散模型

3D人體運(yùn)動(dòng)生成對于創(chuàng)意產(chǎn)業(yè)至關(guān)重要。 最近的進(jìn)展依賴于具有領(lǐng)域知識的生成模型來生成文本驅(qū)動(dòng)的運(yùn)動(dòng)，從而在捕獲常見運(yùn)動(dòng)方面取得了實(shí)質(zhì)性進(jìn)展。 然而，在更多樣化的運(yùn)動(dòng)中的表現(xiàn)仍然不盡如人意。 在這項(xiàng)工作中，我們提出了ReMoDiffuse，一個(gè)基于擴(kuò)散模型的運(yùn)動(dòng)生成框架，它集成了一個(gè)檢索機(jī)制來完善去噪過程。 ReMoDiffuse通過三個(gè)關(guān)鍵設(shè)計(jì)增強(qiáng)了文本驅(qū)動(dòng)運(yùn)動(dòng)生成的通用性和多樣性：1）混合檢索在語義和運(yùn)動(dòng)學(xué)相似性方面從數(shù)據(jù)庫中找到適當(dāng)?shù)膮⒖肌?）語義調(diào)制變壓器選擇性地吸收檢索知識，適應(yīng)檢索樣本與目標(biāo)運(yùn)動(dòng)序列之間的差異。3）條件混合在推理過程中更好地利用檢索數(shù)據(jù)庫，克服了無分類器指導(dǎo)中的尺度敏感性。 大量實(shí)驗(yàn)表明，ReMoDiffuse 在平衡文本運(yùn)動(dòng)一致性和運(yùn)動(dòng)質(zhì)量方面優(yōu)于最先進(jìn)的方法，特別是對于更多樣化的運(yùn)動(dòng)生成。

https://mingyuan-zhang.github.io/projects/ReMoDiffuse.html

RoboTAP：跟蹤任意少量點(diǎn)
以進(jìn)行視覺模仿

https://robotap.github.io/

PointHPS：基于點(diǎn)云的級聯(lián)恢復(fù) 3D 人體姿勢和形狀估計(jì)，目前咩有模型，只有代碼。

近年來，人體姿勢和形狀估計(jì)（HPS）越來越受到關(guān)注。雖然大多數(shù)現(xiàn)有研究 關(guān)注具有固有深度模糊性的2D圖像或視頻中的HPS，從3D點(diǎn)云中研究HPS的需求激增 由于深度傳感器經(jīng)常用于商業(yè)設(shè)備。然而，現(xiàn)實(shí)世界的感官3D點(diǎn)通常是嘈雜的，并且 不完整，人體也可能具有高度多樣性的不同姿勢。為了應(yīng)對這些挑戰(zhàn)，我們提出了一個(gè)有原則的 框架，PointHPS，用于從真實(shí)環(huán)境中捕獲的點(diǎn)云進(jìn)行精確的 3D HPS，從而迭代優(yōu)化點(diǎn)要素 通過級聯(lián)架構(gòu)。具體來說，PointHPS的每個(gè)階段都執(zhí)行一系列下采樣和上采樣操作 提取和整理局部和全局線索，并通過兩個(gè)新穎模塊進(jìn)一步增強(qiáng)：1）跨階段特征融合 （CFF） 用于多尺度特征傳播，允許信息有效地流過各個(gè)階段，以及 2） 中間特征 用于身體感知特征聚合的增強(qiáng) （IFE），可在每個(gè)階段后提高特征質(zhì)量。值得注意的是，以前的基準(zhǔn) 對于來自點(diǎn)云的HPS，由具有過度簡化設(shè)置的合成數(shù)據(jù)（例如，SURREAL）或具有有限多樣性的真實(shí)數(shù)據(jù)（例如， 馬哈德）。為了便于在各種情況下進(jìn)行全面研究，我們在兩個(gè)大規(guī)模基準(zhǔn)上進(jìn)行實(shí)驗(yàn)， 包括i）具有真實(shí)商業(yè)傳感器在實(shí)驗(yàn)室環(huán)境中捕獲的各種主題和動(dòng)作的數(shù)據(jù)集， ii）根據(jù)現(xiàn)實(shí)考慮生成的受控合成數(shù)據(jù)，例如擁擠的戶外場景中穿著衣服的人。廣泛 實(shí)驗(yàn)表明，PointHPS憑借其強(qiáng)大的點(diǎn)特征提取和處理方案，優(yōu)于最先進(jìn)的技術(shù) 方法在全線范圍內(nèi)大幅增加。消融研究驗(yàn)證了級聯(lián)架構(gòu)的有效性，由 CFF和IFE。預(yù)訓(xùn)練的模型、代碼和數(shù)據(jù)將公開提供，以方便未來從點(diǎn)云對HPS進(jìn)行研究。

https://caizhongang.github.io/projects/PointHPS/

Physically Grounded Vision-Language Models for Robotic Manipulation，用機(jī)器人識別各種物體數(shù)據(jù)集模型。

視覺語言模型 （VLM） 的最新進(jìn)展提高了視覺問答和圖像字幕等任務(wù)的性能。因此，這些模型現(xiàn)在處于推理物理世界的位置，特別是在機(jī)器人操縱等領(lǐng)域。然而，目前的VLM對常見物體的物理概念（例如，材料，脆弱性）的理解有限，這限制了它們在涉及此類物體的交互和物理推理的機(jī)器人操作任務(wù)中的實(shí)用性。為了解決這一限制，我們提出了PhysObjects，這是一個(gè)以對象為中心的數(shù)據(jù)集，包含36.9K眾包和417K常見家居物品的自動(dòng)物理概念注釋。我們證明了在 PhysObjects 上微調(diào) VLM 可以通過從視覺外觀中捕獲這些概念的人類先驗(yàn)來提高其對這些概念的理解。我們將這種物理基礎(chǔ)的VLM與基于大型語言模型的機(jī)器人規(guī)劃器合并到一個(gè)交互式框架中，與不使用物理基礎(chǔ)VLM的基線相比，在需要推理物理對象概念的任務(wù)上展示了改進(jìn)的計(jì)劃性能。我們還說明了我們在真實(shí)機(jī)器人上物理接地的VLM的好處，它可以提高任務(wù)成功率。

物理對象數(shù)據(jù)集

為了對以對象為中心的物理推理的VLM進(jìn)行基準(zhǔn)測試和改進(jìn)，我們編譯了PhysObjects數(shù)據(jù)集，其中包含36.9K眾包和417K自動(dòng)化物理概念注釋。我們圖像的來源是EgoObjects數(shù)據(jù)集。 我們收集了下表中列出的八個(gè)物理概念的注釋。我們根據(jù)先前的工作以及我們認(rèn)為對機(jī)器人操作有用的東西來選擇這些概念。但是，我們不考慮人類僅從圖像中難以估計(jì)的概念，例如摩擦力。

https://iliad.stanford.edu/pg-vlm/