渣機器翻譯，沒實驗過，僅供參考。

InstaFlow擴散生成模型新方法：極度簡化，一步生成，可能就是把運作曲線變成數(shù)學(xué)上直線提高速度，真的好速度。

InstaFlow模型是一步生成器，它直接將噪聲映射到圖像，避免擴散模型的多步采樣。在我們配備 A100 GPU 的機器上，推理時間約為 0.1 秒，與原始穩(wěn)定擴散相比節(jié)省了 ~90% 的推理時間。

https://github.com/gnobitab/InstaFlow

https://zhuanlan.zhihu.com/p/603740431

Collage Diffusion UI可以用幾個圖片，調(diào)節(jié)融合度，加文字，叫幾個圖片完全AI PS成一個正常圖片，就是PS移花接木，提供在線試玩。

https://zhuanlan.zhihu.com/p/603740431

http://collagediffusion.stanford.edu/edit

https://vsanimator.github.io/collage_diffusion/

Tree-Structured Shading Decomposition AI進(jìn)行分析樹結(jié)構(gòu)著色分解

我們研究從單個圖像推斷樹結(jié)構(gòu)表示以進(jìn)行對象著色。先前的工作通常使用參數(shù)化或測量表示來對陰影進(jìn)行建模，這既不可解釋也不容易編輯。我們建議使用陰影樹表示，它結(jié)合了基本的著色節(jié)點和合成方法來分解對象表面著色。 陰影樹表示使不熟悉物理著色過程的新手用戶能夠以高效直觀的方式編輯對象著色。 推斷陰影樹的一個主要挑戰(zhàn)是推理問題涉及離散樹結(jié)構(gòu)和樹節(jié)點的連續(xù)參數(shù)。我們提出了一種混合方法來解決這個問題。我們引入自回歸推理模型來生成樹結(jié)構(gòu)和節(jié)點參數(shù)的粗略估計，然后通過優(yōu)化算法對推斷的陰影樹進(jìn)行微調(diào)。我們展示了合成圖像、捕獲的反射率、真實圖像和非現(xiàn)實矢量圖的實驗，允許下游應(yīng)用，如材質(zhì)編輯、矢量化著色和重新照明。

https://chen-geng.com/inv-shade-trees

Glide AI 用連連看低代碼和自然語言生成軟件或者使您軟件加入集成AI功能-應(yīng)該是，現(xiàn)在可以試用。

https://www.glideapps.com/ai

EasyPhoto 是一個基于SDWebUI插件生態(tài)構(gòu)建的開源軟件，專注于利用AIGC技術(shù)實現(xiàn)真/像/美的AI-寫真。我們致力于拓展該技術(shù)的應(yīng)用范圍，降低使用門檻，并為廣大用戶提供便利。PS就是一個某AI相機開源版，早就說這個AI某相機壓根就是割韭菜，商湯的AI有人付費那是值得點，那是真的需要云計算，真的高科技。

https://github.com/aigc-apps/sd-webui-EasyPhoto/blob/main/COVENANT_zh-CN.md

TECA：文本引導(dǎo)生成和編輯合成3D頭像，其實頭像應(yīng)用太少，但是生成配飾不錯，還是登了。

https://yfeng95.github.io/teca/

Diffusers，一個擴散器庫，用于構(gòu)建自己擴散模型用。

https://github.com/huggingface/diffusers

擁抱聊天 (huggingface.co)，擁抱臉官方開源免費試用對話AI，基本都是開源模型

https://huggingface.co/chat/

FlagEmbedding將任意文本映射為低維稠密向量，以用于檢索、分類、聚類或語義匹配等任務(wù)，并可支持為大模型調(diào)用外部知識。

https://github.com/FlagOpen/FlagEmbedding/blob/master/README_zh.md

動態(tài)網(wǎng)格感知輻射場，通過AI生成的3D模型，AI再進(jìn)行生成空間物理現(xiàn)象。

從將 NeRF 集成到傳統(tǒng)圖形管道的系統(tǒng)角度來看，在逼真的神經(jīng)輻射場 （NeRF） 體積中嵌入多邊形網(wǎng)格資產(chǎn)，以便可以渲染它們并以與 NeRF 物理一致的方式模擬其動態(tài)，這一點尚未得到充分探索。本文設(shè)計了網(wǎng)格和NeRF在渲染和仿真過程中的雙向耦合。我們首先回顧網(wǎng)格和NeRF的光傳輸方程，然后將它們提煉成一個簡單的算法，以更新具有任意反彈次數(shù)的投射光線的輻射和吞吐量。為了解決路徑追蹤器假設(shè)的線性色彩空間與標(biāo)準(zhǔn)NeRF使用的sRGB色彩空間之間的差異，我們使用高動態(tài)范圍（HDR）圖像訓(xùn)練NeRF。我們還提出了一種估計光源并在NeRF上投射陰影的策略。最后，我們考慮如何將混合表面體積公式與支持布體、剛體和軟體的高性能物理模擬器有效集成。完整的渲染和模擬系統(tǒng)可以以交互速率在GPU上運行。我們表明，混合系統(tǒng)方法在網(wǎng)格插入的視覺真實感方面優(yōu)于替代方案，因為它允許從體積NeRF介質(zhì)到表面上的真實光傳輸，這會影響反射/折射表面的外觀和場景告知的漫反射表面的照明。

https://mesh-aware-rf.github.io/

Learning Disentangled Avatars with Hybrid 3D Representations，可能用大量人視頻訓(xùn)練模型，可以達(dá)到有影視游戲級別骨骼形變。

已經(jīng)付出了巨大的努力來學(xué)習(xí)可動畫和逼真的人類化身。為此，對顯式和隱式3D表示進(jìn)行了大量研究，以對整個人類（例如，身體，衣服，面部和頭發(fā)）進(jìn)行整體建模和捕獲，但就表示效果而言，這兩種表示都不是最佳選擇，因為人類化身的不同部分具有不同的建模需求。例如，網(wǎng)格通常不適合對服裝和頭發(fā)進(jìn)行建模。 受此啟發(fā)，我們提出了DisEntangLed AvaTArs（DELTA），它用混合顯式 - 隱式3D表示對人類進(jìn)行建模。 DELTA將單目RGB視頻作為輸入，并生成具有獨立身體和衣服/頭發(fā)層的人類頭像。 具體來說，我們展示了DELTA的兩個重要應(yīng)用。對于第一個，我們考慮人體和衣服的解開，在第二個中，我們解開臉部和頭發(fā)。為此，DELTA 使用基于網(wǎng)格的顯式參數(shù)化 3D 模型表示身體或面部，并使用隱式神經(jīng)輻射場表示衣服或頭發(fā)。為了實現(xiàn)這一目標(biāo)，我們設(shè)計了一個端到端的可微分渲染器，將網(wǎng)格集成到體積渲染中，使DELTA能夠直接從單眼視頻中學(xué)習(xí)，而無需任何3D監(jiān)督。 最后，我們展示了如何輕松地將這兩個應(yīng)用程序結(jié)合起來對全身化身進(jìn)行建模，以便頭發(fā)、面部、身體和衣服可以完全解開但聯(lián)合渲染。這種解開使頭發(fā)和衣服能夠轉(zhuǎn)移到任意的體型。 我們通過展示DELTA在解開重建、虛擬服裝試穿和發(fā)型轉(zhuǎn)移方面的良好表現(xiàn)，實證驗證了DELTA解開的有效性。為了促進(jìn)未來的研究，我們還發(fā)布了一個開源管道，用于研究混合人類化身建模。

https://yfeng95.github.io/delta/

LEAP HAND：低成本、高效、擬人化的機器人手帶AI學(xué)習(xí).效果好，重物不太清楚，很多類似開源小機器人基本可以復(fù)現(xiàn).

靈巧的操作一直是機器人技術(shù)中長期存在的挑戰(zhàn)。而 機器學(xué)習(xí)技術(shù)已經(jīng)顯示出一些前景，結(jié)果在很大程度上是 目前僅限于模擬。這主要歸因于缺乏 合適的硬件。在本文中，我們介紹了LEAP Hand，一種低成本的靈巧 以及用于機器學(xué)習(xí)研究的擬人化手。與以前的對比 手，LEAP手具有新穎的運動學(xué)結(jié)構(gòu)，可實現(xiàn)最大的靈活性 無論手指姿勢如何。LEAP手是低成本的，可以組裝成4 小時，成本為 2000 美元，來自現(xiàn)成的零件。它能夠 在長時間內(nèi)持續(xù)施加大扭矩。我們證明 LEAP手可用于在現(xiàn)實世界中執(zhí)行多項操作任務(wù) -- 從視覺遠(yuǎn)程操作到從被動視頻數(shù)據(jù)和 sim2real 中學(xué)習(xí)。 LEAP Hand在所有方面都明顯優(yōu)于其最接近的競爭對手Allegro Hand。 我們的實驗雖然是成本的 1/8。

http://www.leaphand.com/

http://www.leaphand.com/sim2real

https://github.com/leap-hand/LEAP_Hand_API

NExT-GPT: Any-to-Any Multimodal LLM,NExT-GPT，第一個端到端MM-LLM，可感知輸入并以文本，圖像，視頻和音頻的任意組合（任意對任意）的AI LLM。

https://next-gpt.github.io/

Gradio：在 Python 中構(gòu)建機器學(xué)習(xí) Web 應(yīng)用程序

Gradio 可用于：

為客戶/協(xié)作者/用戶/學(xué)生演示機器學(xué)習(xí)模型。

使用自動可共享鏈接快速部署模型，并獲得有關(guān)模型性能的反饋。

在開發(fā)過程中使用內(nèi)置的操作和解釋工具以交互方式調(diào)試模型。

https://github.com/gradio-app/gradio

PhotoVerse：使用文本到圖像擴散模型進(jìn)行圖像鎖定定制文字生成改變，目前好像只能用人像上。

個性化文本到圖像生成已成為一種功能強大且廣受歡迎的工具，使用戶能夠根據(jù)其特定概念和提示創(chuàng)建自定義圖像。但是，現(xiàn)有的個性化方法遇到了多種挑戰(zhàn)，包括調(diào)諧時間長、存儲要求大、每個標(biāo)識需要多個輸入圖像，以及保留標(biāo)識和可編輯性方面的限制。為了解決這些障礙，我們提出了PhotoVerse，這是一種創(chuàng)新的方法，在文本和圖像域中都結(jié)合了雙分支調(diào)節(jié)機制，提供了對圖像生成過程的有效控制。此外，我們引入了面部身份喪失作為一種新組成部分，以增強訓(xùn)練期間的身份保護(hù)。值得注意的是，我們提出的 PhotoVerse 消除了測試時間調(diào)整的需要，并且僅依賴于目標(biāo)身份的單個面部照片，從而顯著降低了與圖像生成相關(guān)的資源成本。經(jīng)過一個訓(xùn)練階段后，我們的方法可以在幾秒鐘內(nèi)生成高質(zhì)量的圖像。此外，我們的方法可以產(chǎn)生包含各種場景和風(fēng)格的各種圖像。廣泛的評估證明了我們的方法的卓越性能，它實現(xiàn)了保留身份和促進(jìn)可編輯性的雙重目標(biāo)。

https://photoverse2d.github.io/

AstroLLaMA：邁向天文學(xué)專業(yè)基礎(chǔ)模型

https://huggingface.co/universeTBD/astrollama

VLLM AI加速省內(nèi)存器

大型語言模型 （LLM） 的高吞吐量服務(wù)需要一次批處理足夠多的請求。但是，現(xiàn)有系統(tǒng)陷入困境，因為每個請求的鍵值緩存（KV 緩存）內(nèi)存都很大，并且會動態(tài)增長和收縮。如果管理效率低下，碎片和冗余重復(fù)可能會嚴(yán)重浪費此內(nèi)存，從而限制批大小。為了解決這個問題，我們提出了PagedAttention，這是一種受操作系統(tǒng)中經(jīng)典虛擬內(nèi)存和分頁技術(shù)啟發(fā)的注意力算法。最重要的是，我們構(gòu)建了vLLM，這是一個LLM服務(wù)系統(tǒng)，可實現(xiàn)（1）KV緩存內(nèi)存的近乎零浪費和（2）在請求內(nèi)和請求之間靈活共享KV緩存，以進(jìn)一步減少內(nèi)存使用。我們的評估表明，與最先進(jìn)的系統(tǒng)（如FasterTransformer和Orca）相比，vLLM在相同延遲水平下將流行LLM的吞吐量提高了2-4倍。使用更長的序列、更大的模型和更復(fù)雜的解碼算法，這種改進(jìn)更為明顯。

https://github.com/vllm-project/vllm

Blended-NeRF現(xiàn)有神經(jīng)輻射場中的對鏡頭對象3D模型生成混合和替換。

比如用文字生成普通松子3D模型換成綠水晶松子3D模型。

https://github.com/orig333/Blended-NeRF