我通過調(diào)用GPT-3.5-turbo的API，進行了長文本的總結嘗試，本次嘗試是如下論文：

《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》

原論文摘要：

Language models are increasingly being deployed for general problem solving across a wide range of tasks, but are still confined to token-level, left-to-right decision-making processes during inference. This means they can fall short in tasks that require exploration, strategic lookahead, or where initial decisions play a pivotal role. To surmount these challenges, we introduce a new framework for language model inference, “Tree of Thoughts” (ToT), which generalizes over the popular “Chain of Thought” approach to prompting language models, and enables exploration over coherent units of text (“thoughts”) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models’ problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all prompts: https://github.com/ysymyth/tree-of-thought-llm.

語言模型越來越多地被用于廣泛的任務中進行通用問題解決，但在推理過程中仍受限于基于標記、從左到右的決策過程。這意味著在需要探索、策略前瞻或初始決策至關重要的任務中，它們可能表現(xiàn)不佳。為了克服這些挑戰(zhàn)，我們引入了一種新的語言模型推理框架，即“思路樹”（Tree of Thoughts，ToT），它在流行的“思路鏈”提示語言模型方法的基礎上進行了推廣，并實現(xiàn)了對連貫文本單位（即“思路”）的探索，這些單位作為解決問題的中間步驟。ToT允許語言模型進行有意識的決策，通過考慮多個不同的推理路徑和自我評估選擇，決定下一步行動，并在必要時向前或向后跟蹤以做出全局性選擇。我們的實驗表明，ToT極大增強了語言模型在三個需要復雜規(guī)劃或搜索的新任務上的問題解決能力：24點游戲、創(chuàng)意寫作和小型填字游戲。例如，在24點游戲中，雖然只有使用思路鏈提示的GPT-4解決了4%的任務，我們的方法的成功率達到了74%。包含所有提示的代碼存儲庫：https://github.com/ysymyth/tree-of-thought-llm。

GPT-3.5-turbo總結的分點摘要：

1. Language models typically make token-level, left-to-right decisions during inference, limiting their ability to perform tasks that require exploration and strategic lookahead.

2. The Tree of Thoughts (ToT) framework enables exploration over coherent units of text, or thoughts, that serve as intermediate steps toward problem solving.

3. ToT allows language models to perform deliberate decision-making, consider multiple reasoning paths, and self-evaluate choices to decide the next course of action.

4. ToT combines the language-based capability to generate and evaluate diverse thoughts with search algorithms, such as breadth-first or depth-first search.

5. ToT significantly enhances language models' problem-solving abilities in tasks requiring non-trivial planning or search, such as Game of 24, Creative Writing, and Mini Crosswords.

6. ToT's implementation of search heuristics via LM self-evaluation and deliberation is novel and more general and flexible than existing methods, such as Chain of Thought (CoT) prompting or Self-consistency with CoT (CoT-SC).

7. The Tree of Thoughts framework enables deliberate problem-solving using language models.

8. Human problem-solving involves searching through a tree-like problem space, with heuristics guiding the search process.

9. Existing LM approaches have shortcomings in exploring different branches of the problem space and incorporating planning and search.

10. ToT addresses these shortcomings by framing problems as a search over a tree, evaluating states with LM-generated heuristics, and using search algorithms.

11. ToT is adaptable, modular, and convenient, requiring only a pre-trained LM.

12. ToT shows strong empirical performance on hard tasks, outperforming standard IO and CoT prompting.

13. The Tree of Thoughts (ToT) framework is a search-based approach that addresses shortcomings in language model (LM) approaches.

14. ToT frames problems as a search over a tree, using LM-generated heuristics to evaluate states and search algorithms to traverse the tree.

15. ToT is adaptable, modular, and convenient, and demonstrates strong empirical performance on hard tasks.

16. The ToT framework was tested on a mathematical reasoning challenge (Game of 24) and a creative writing task, showing superior performance compared to other approaches.

17. ToT outperforms input-output and chain-of-thought prompts in both tasks, and iterative refinement improves coherency scores on the creative writing task.

18. ToT offers a promising new way to use language models to solve problems requiring search or planning.

19. ToT framework is effective for solving tasks requiring search or planning.

20. ToT outperforms traditional prompts and iterative refinement improves performance.

21. ToT performs well on hard tasks in natural language processing.

22. ToT is explored on a harder search problem involving natural language in mini crosswords.

23. ToT significantly improves all metrics in mini crosswords, achieving a word-level success rate of 60%.

24. ToT's proposed Tree-of-Thought approach extends existing planning formulations.

25. ToT's Tree-of-Thought approach considers multiple feasible plans simultaneously and uses the LM for decision making.

26. ToT's self-reflection mechanism, program-guided LLM generation, and versatility make it promising for natural language processing problems.

27. ToT is a modern rendition of classical search methods and can be considered as a heuristic search algorithm.

28. ToT may not be necessary for existing tasks that GPT-4 excels at, but it could present new opportunities for real-world decision making applications.

29. ToT allows users to customize performance-cost tradeoffs, and ongoing open-source efforts should reduce costs in the future.

30. ToT improves the interpretability of model decisions and the opportunity for human alignment.

-----中文翻譯------

1. 語言模型通常在推理過程中進行基于標記的從左到右的決策，限制了它們在需要探索和策略前瞻的任務中的表現(xiàn)能力。

2. 思路樹（ToT）框架可以在連貫的文本單位（即思路）上進行探索，這些思路作為解決問題的中間步驟。

3. ToT允許語言模型進行有意識的決策，考慮多個推理路徑，并自我評估選擇以決定下一步行動。

4. ToT將生成和評估多樣思路的語言能力與廣度優(yōu)先搜索或深度優(yōu)先搜索等搜索算法結合起來。

5. ToT極大增強了語言模型在需要復雜規(guī)劃或搜索的任務中的問題解決能力，如24點游戲、創(chuàng)意寫作和小型填字游戲。

6. ToT通過語言模型的自我評估和思考來實現(xiàn)搜索啟發(fā)式，其更加新穎、更具一般性和靈活性，而不同于現(xiàn)有方法，如思路鏈提示（CoT）或帶有思路鏈的自一致性（CoT-SC）。

7. 思路樹框架使得利用語言模型進行有意識的問題解決成為可能。

8. 人類問題解決涉及對問題空間進行類似樹狀的搜索，啟發(fā)式指導搜索過程。

9. 現(xiàn)有的語言模型方法在探索問題空間的不同分支和整合規(guī)劃和搜索方面存在局限性。

10. ToT通過將問題構建為樹狀搜索、使用語言模型生成的啟發(fā)式評估狀態(tài)以及使用搜索算法來解決這些局限性。

11. ToT是一種可適應、模塊化和便利的方法，只需要一個預訓練的語言模型。

12. ToT在困難任務上表現(xiàn)出強大的實證性能，優(yōu)于標準的輸入-輸出和思路鏈提示。

13. 思路樹（ToT）框架是一種解決語言模型（LM）方法中局限性的基于搜索的方法。

14. ToT將問題構建為對樹狀結構的搜索，使用語言模型生成的啟發(fā)式評估狀態(tài)，并使用搜索算法遍歷樹狀結構。

15. ToT具有適應性、模塊化和便利性，并在困難任務上展現(xiàn)出強大的實證性能。

16. 思路樹框架在數(shù)學推理挑戰(zhàn)（24點游戲）和創(chuàng)意寫作任務上進行了測試，表現(xiàn)優(yōu)于其他方法。

17. ToT在這兩個任務中優(yōu)于輸入-輸出和思路鏈提示，而迭代改進提高了創(chuàng)意寫作任務的連貫性得分。

18. ToT為利用語言模型解決需要搜索或規(guī)劃的問題提供了一個有前景的新方法。

19. ToT框架對于解決需要搜索或規(guī)劃的任務非常有效。

20. ToT在傳統(tǒng)提示方法上表現(xiàn)出色，而迭代改進提高了性能。

21. ToT在自然語言處理的困難任務上表現(xiàn)良好。

22. ToT在涉及自然語言的小型填字游戲中進行了探索。

23. ToT在小型填字游戲中顯著提高了所有指標，實現(xiàn)了60%的單詞級成功率。

24. ToT提出的思路樹方法擴展了現(xiàn)有的規(guī)劃表述。

25. ToT的思路樹方法同時考慮多個可行方案，并利用語言模型進行決策。

26. ToT的自我反思機制、程序引導的語言模型生成和靈活性使其在自然語言處理問題上具有巨大潛力。

27. ToT是對經(jīng)典搜索方法的現(xiàn)代演繹，可以被視為一種啟發(fā)式搜索算法。

28. 對于GPT-4在現(xiàn)有任務上表現(xiàn)出色的情況下，ToT可能并非必需，但它可能為現(xiàn)實世界的決策應用提供新的機會。

29. ToT允許用戶自定義性能與成本之間的權衡，并且正在進行的開源工作將在未來降低成本。

30. ToT改善了模型決策的可解釋性和與人類對齊的機會。

總體摘要（由GPT-4 API生成）：

標題：樹狀思維模型：使用大型語言模型進行深思熟慮的問題解決

當前的語言模型（LM）在推理過程中主要采取由左到右的逐個符號決策，限制了它們在需要探索和戰(zhàn)略預判的任務中的性能。針對這個挑戰(zhàn)，一篇名為《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》的論文提出了一種名為“樹狀思維”（Tree of Thoughts，簡稱ToT）的框架。這種框架通過允許模型對多個推理路徑進行深思熟慮和自我評估，從而提高了大型語言模型的問題解決能力。

ToT框架將問題設定為對一棵樹的搜索，通過使用由語言模型生成的啟發(fā)式方法評估狀態(tài)，并利用搜索算法（例如廣度優(yōu)先或深度優(yōu)先搜索）進行遍歷。它可以在需要非瑣碎規(guī)劃或搜索的任務中，如24點游戲、創(chuàng)意寫作和迷你填字游戲等，顯著提升語言模型的問題解決能力。

ToT的另一大特點是其創(chuàng)新性的搜索啟發(fā)式實現(xiàn)，通過語言模型的自我評估和審慎思考，比現(xiàn)有的方法（例如Chain of Thought (CoT)提示或自洽性與CoT (CoT-SC)）更具一般性和靈活性。

ToT框架在執(zhí)行過程中展示了強大的實證性能，優(yōu)于標準的輸入-輸出和CoT提示。在24點數(shù)學推理挑戰(zhàn)和創(chuàng)意寫作任務中，ToT表現(xiàn)優(yōu)于其他方法，并且迭代改進可以提高創(chuàng)意寫作任務的連貫性評分。

在一個更具挑戰(zhàn)性的迷你填字游戲搜索問題中，ToT顯著提高了所有度量，實現(xiàn)了60%的詞級成功率。ToT的"樹狀思維"方法擴展了現(xiàn)有的規(guī)劃公式，考慮了多種可行計劃，并使用語言模型進行決策。

ToT作為經(jīng)典搜索方法的現(xiàn)代版本，可以被視為啟發(fā)式搜索算法。雖然在GPT-4擅長的現(xiàn)有任務中，ToT可能并不必要，但它可能為真實世界的決策應用提供新的機會。

此外，ToT允許用戶自定義性能-成本權衡，并有望在未來通過開源努力降低成本。最后，ToT提高了模型決策的可解釋性，并增加了與人類理解相一致的機會。

總的來說，樹狀思維模型為使用語言模型解決需要搜索或規(guī)劃的問題提供了一個前景廣闊的新方式。通過自我反思機制、程序引導的大型語言模型生成以及其廣泛的適用性，ToT在解決自然語言處理問題上具有巨大的潛力。

思路：

如之前的專欄所述：https://www.bilibili.com/read/cv24103893?

參考代碼（有改動）：

https://github.com/cr941131/summarize-long-text-with-GPT-3.5-turbo