【大語言模型評估的困境】 - 評估大語言模型存在多個困難，包括提示敏感性、構造效度、污染等。 - 關于ChatGPT偏見的論文存在方法缺陷，提示工程會影響結果。 - 語言模型的政治偏見很難獨立評估，需要采用自然觀察法。 - GPT-4 通過專業(yè)考試不代表真正能力，存在構造效度問題。 - 基于語言模型的科研復現(xiàn)危機嚴重，評估方法存在局限性。 - 語言模型評估存在風險，需要謹慎應用。 - 呼吁開源語言模型研究，以減少風險。 - 總體而言，評估語言模型存在多方面困難，需要謹慎對待相關研究成果。