cursor editor default CLI (not powershell, use terminal)

Ctrl + ,
 command prompt

留言

發佈留言

此網誌的熱門文章

Langchain RunnableParallel

 https://medium.com/seaniap/%E5%BE%9E%E7%B0%A1%E5%96%AE%E5%88%B0%E8%A4%87%E9%9B%9C-%E8%A7%A3%E9%8E%96-lcel-%E6%B5%81%E7%A8%8B%E9%8F%88%E6%8A%80%E8%A1%93-1-2911dd0bce3f # 引入語言模型 from langchain_openai import ChatOpenAI # 引入PromptTemplate from langchain_core.prompts import ChatPromptTemplate, PromptTemplate from langchain_core.output_parsers import StrOutputParser from langchain_core.runnables import RunnableParallel # 建立 OpenAI 物件 chat_model = ChatOpenAI(model= "gpt-3.5-turbo" , api_key= "<your_api_key_here>" ) str_parser = StrOutputParser() prompt1 = ChatPromptTemplate.from_template( '{city} 位於哪個國家？' ) chain1 = prompt1 | chat_model | str_parser # 建立第二個 PromptTemplate prompt2 = ChatPromptTemplate.from_template( '在 {city} 的人都如何用餐？' ) chain2 = prompt2 | chat_model | str_parser country_and_style_chain = RunnableParallel( country=chain1, style=chain2 ) result = country_and_lang_chain.invoke({ 'city' : '東京' }) print (result)
閱讀更多

Chain Types: Stuff, Refine, Map reduce, Map re-rank

圖片
 Langchain 提供了幾種「文件 chain」來處理和 LLM 互動多份文件。每種 chain 類型都有其優缺點，適用於不同的使用場景。 1. Stuff (填充) 概念： 最直接的方法。它會將所有文件直接「塞」或插入到 LLM 的提示中。 理想用途： 文件較小且每次只使用少量文件的應用，確保總 token 數在 LLM 的上下文限制內。 優點： 只需一次 API 呼叫。 所有數據一次性處理。 缺點： 受限於 LLM 的最大上下文長度；如果文件 token 超出此限制，將會失敗。 2. Refine (精煉) 概念： 透過循環處理輸入文件並迭代更新其答案來構建回應。對於每個文件，它將當前文件、非文件輸入以及最新的中間答案一起傳遞給 LLM chain，以獲得一個新的、精煉的答案。 理想用途： 需要分析的文件數量超出模型上下文範圍的任務，因為它會逐一處理文件。 優點： 與 Map Reduce 相比，能保持更相關的上下文，因為它會根據每個新文件精煉答案。 缺點： 涉及許多相互依賴的 LLM 呼叫，因為每個文件都需要單獨的互動。 3. Map Reduce (映射歸納) 概念： 兩階段過程： 映射 (Map) 階段： 單獨將一個 LLM chain 應用於每個文件，並將 chain 的輸出視為一個新文件。 歸納 (Reduce) 階段： 將所有這些新生成的文件傳遞給一個單獨的「組合文件 chain」，以產生一個單一的最終輸出。 理想用途： 總結大量文件，特別是當文件內容超出 LLM 上下文限制時。 優點： 透過分塊處理文件，可擴展到處理更大的文件。 可並行處理，可能加快處理速度。 缺點： 需要多次 API 呼叫（每個「映射」步驟一次，然後「歸納」步驟一次）。 在歸納階段可能會丟失信息，因為單個文件摘要會被組合。 4. Map Re-rank (映射重排) 概念： 在每個文件上運行一個初始提示，該提示不僅嘗試完成任務，還為其答案的確定性提供一個「分數」。系統隨後只返回得分最高的回應。 理想用途： 回答單一答案問題，當需要最相關或最有信心的答案，而不是全面總結或信息組合時。 優點： 對大量文件有良好的擴展性。 更適合需要單一明確答案的任務...
閱讀更多