學習 LLM 相關技術

前陣子擬定了幾個學習 LLM 相關技術的方向：

1. 架設本地可運行的小模型 
2. 學習代理框架
3. 熟練使用 OpenAI API

底下記錄目前的進度。相比之前，最近幾個月觀察到的趨勢是工具之間也在互相整合。例如模型下載工具如 Ollama 等，抑或直接使用 transformer 模組，原先都是存在各自設定的地方，現在有復用的趨勢。而一開始的模型 API 也從百家爭鳴逐漸統合到以 OpenAI 格式為準的狀態。

• 架設本地可運行的小模型：最近剛搞定使用 Ollama 裝設了一系列大大小小的模型。為了 offload 模型到 CPU，特地擴充了記憶體到 128 GB。有一些 inference framework 可以加速、或減少硬體開銷，也值得探索一番。
• 學習代理框架：目前以 LangChain 為主。
• 熟練使用 OpenAI API：之前的文章有介紹到，後來繼續學習了 temp 跟 top_k 兩個參數