# 一部影片看完 Stanford AI 系統課程，從 LLM 到 Agentic Workflow https://www.youtube.com/watch?v=eKW9ITaltWw Translation: zh-CN [00:00] 如果你有在關注 AI 這一兩年最炙手可熱的工作一定是 AI Engineer，AI Builder 如果你有在关注 AI 这一两年来最炙手可热的工作一定是 AI Engineer，AI Builder [00:05] 大型語言模型越強，這群人越吃香 大型语言模型越强，这群人越吃香 [00:08] 他們有能力幫公司打造內部工具 他们有能力帮公司打造内部工具 [00:10] 優化運營流程 优化运营流程 [00:11] 也已經有一堆人自己動手把想法做成產品 也已经有一堆人自己动手把想法做成产品 [00:13] 成立了自己的公司 成立了自己的公司 [00:15] 而這種人，現在每間公司都在搶 而这种人，现在每间公司都在抢 [00:17] 想學 AI 的人很多 想学 AI 的人很多 [00:19] 但大多數人都不知道從哪裡下手 但大多数人都不知道从哪里下手 [00:21] 市面上的資源不是太破碎，就是太過艱澀 市面上的资源不是太破碎，就是太过艰涩 [00:24] 看完還是不知道自己學到了什麼 看完还是不知道自己学到了什么 [00:26] 或者下一步該往哪走 或者下一步该往哪走 [00:28] 史丹佛大學有一堂課叫做 Beyond LLM 斯坦福大学有一堂课叫做 Beyond LLM [00:32] 我認為這是目前最接近那個答案的東西 我认为这是目前最接近那个答案的东西 [00:34] 從大型語言模型的本質講起 从大型语言模型的本质讲起 [00:36] 一路帶到 Prompt Engineering 一路带到 Prompt Engineering [00:38] RAG，Fine-Tuning RAG，Fine-Tuning [00:39] Agentic Workflow Agentic Workflow [00:40] 還有 Multi-Agent 的框架 还有 Multi-Agent 的框架 [00:42] 這堂課時長兩小時 这堂课时时长两小时 [00:44] 今天我就用一支影片的時間把核心整理給你 今天我就用一支影片的时间把核心整理给你 [00:47] 你看完之後 你看完之后 [00:48] 會對 AI 在商業領域上的應用有一套完整的認知框架 会对 AI 在商业领域上的应用有一套完整的认知框架 [00:51] 知道這些技術怎麼組合在一起 知道这些技术怎么组合在一起 [00:53] 也能規劃自己接下來的學習路線 也能规划自己接下来的学习路线 [00:56] 那我們廢話不多說，直接開始 那我们废话不多说，直接开始 [00:58] 首先我們要先知道大型語言模型的限制是什麼 首先我们要先知道大型语言模型的限制是什么 [01:02] LLM 要變強有兩條路 大型语言模型要变强有两条路 [01:04] 第一條是橫軸 第一条是横轴 [01:05] 就是換更強的 base model 就是换更强的基础模型 [01:07] 比方說從 GPT-4 升級到 GPT-5 比如说从 GPT-4 升级到 GPT-5 [01:10] 但橫軸是 OpenAI 跟 Anthropic 在做的 但横轴是 OpenAI 和 Anthropic 在做的 [01:13] 一般人沒有那個能力 一般人没有那个能力 [01:14] 也沒有那個金錢去訓練自己的大型語言模型 也没有那个金钱去训练自己的大型语言模型 [01:18] 你能施力的地方是縱軸 你能施力的地方是纵轴 [01:20] 也就是在現有的 LLM 上面疊各種工程技術 也就是在现有的 LLM 上面叠各种工程技术 [01:23] 又叫做 Augmenting LLM 又叫做 Augmenting LLM [01:25] 也就是想辦法提升這些 base model 的能力 也就是想办法提升这些基础模型的能力 [01:28] 而這整堂課，包括這支影片 而这整堂课，包括这支影片 [01:30] 講的都是縱軸的事情 讲的都是纵轴的事情 [01:32] 如果你只會使用 base model 如果你只会使用基础模型 [01:34] 在商業場景上一定會撞牆 在商业场景上一定会撞墙 [01:36] 舉個例子，ChatGPT 剛出來的時候 举个例子，ChatGPT 刚出来的时候 [01:39] 沒有連網功能，沒辦法調用工具 没有联网功能，没办法调用工具 [01:41] 充其量就是一個很聰明的問答機器人 充其量就是一个很聪明的问答机器人 [01:44] 沒辦法實際幫你做完一件事 没办法实际帮你做完一件事 [01:46] Stanford 的教授整理了 base model 幾個常見的限制 Stanford 的教授整理了基础模型几个常见的限制 [01:49] 第一是缺乏 domain knowledge 第一是缺乏领域知识 [01:51] 比方說有一組學生在做自動化農業設備 比如说有一组学生在做自动化农业设备 [01:54] 要用相機判斷作物有沒有生病 要用相机判断作物有没有生病 [01:57] 這種農業病害的 dataset 市面上根本找不到 这种农业病害的数据集市面上根本找不到 [01:59] 換句話說你的公司資料，內部文件，產品規格 换句话说你的公司资料，内部文件，产品规格 [02:03] base model 都不知道 基础模型都不知道 [02:04] 它也沒辦法根據這些資料幫你解決問題 它也没办法根据这些资料帮你解决问题 [02:07] 第二是資訊落後 第二是资讯落后 [02:09] 模型不可能每幾個月重訓一次 模型不可能每几个月重训一次 [02:11] 新詞，新事件，新公司它通通不認識 新词，新事件，新公司它通通不认识 [02:14] 年輕人在用的網路流行用語 年轻人在用的网络流行用语 [02:16] 模型大多也聽不懂 模型大多也听不懂 [02:18] 第三個，控制很難 第三个，控制很难 [02:20] LLM 是機率性輸出 LLM 是机率性输出 [02:22] 同樣的 prompt 兩次跑可能結果不一樣 同样的 prompt 两次跑可能结果不一样 [02:24] 在 ChatGPT 上聊天當然 OK 在 ChatGPT 上聊天当然 OK [02:26] 但你想想 production 環境 但你想想 production 环境 [02:28] 使用者問退費 使用者问退费 [02:29] AI 一下說可以一下說不行，公司就麻煩了 AI 一下说可以一下说不行，公司就麻烦了 [02:32] 教授說，就連 OpenAI 跟 xAI 這種資金最多 教授说，就连 OpenAI 跟 xAI 这种资金最多 [02:36] 人才最齊的團隊 人才最齐的团队 [02:37] 都還沒辦法把 LLM 完全控制好 都还没办法把 LLM 完全控制好 [02:39] 更何況一般公司 更何况一般公司 [02:41] 第四個，當 context 太長 第四个，当 context 太长 [02:43] 模型的表現會顯著退步 模型的表现会显著退步 [02:45] 現在主流模型的 context window 现在主流模型的 context window [02:47] 已經拉到 100 萬 token 已经拉到 100 万 token [02:49] 差不多十幾本書的長度 差不多十几本书的长度 [02:50] 但在這麼大的 context 裡 但在这么大的 context 里 [02:52] 還是會出現 lost in the middle 的現象 还是会出现 lost in the middle 的现象 [02:54] 簡單講 简单讲 [02:55] 你把一個 Gary 午餐吃了一顆蘋果這樣的小細節 你把一个 Gary 午餐吃了一颗苹果这样的小细节 [02:57] 藏進公司過去一年的會議記錄裡 藏进公司过去一年的会议记录里 [03:00] 再問模型 Gary 午餐吃了什麼 再问模型 Gary 午餐吃了什么 [03:02] 雖然這個狀況現在已經顯著改善 虽然这个状况现在已经显著改善 [03:05] 但 LLM 有時候還是會答不出來 但 LLM 有時候还是会答不出来 [03:07] 想做 AI 產品 想做 AI 产品 [03:08] 光換更強的 base model 不夠 光换更强的 base model 不够 [03:10] 你需要在縱軸上施力 你需要在纵轴上施力 [03:13] 接下來這支影片的前半段會告訴你 接下来这支影片的前半段会告诉你 [03:15] 強化單一 LLM 的三個工具和觀念 强化单一 LLM 的三个工具和观念 [03:18] 也就是 Prompt Engineering 也就是 Prompt Engineering [03:19] Fine-Tuning，還有 RAG Fine-Tuning，还有 RAG [03:21] 影片後半段會進到系統設計 影片后半段会进到系统设计 [03:23] 介紹 Agentic Workflow 跟 evaluation 評估方法 介绍 Agentic Workflow 跟 evaluation 评估方法 [03:26] 然後用一個客服 agent 的 case study 然后用一个客服 agent 的 case study [03:28] 把這些東西串起來 把这些东西串起来 [03:29] 最後也會帶到很多人感興趣的 Multi-Agent 最后也会带到很多人感兴趣的 Multi-Agent [03:32] 那我們直接從 Prompt Engineering 開始講 那我们直接从 Prompt Engineering 开始讲 [03:34] Stanford 的教授說他不認為 prompt engineer 會是一個職業 Stanford 的教授说他不认为 prompt engineer 会是一个职业 [03:38] 因為提示詞工程應該是每個工程師都該會的基本技能 因为提示词工程应该是每个工程师都该会的基本技能 [03:42] 你不會靠 prompt engineering 當飯吃 你不会靠 prompt engineering 当饭吃 [03:44] 但這個技能會讓你在職涯裡用一輩子 但这个技能会让你在职涯里用一辈子 [03:46] 就像九九乘法表一樣是基本功 就像九九乘法表一样是基本功 [03:49] 我之前有做過一部影片 我之前有做过一部影片 [03:50] 專門在講 prompt engineering 专门在讲 prompt engineering [03:52] 有興趣的朋友可以去看看 有兴趣的朋友可以去看看 [03:53] 關於 prompt engineering 关于 prompt engineering [03:55] 有一個很有意思的研究我想分享給你 有一个很有意思的研究我想分享给你 [03:57] 頂級管理顧問公司 BCG 做過一個實驗 顶级管理顾问公司 BCG 做过一个实验 [04:00] 他們把一群顧問分成三組 他们把一群顾问分成三组 [04:02] 第一組沒有 AI 第一组没有 AI [04:03] 第二組可以使用 ChatGPT 第二组可以使用 ChatGPT [04:05] 第三組則是可以使用 ChatGPT 以外 第三组则可以使用 ChatGPT 以外 [04:07] 還有接受撰寫提示詞的訓練 还有接受撰写提示词的训练 [04:10] 最後研究的結果發現三件事 最后研究的结果发现三件事 [04:12] 第一個叫 The Jagged Frontier，鋸齒邊界 第一个叫 The Jagged Frontier，锯齿边界 [04:15] 意思是 AI 不是在所有任務上都表現得好 意思是 AI 不是在所有任务上都表现得好 [04:19] 有些任務搭配 AI 顯著加分 有些任务搭配 AI 显著加分 [04:21] 但有些任務 AI 反而扯後腿 但有些任务 AI 反而扯后腿 [04:24] 第二個發現叫 Falling asleep at the wheel 第二个发现叫 Falling asleep at the wheel [04:26] 翻成中文就是在方向盤前打瞌睡 翻译成中文就是在方向盘前打瞌睡 [04:29] 當你不知道任務剛好是 AI 不擅長的 当你不知道任务刚好是 AI 不擅长的 [04:32] 卻太信任它把產出直接送出 却太信任它把产出直接送出 [04:34] 結果比沒用 AI 還慘 结果比没用 AI 还惨 [04:36] 也就是說，你要知道 AI 的邊界在哪 也就是说，你要知道 AI 的边界在哪 [04:39] 才不會在它弱的地方踩雷 才不会在它弱的地方踩雷 [04:41] 第三個現象最有趣 第三个现象最有趣 [04:42] 他們發現使用 AI 的方式分成兩種 他们发现使用 AI 的方式分成两种 [04:45] 分別是 Centaurs 跟 Cyborgs 分别是 Centaurs 跟 Cyborgs [04:47] Centaur 是半人馬，也就是分工委派型 Centaur 是半人马，也就是分工委派型 [04:50] 丟一個長 prompt 給 AI 叫它做整份簡報 丢一个长 prompt 给 AI 叫它做整份简报 [04:53] 自己去做別的事 自己去做别的事 [04:55] Cyborg 是生化人，是高頻來回型 Cyborg 是生化人，是高频来回型 [04:57] 跟模型一句一句對話協作 跟模型一句一句对话协作 [04:59] Stanford 的教授說 Stanford 的教授说 [05:01] 學生的使用習慣會比較像 cyborg 学生的使用习惯会比较像 cyborg [05:03] 而企業在自動化 workflow 時比較像 centaur 而企业在自动化 workflow 时比较像 centaur [05:06] 那你應該用哪一種？ 那你应该用哪一种？ [05:06] 關鍵是看任務性質 关键是看任务性质 [05:10] 重複性高，流程清楚的任務 重复性高，流程清楚的任务 [05:12] 用 centaur 模式委派出去就好 用 centaur 模式委派出去就好 [05:14] 需要判斷，需要創意，需要來回校正的任務 需要判断，需要创意，需要来回校正的任务 [05:18] cyborg 模式才能逼出 AI 的最佳輸出 cyborg 模式才能逼出 AI 的最佳输出 [05:21] 兩者沒有好壞之分，實務上兩種都會用 两者没有好坏之分，实务上两种都会用 [05:25] 重點是要有意識地切換 重点是要有意识地切换 [05:27] 接著進到實作 接着进到实作 [05:28] 通常一個好 prompt 要有三個東西 通常一个好 prompt 要有三个东西 [05:30] 給誰看，產出格式，重點是什麼 给谁看，产出格式，重点是什么 [05:33] 請幫我總結這篇文章是一個很爛的提示詞 请帮我总结这篇文章是一个很烂的提示词 [05:36] 因為什麼資訊都沒給 因为什么信息都 M没给 [05:38] 但如果你寫的是請將這份再生能源論文 但如果你写的是请将这份再生能源论文 [05:41] 整理成 5 個重點摘要 整理成 5 个重点摘要 [05:42] 並且聚焦在其背後的政策意涵上 并且聚焦在其背后的政策意涵上 [05:45] 模型立刻知道對象是政策制定者 模型立刻知道对象是政策制定者 [05:48] 長度是 5 個點，重點放在政策意涵上 长度是 5 个点，重点放在政策意涵上 [05:51] 你的產出品質會立刻提升 你的产出品质会立刻提升 [05:54] 但教授說，prompt engineering 裡最常用 但教授说，prompt engineering 里最常用 [05:56] 最重要的一個技巧不是這些，是 Prompt Chaining 最重要的一个技巧不是这些，是 Prompt Chaining [06:00] 注意，chaining 跟 Chain of Thought 不一樣 注意，chaining 跟 Chain of Thought 不一样 [06:03] Chain of Thought 是叫模型 step by step 思考 Chain of Thought 是叫模型 step by step 思考 [06:06] Chaining 則是把一個複雜的 prompt 拆成多個獨立的 prompt Chaining 则是把一个复杂的 prompt 拆成多个独立的 prompt [06:09] 前一個的 output 餵給下一個 上一个的输出喂给下一个 [06:11] 有用過 n8n 的朋友應該知道我在說什麼 用过 n8n 的朋友应该知道我在说什么 [06:14] 舉個例。 举个例子。 [06:14] 你要做客戶投訴回信 你要做客户投诉回信 [06:17] 單一 prompt 寫法是讀這封投訴信 单一 prompt 写法是读这封投诉信 [06:20] 寫一封專業的回應 写一封专业的回复 [06:22] 這就是一個黑盒子 这就是一个黑盒子 [06:23] 最後的產出如果有問題 最后的产出如果有问题 [06:25] 你也不會知道該調整哪裡 你也不会知道该调整哪里 [06:27] 但如果使用 prompt chaining 但如果使用 prompt chaining [06:29] 拆成三個 prompt 拆成三个 prompt [06:30] 第一個抽出客戶在抱怨什麼 第一个抽出客户在抱怨什么 [06:32] 第二個用抽出來的問題起草大綱 第二个用抽出来的问题起草大纲 [06:34] 第三個用大綱寫完整回信 第三个用大纲写完整回信 [06:37] 每一步都可以獨立測試，獨立 debug 每一步都可以独立测试，独立 debug [06:40] Chaining 不只讓模型表現更好 Chaining 不只让模型表现更好 [06:42] 也讓你得到 observability 也让你得到 observability [06:44] 能觀察 LLM 在做什麼，哪個流程出了問題 能观察 LLM 在做什么，哪个流程出了问题 [06:47] 講完 Prompt Engineering，下一個是 Fine-Tuning 讲完 Prompt Engineering，下一个是 Fine-Tuning [06:50] Stanford 教授對 fine-tuning 的立場很簡單 斯坦福教授对 fine-tuning 的立场很简单 [06:53] 能不做就不做，原因有四個 能不做就不做，原因有四个 [06:56] 第一，要大量的優質數據 第一，要大量的优质数据 [06:58] 如果你想要自己 fine-tune 模型 如果你想要自己 fine-tune 模型 [07:00] 就要有大量高品質的，標注好的資料 就要有大量高质量的，标注好的资料 [07:02] 要做到這件事情的成本對一般人來說太高了 要做到这件事情的成本对一般人来说太高了 [07:06] 第二，容易 overfit 第二，容易 overfit [07:08] 模型容易在你那個特定任務上變很強 模型容易在你那个特定任务上变很强 [07:11] 但通用問題反而答不出來 但通用问题反而答不出来 [07:13] 就會失去 base model 原本的廣度 就会失去 base model 原本的广度 [07:16] 第三，時效性差，這應該是最傷的點 第三，时效性差，这应该是最伤的点 [07:19] 你花兩個月 fine-tune 完一個模型上線 你花两个月 fine-tune 完一个模型上线 [07:21] 下個月新一代 base model 就出來 下个月新一代 base model 就出来 [07:23] 直接打贏你 fine-tune 的版本 直接打赢你 fine-tune 的版本 [07:26] 第四，通常用 prompt engineering 也可以達到一樣的效果 第四，通常用 prompt engineering 也可以达到一样的效果 [07:29] 而且成本低很多 而且成本低很多 [07:30] 你想換新 base model 你想换新 base model [07:31] 原本的 prompt 大多都是 portable 的 原本的 prompt 大多都是 portable 的 [07:34] 但 fine-tuning 的模型不行 但 fine-tuning 的模型不行 [07:36] 當然，針對少數情境 当然，针对少数情境 [07:38] fine-tune 還是值得做的 fine-tune 还是值得做的 [07:40] 比方說法律，科學那種需要重複高精度輸出的領域 比方说法律，科学那种需要重复高精度输出的领域 [07:44] 或者 base model 在某個 domain 上表現吃力 或者 base model 在某个 domain 上表现吃力 [07:47] 這些情況下，fine-tune 都會有幫助 这些情况下，fine-tune 都会有帮助 [07:49] 但對大多數的人來說 但对大多数的人来说 [07:50] 其實不會有太大的效益 其实不会有太大的效益 [07:52] 所以，如果你想要把特定的 domain knowledge 塞進模型 所以，如果你想要把特定的 domain knowledge 塞进模型 [07:55] 單純的提示詞工程可能塞不下 单纯的提示词工程可能塞不下 [07:58] fine-tuning 的成本效益又對不起來 fine-tuning 的成本效益又对不起来 [08:00] 那實作端應該怎麼辦呢？ 那实作端应该怎么办呢？ [08:02] Stanford 教授給出的答案是 RAG Stanford 教授给出的答案是 RAG [08:04] RAG 是 AI 工程師面試最常考的題目之一 RAG 是 AI 工程师面试最常考的题目之一 [08:08] 面試官常常會請你用 5 歲小孩聽得懂的方式解釋什麼是 RAG 面试官常常会请你用 5 岁小孩听得懂的方式解释什么 RAG [08:13] 你做 AI Builder也好，做 AI 工程師也好 无论你是做AI Builder还是做AI工程师 [08:15] 这个是你一定要知道的事情 这是你一定要知道的事情 [08:17] RAG解的痛点有几个 RAG解决的痛点有几个 [08:19] context window太小，长context抓不准 上下文窗口太小，长上下文抓取不准 [08:22] 资讯有时效性，或者模型会产生幻觉 信息有时效性，或者模型会产生幻觉 [08:25] RAG的做法很单纯 RAG的做法很简单 [08:27] 我用药物副作用这个需要高度准确的医疗场景来说明 我用药物副作用这个需要高度准确的医疗场景来举例说明 [08:31] 通常RAG的做法是这样的 通常RAG的做法是这样的 [08:33] 先把所有的资料，文件用embedding模型 先把所有的资料，文件用embedding模型 [08:36] 把这些资讯转成向量，存进向量数据库 把这些信息转成向量，存进向量数据库 [08:38] 英文叫做vector database 英文叫做vector database [08:41] 所谓向量，就是把一段文字的语意转换成一串数字 所谓向量，就是把一段文字的语义转换成一串数字 [08:45] 语意相近的文字 语义相近的文字 [08:46] 转出来的数字阵列在数学空间里距离也会比较近 转换出来的数字数组在数学空间里的距离也会比较近 [08:50] 所以当使用者问药物A的副作用 所以当用户问药物A的副作用 [08:53] 我们不是在做关键字比对 我们不是在做关键词比对 [08:55] 而是在找语意最接近的文件片段 而是在找语义最接近的文件片段 [08:58] 就算文件里写的是不良反应而不是副作用 就算文件里写的是不良反应而不是副作用 [09:01] 一样能找到 一样能找到 [09:02] 使用者的问也用同个embedding模型转成向量 用户的提问也用同一个embedding模型转成向量 [09:05] 再用距离metric从vector database里 再用距离度量从vector database里 [09:08] 找出最相近的documents 找出最相近的文档 [09:10] 最后把这些documents加上system prompt 最后把这些文档加上system prompt [09:12] 加上user query，组合成餵给LLM的最终prompt 加上user query，组合成喂给LLM的最终prompt [09:16] Prompt template 大概長這樣 Prompt 模板大概是這樣 [09:18] 根據以下 documents 回答使用者的問題 根据以下 documents 回答使用者的问題 [09:21] 如果 documents 裡沒有答案，就說『我不知道』 如果 documents 里没有答案，就说『我不知道』 [09:23] 這樣設計是為了把模型鎖在你提供的資料範圍內 这样设计是为了把模型锁在你提供的资料范围内 [09:27] 避免它自由發揮，憑空捏造 避免它自由发挥，凭空捏造 [09:29] 當然，你還可以要求模型回答時附上這個答案來自第幾頁 当然，你还可以要求模型回答时附上这个答案来自第几页 [09:34] 第幾章，第幾行加超連結 第几章，第几行加超链接 [09:36] 這樣使用者可以自行回溯資料源進行驗證 这样使用者可以自行回溯资料源进行验证 [09:39] 但是單純這樣做有時候不夠 但是单纯这样做有时候不够 [09:41] 比方說一種藥的相關文件可能足足有 50 頁 比方说一种药的相关文件可能足足有 50 页 [09:45] 整份直接轉成向量，那很多細節遺失其中 整份直接转成向量，那很多细节遗失其中 [09:49] 所以通常會搭配 chunking 所以通常会搭配 chunking [09:51] 最基本的 chunking 是把文件切成固定大小的片段 最基本的 chunking 是把文件切成固定大小的片段 [09:54] 每段各自轉成向量 每段各自转成向量 [09:56] 更進階的做法是多層次存儲 更进阶的做法是多层级存储 [09:58] 同時保留整篇，每章，每段的向量 同时保留整篇，每章，每段的向量 [10:01] retrieval 時可以先找到相關的章節 retrieval 时可以先找到相关的章节 [10:03] 再往下鑽到精確的段落 再往下钻到精确的段落 [10:05] 這樣在大文件裡的命中率會更高 这样在大文件里的命中率会更高 [10:08] 還有一個最近比較多人在討論的話題 还有一个最近比较多人在讨论的话题 [10:10] 有人說，像現在已經有模型支援超長的 context window 有人说，像现在已经有模型支持超长的 context window [10:14] 等這個技術成熟，算力夠便宜 等这个技术成熟，算力够便宜 [10:17] base model 直接讀完整個資料庫 基础模型直接读取整个数据库 [10:19] RAG 就沒用了 RAG 就没用了 [10:20] 但 Stanford 的教授認為這樣的說法理論上對 但斯坦福的教授认为这样的说法理论上对 [10:23] 實務上錯 实务上错 [10:25] 因為實際上你還是會遇到很多問題 因为实际上你还是会遇到很多问题 [10:27] 比方說 Latency，你想想看 比方说 Latency，你想想看 [10:30] 每次問問題，模型都要把整個 Google Drive 重讀一次 每次问问题，模型都要把整个 Google Drive 重读一次 [10:33] 沒人等得了 没人等得了 [10:35] 就像搜尋引擎也是靠預先建好的索引來快速定位資料 就像搜索引擎也是靠预先建好的索引来快速定位数据 [10:38] 不可能每次 query 都把整個網路重新爬過一遍 不可能每次 query 都把整个网络重新爬过一遍 [10:41] 所以 RAG 除了準確度以外 所以 RAG 除了准确度以外 [10:43] 還有檢索效率，可即時更新這類的優勢 还有检索效率，可即时更新这类的优势 [10:46] 而這些優勢在可預見的未來都還是有其存在的價值 而这些优势在可预见的未来都还是有其存在的价值 [10:50] 好，到這邊我們講完了影片的第一部分 好，到这边我们讲完了影片的第一部分 [10:53] 從 base LLM 的限制出發 从 base LLM 的限制出发 [10:54] 我們看了 Prompt Engineering 我们看了 Prompt Engineering [10:56] Fine-Tuning 還有 RAG Fine-Tuning 还有 RAG [10:56] 這三個工具本質上都是在強化單一個 LLM 的能力 这三个工具本质上都是在强化单一个 LLM 的能力 [11:00] 但單一個 LLM 再強，還是有它做不到的事 但单一个 LLM 再强，还是有它做不到的事 [11:03] 所以接下來進入第二部分 AI 系統設計 所以接下来进入第二部分 AI 系统设计 [11:06] 我們會講 Agentic Workflow 我们会讲 Agentic Workflow [11:08] Evaluation 還有 Multi-Agent Evaluation 还有 Multi-Agent [11:09] 這些東西讓你能把 AI 從一個會回答問題的模型 这些东西让你把 AI 从一个会回答问题的模型 [11:13] 變成一套真正可以運作，實際產出價值的系統 变成一套真正可以运作，实际产出价值的系统 [11:17] 看到這邊，如果你覺得這支影片對你有幫助 看到这里，如果你觉得这部影片对你有帮助 [11:20] 想請你幫我按個讚，點個追蹤 想请你帮我按个赞，点个关注 [11:21] 這是我持續創作下去的動力 这是我持续创作下去的动力 [11:23] 那我們直接進 Part 2 那我们直接进入第二部分 [11:25] 先講一下 agentic workflow 這個命名 先讲一下 agentic workflow 这个命名 [11:27] 這個詞來自吳恩達 这个词来自吴恩达 [11:29] 如果你不認識他 如果你不认识他 [11:30] 吳恩達是 Coursera 的共同創辦人 吴恩达是 Coursera 的共同创始人 [11:32] Google Brain 的創始負責人 Google Brain 的创始负责人 [11:34] 前百度首席科學家 前百度首席科学家 [11:35] 是在 AI 領域講話有一定份量的男人 是在 AI 领域说话有一定分量的男人 [11:38] 吳恩達用 agentic workflow 這個詞 吴恩达用 agentic workflow 这个词 [11:40] 是因為 AI Agent 已經被用到爛掉了 是因为 AI Agent 已经被用到烂掉了 [11:43] 有人寫了一個很長的 prompt，叫 agent 有人写了一个很长的 prompt，叫 agent [11:46] 有人做了複雜的 multi-agent 系統 有人做了复杂的 multi-agent 系统 [11:48] 也叫 agent 也叫 agent [11:49] 這個詞什麼都能套，反而什麼都說不清楚 这个词什么都能套，反而什么都说不清楚 [11:52] 所以他用 agentic workflow 來精確描述一件事 所以他用 agentic workflow 来精确描述一件事 [11:56] 把一堆提示詞，外部工具，還有各種元件 把一堆提示词，外部工具，还有各种元件 [11:59] 組合進一個有結構的工作流程裡，成為一套系統 组合进一个有结构的工作流程里，成为一套系统 [12:02] 這就叫做 agentic workflow 这就叫做 agentic workflow [12:05] 還記得我們前面講的 RAG 嗎？ 还记得我们前面讲的 RAG 吗？ [12:07] RAG 主要做一件事 RAG 主要做一件事 [12:08] 給 LLM 外部資料當參考 给 LLM 外部资料当参考 [12:10] 但 agent 把 RAG 當作工具之一 但 agent 把 RAG 当作工具之一 [12:13] 外加 tool calls，memory，多步驟決策 外加 tool calls，memory，多步骤决策 [12:15] 所以能做到 RAG 單獨做不到的事 所以能做到 RAG 单独做不到的事 [12:18] 舉個例子，使用者說我想退這筆訂單。 举个例子，用户说我想退这笔订单。 [12:21] RAG 只能丟政策文件給你。 RAG 只能给你政策文件。 [12:24] agent 則是用 RAG retrieve 政策。 Agent 则使用 RAG 来检索政策。 [12:25] 主動問訂單編號，用 tool 查訂單。 主动询问订单号，用工具查询订单。 [12:28] 確認退費。 确认退款。 [12:29] 告訴你 3 到 5 個工作天會處理。 告诉你 3 到 5 个工作天会处理。 [12:31] RAG 是工具，Agent 是使用 RAG 這個工具的系統。 RAG 是工具，Agent 是使用 RAG 这个工具的系统。 [12:35] 要打造 agentic workflow。 要打造 agentic workflow。 [12:36] 你的工程心態要先翻轉過來。 你的工程心态要先翻转过来。 [12:39] 因為傳統 software 跟 agentic AI software 在四個面向都很不一樣。 因为传统 software 和 agentic AI software 在四个方面都很不一样。 [12:44] 首先是資料。 首先是数据。 [12:45] 傳統軟體吃結構化資料。 传统软件处理结构化数据。 [12:47] JSON，資料庫，表單，格式固定，邊界清楚。 JSON，数据库，表单，格式固定，边界清楚。 [12:50] Agentic 系統吃的是自由文本。 Agentic 系统处理自由文本。 [12:53] 圖片，音訊，沒有固定格式。 图片，音频，没有固定格式。 [12:56] 第二個是邏輯。 第二个是逻辑。 [12:57] 傳統 software 是 deterministic。 传统 software 是确定性的。 [12:59] 同樣的 input，永遠給你同樣的 output。 同样的输入，永远给你同样的输出。 [13:03] 可預測，可重現。 可预测，可重现。 [13:05] Agentic 系統是 fuzzy 的。 Agentic 系统是模糊的。 [13:07] 意思是同樣的 input，不同時間跑可能給你不同的 output。 意思是同样的输入，不同时间运行可能给你不同的输出。 [13:11] 因為 LLM 本身有隨機性。 因为 LLM 本身有随机性。 [13:13] 加上它會根據 context 做判斷。 加上它会根据上下文做判断。 [13:15] 沒有一個固定答案。 没有一个固定答案。 [13:17] 第三個是架構心態，這個最重要。 第三个是架构心态，这个最重要。 [13:20] 傳統工程師的思維是寫 microservices 传统工程师的思维是写微服务 [13:22] 寫 monolith 写单体应用 [13:23] 你精確控制每一步執行路徑 你精确控制每一步执行路径 [13:26] Agentic 系統的思維是 think like a manager Agentic系统的思维是像经理一样思考 [13:28] 你給 AI 一個目標和限制，讓它自己決定怎麼完成 你给AI一个目标和限制，让它自己决定怎么完成 [13:32] 你管的是方向和邊界，不是每一行程式碼 你管的是方向和边界，不是每一行代码 [13:36] 第四個是測試 第四个是测试 [13:37] 傳統測試是確定性的，跑一百次結果一樣 传统测试是确定性的，跑一百次结果一样 [13:40] Agentic 測試是迭代探索式的 Agentic测试是迭代探索式的 [13:43] 因為系統本身是非確定性的 因为系统本身是非确定性的 [13:45] 加上它對 context 非常敏感 加上它对上下文非常敏感 [13:46] 你沒辦法窮舉所有情況 你没办法穷举所有情况 [13:48] 知道這四件事之後 知道这四件事之后 [13:49] 第一個落地原則就跟著來了 第一个落地原则就跟着来了 [13:51] 能 deterministic 解的問題，就 deterministic 解 能确定性解决的问题，就确定性解决 [13:54] 剩下 fuzzy 的部分，加上護欄 剩下模糊的部分，加上护栏 [13:58] 教授舉自己的例子 教授举自己的例子 [13:59] 他們做 skills assessment 他们做技能评估 [14:01] 選擇題，配對題，拖拉題用 deterministic 算分 选择题，配对题，拖拉题用确定性评分 [14:04] 因為這些有標準答案，對就是對，錯就是錯 因为这些有标准答案，对就是对，错就是错 [14:07] 但語音題，語音加 coding 的混合題型 但语音题，语音加编程的混合题型 [14:10] 沒有標準答案，沒辦法 deterministic 評分 没有标准答案，没办法确定性评分 [14:12] 只能讓 LLM 去判斷 只能让LLM去判断 [14:14] 這就是 fuzzy scoring 这就是模糊评分 [14:15] 也就是沒有標準答案的評分 也就是没有标准答案的评分 [14:17] 你請 LLM 聽一段語音回答 你请LLM听一段语音回答 [14:20] 它要判斷這個人有沒有真的理解這個概念 它要判断这个人有没有真的理解这个概念 [14:22] 表達是否清晰，邏輯有沒有跑掉 表达是否清晰，逻辑有没有跑掉 [14:24] 這些不是對或錯，是一個程度的判斷 这些不是对或错，是一个程度的判断 [14:28] LLM 會給你一個分數 LLM 会给你一个分数 [14:29] 但這個分數是它覺得合理的答案，不是算出來的 但这个分数是它觉得合理的答案，不是算出来的 [14:34] Fuzzy 的問題是它一定會犯錯 Fuzzy 的问题是它一定会犯错 [14:36] LLM 可能誤判一個正確答案 LLM 可能误判一个正确答案 [14:38] 或是對模稜兩可的回答給出偏低的分數 或是对模棱两可的回答给出偏低的分数 [14:41] 在考試評分這種高風險的場景，這不可接受 在考试评分这种高风险的场景，这不可接受 [14:44] 所以他們設計了一個 Appeal feature 所以他们设计了一个 Appeal feature [14:46] 受測者可以對 agent 的判分提出申訴 受测者可以对 agent 的判分提出申诉 [14:49] 由真人介入審查並糾正 由真人介入审查并纠正 [14:52] 這就是護欄的具體形式 这就是护栏的具体形式 [14:53] 不是試圖讓 AI 零錯誤 不是试图让 AI 零错误 [14:55] 而是在它出錯的時候有人接得住 而是在它出错的时候有人接得住 [14:58] 好，原則講完了 好，原则讲完了 [15:00] 要實際打造一個 agent，你需要哪些東西？ 要实际打造一个 agent，你需要哪些东西？ [15:03] 教授用訂機票去巴黎當範例 教授用订机票去巴黎当范例 [15:05] 整理出三個核心要素 整理出三个核心要素 [15:07] 第一個是 Prompts 第一个是 Prompts [15:08] 前面講的提示詞工程，在 agent 裡就是這一塊 前面讲的提示词工程，在 agent 里就是这一块 [15:12] 你怎麼告訴 AI 它的角色是什麼 你怎么告诉 AI 它的角色是什么 [15:14] 它能做什麼，不能做什麼 它能做什么，不能做什么 [15:15] 第二個是 Context Management 第二个是 Context Management [15:17] 也就是怎麼管理 agent 在每一個當下看得到的資訊 也就是怎么管理 agent 在每一个当下看得到的信息 [15:21] 這包含幾件事 这包含几件事。 [15:23] Memory，對話歷史 记忆，对话历史。 [15:24] 也可能有 RAG 撈回來的資料 也可能有 RAG 捞回来的资料。 [15:26] 通通都要塞進有限的 context window 裡 通通都要塞进有限的 context window 里。 [15:28] 你要決定什麼重要，什麼可以丟，什麼要壓縮 你要决定什么重要，什么可以丢，什么要压缩。 [15:32] Context Management 本質上只做一件事 Context Management 本质上只做一件事。 [15:34] 那就是把對的資訊在對的時間提供給你的 agent 那就是把对的信息在对的时间提供给你的 agent。 [15:38] Memory 本身又分兩層 Memory 本身又分两层。 [15:40] Working memory 是高頻，要快的 Working memory 是高频，要快的。 [15:42] 比方說使用者的名字，這次的目的地是巴黎 比方说使用者的名字，这次的目的地是巴黎。 [15:46] Archival memory 是低頻，可以慢一點的 Archival memory 是低频，可以慢一点的。 [15:49] 比方說使用者過去五年的訂房紀錄 比方说使用者过去五年的订房纪录。 [15:52] 需要的時候再去撈 需要的时候再去捞。 [15:54] 第三個是 Tools 第三个是 Tools。 [15:55] 也就是 agent 能呼叫的外部能力 也就是 agent 能呼叫的外部能力。 [15:58] 通常分成兩種 通常分成两种。 [15:59] 一種是做事的 一种是做事的。 [16:00] 比方說 Flight Search，Hotel Booking，Payment 比方说 Flight Search，Hotel Booking，Payment。 [16:02] 一種是查資料的 一种是查资料的。 [16:04] 比方說去 CRM 撈客戶資料 比方说去 CRM 捞客户资料。 [16:05] 去資料庫查訂單紀錄 去数据库查订单纪录。 [16:07] 另外，課堂上教授把 agent 的自主性分為三層 另外，课堂上教授把 agent 的自主性分为三层。 [16:11] 最低是 hardcoded steps 最低是 hardcoded steps。 [16:13] 步驟全寫死，先識別用戶的意圖 步骤全写死，先识别用户的意图。 [16:16] 再 lookup history，最後呼叫 API，照順序走 再 lookup history，最后呼叫 API，照顺序走。 [16:19] 安全，可預測，但很僵硬 安全，可预测，但很僵硬。 [16:22] 遇到預期外的情況就卡住。 遇到预期外的情况就卡住。 [16:24] 第二層是 hardcoded tools。 第二层是hardcoded tools。 [16:25] 但讓 agent 自己決定執行步驟。 但让agent自己决定执行步骤。 [16:28] 你給它一組工具，告訴它你是 travel agent。 你给它一组工具，告诉它你是travel agent。 [16:31] 這些是你能用的工具，怎麼用你決定。 这些是你能用的工具，怎么用你决定。 [16:34] 掌控工具範圍，但給 agent 空間判斷怎麼組合。 掌控工具范围，但给agent空间判断怎么组合。 [16:38] 這是目前最常見的 production setup。 这是目前最常见的production setup。 [16:40] 也是教授推薦的起點。 也是教授推荐的起点。 [16:42] 第三層是 fully autonomous。 第三层是fully autonomous。 [16:44] agent 自己決定步驟，甚至自己創工具。 agent自己决定步骤，甚至自己创工具。 [16:48] 給它 code editor，給它 web search。 给它code editor，给它web search。 [16:50] 叫它自己寫 code 解決問題。 叫它自己写code解决问题。 [16:52] 能力最強，但風險也最高。 能力最强，但风险也最高。 [16:55] 你沒辦法完全預測它會做什麼。 你没办法完全预测它会做什么。 [16:57] 如果 agent 判斷錯誤，自己訂了 100 張機票。 如果agent判断错误，自己订了100张机票。 [16:59] 你就完蛋了。 你就完蛋了。 [17:01] 還有一個關鍵概念是 MCP。 还有一个关键概念是MCP。 [17:03] Model Context Protocol。 Model Context Protocol。 [17:05] 傳統做法是你要替每一個 API 單獨寫串接邏輯。 传统做法是你要替每一个API单独写串接逻辑。 [17:08] 教 LLM 這個 API 怎麼用。 教LLM这个API怎么用。 [17:10] 那個 API 要傳什麼參數。 那个API要传什么参数。 [17:11] MCP 的做法是在中間放一個協議層。 MCP的做法是在中间放一个协议层。 [17:15] agent 不需要認識每一個 API。 agent不需要认识每一个API。 [17:17] 它只需要跟 MCP server 溝通。 它只需要跟MCP server沟通。 [17:19] MCP 負責幫它跟後面的服務打交道。 MCP负责帮它跟后面的服务打交道。 [17:22] 你可以把 MCP 想成一個通用插頭 你可以把 MCP 设想成一个通用插头 [17:24] 以前每個國家的插座規格不一樣 以前每个国家的插座规格都不一样 [17:26] 你要帶一堆轉接頭 你需要带一堆转接头 [17:28] 有了 MCP，插一個就全通了 有了 MCP，插一个就全部通了 [17:31] Stanford 教授還有提到對 MCP 一個更大的想像 斯坦福教授还提到了对 MCP 的一个更大的设想 [17:34] 那就是 agent-to-agent communication 那就是 agent-to-agent communication [17:36] 你可以把別人做好的 agent 當作一種工具 你可以把别人做好的 agent 当作一种工具 [17:39] 讓你自己的 agent 去呼叫它 让自己的 agent 去调用它 [17:40] 就像現在 agent 呼叫 API 一樣 就像现在 agent 调用 API 一样 [17:43] 這是 multi-agent 系統的基礎 这是 multi-agent 系统的基础 [17:44] 我們等一下會講到 我们等一下会讲到 [17:46] 不管是單一 agent 還是 multi-agent 不管是单一 agent 还是 multi-agent [17:47] 上線之前都要先回答同一個問題 上线之前都要先回答同一个问题 [17:49] 怎麼知道它真的有用？ 怎么知道它真的有用？ [17:49] 答案是 eval 答案是 eval [17:52] 也是 production agentic 系統的命脈 也是 production agentic 系统的命脉 [17:54] 教授在課堂上給了一個完整的 eval 框架 教授在课堂上给了一个完整的 eval 框架 [17:56] 是三個維度交叉 是三个维度交叉 [17:58] 第一個維度是 End-to-End 還有 Component-based 第一个维度是 End-to-End 还有 Component-based [18:02] End-to-end 是看整體 End-to-end 是看整体 [18:04] 使用者用完給幾分，滿不滿意 使用者用完给几分，满不满意 [18:08] Component-based 是拆開每一步看 Component-based 是拆开每一步看 [18:09] 比方說 比如说 [18:10] 這個 tool 老是忘記更新 email 这个 tool 老是忘记更新 email [18:11] 送 email 那一步格式不對 发送 email 那一步格式不对 [18:13] 光看整體你知道哪裡壞，但不知道為什麼壞 光看整体你知道哪里坏，但不知道为什么坏 [18:16] 光看 component 你可能修了細節但整體體驗還是差 光看 component 你可能修了细节但整体体验还是差 [18:20] 實務上兩個都要做 实务上两个都要做 [18:22] 第二個維度是 Objective 還有 Subjective 第二个维度是 Objective 还有 Subjective [18:25] 也就是客觀和主觀的評價方式 也就是客观和主观的评价方式 [18:28] Objective 是可以自動驗證的 Objective是可以自动验证的 [18:30] 使用者說 order ID 是 X 使用者说order ID是X [18:31] LLM 寫進 DB 變成 Y LLM写进DB变成Y [18:33] 這種東西你可以寫個 Python script 自動對齊 这种东西你可以写个Python script自动对齐 [18:36] 因為對就是對，錯就是錯 因为对就是对，错就是错 [18:39] Subjective 是沒有標準答案的 Subjective是没有标准答案的 [18:41] 語氣好不好，回答夠不夠有同理心 语气好不好，回答够不够有同理心 [18:43] 這種要靠人工評分 这种要靠人工评分 [18:44] 或是用另一個額外的 LLM 當作評審 或是用另一个额外的LLM当作评委 [18:47] 這個等等我會細講 这个等等我会细讲 [18:49] 第三個維度是 Quantitative 還有 Qualitative 第三个维度是Quantitative还有Qualitative [18:52] Quantitative 是數字 Quantitative是数字 [18:54] 改地址成功率幾趴，每個環節的延遲多久 改地址成功率几趴，每个环节的延迟多久 [18:58] Qualitative 是感覺 Qualitative是感觉 [18:59] 在哪裡幻覺，語氣哪裡不對 在哪里幻觉，语气哪里不对 [19:02] 使用者哪一步卡住 使用者哪一步卡住 [19:03] 這個要人工一筆一筆看，沒有捷徑 这个要人工一笔一笔看，没有捷径 [19:06] 剛剛提到的用 LLM 當作評審 刚刚提到的用LLM当作评委 [19:08] 又稱 LLM-as-Judge 又称LLM-as-Judge [19:10] 這是做 subjective eval 常用的做法 这是做subjective eval常用的做法 [19:13] 設計上有四種主流玩法 设计上有四种主流玩法 [19:15] 第一種是 Pair-wise comparison 第一种是Pair-wise comparison [19:17] 給 judge 兩個答案，問它哪個比較好 给judge两个答案，问它哪个比较好 [19:20] 第二種是 Single-answer grading 第二种是Single-answer grading [19:22] 直接打一到五分 直接打一到五分 [19:23] 第三種是 Reference-guided pair-wise 第三种是Reference-guided pair-wise [19:25] 多給一個標準答案做對比，讓評分更有依據。 提供一个标准答案作为对比，使评分更有依据。 [19:29] 第四種是 Rubric-based。 第四种是基于评分标准（Rubric-based）。 [19:30] 你自己定義評分標準。 你来定义评分标准。 [19:32] 比方說五分等於一百字以內，含三個重點。 比如五分代表一百字以内，包含三个重点。 [19:35] 第一句是 overview。 第一句是概述。 [19:36] 零分等於答非所問，冗長失焦。 零分代表答非所问，冗长且偏离主题。 [19:38] 這四種可以混用。 这四种可以混合使用。 [19:40] 比方說 rubric-based 加上 few-shot examples。 比如，基于评分标准（rubric-based）加上少样本示例（few-shot examples）。 [19:42] 讓評審更知道你要什麼。 让评审更清楚你想要什么。 [19:45] 怎麼實際跑一個 subjective eval？ 如何实际进行主观评估（subjective eval）？ [19:47] 課堂上教授用 travel agent 的禮貌度評估當例子。 课堂上，教授用旅行社客服的礼貌度评估作为例子。 [19:50] 共拆成四個步驟。 共分为四个步骤。 [19:52] 第一步是 error analysis。 第一步是错误分析（error analysis）。 [19:54] 從一千個使用者裡抽二十個對話，人工讀。 从一千个用户中抽取二十个对话，进行人工阅读。 [19:58] 你可能就會發現 LLM 講話超短。 你可能会发现大型语言模型（LLM）说话很简短。 [20:00] 有點機車，沒同理心。 有点烦人，缺乏同理心。 [20:02] 這步不能省，你要先知道問題長什麼樣。 这一步不能省略，你必须先了解问题是什么样的。 [20:05] 才能設計出對的 eval。 才能设计出正确的评估。 [20:07] 第二步是設計 eval。 第二步是设计评估。 [20:08] 用 LLM-as-Judge 加上自己寫的禮貌度 rubric。 使用大型语言模型作为裁判（LLM-as-Judge）并结合自己编写的礼貌度评分标准。 [20:11] 把你在第一步發現的問題翻譯成評分標準。 将你在第一步发现的问题转化为评分标准。 [20:15] 第三步是 A/B test 模型。 第三步是进行模型的 A/B 测试。 [20:17] 固定 prompt，把底層模型從 GPT 換成 Opus 或者其他模型。 固定提示（prompt），将底层模型从 GPT 换成 Opus 或其他模型。 [20:21] 然後跑同一批對話，judge 評分。 然后运行同一批对话，由裁判进行评分。 [20:24] 看哪個模型禮貌度最高。 看哪个模型的礼貌度最高。 [20:26] 第四步是 A-B test prompt [20:28] 固定模型 [20:29] 把 act like a travel agent 改成 [20:31] act like a helpful travel agent [20:33] 看一個詞的差距影響有多大 [20:36] 核心原則只有一個 [20:37] 先人工掃出問題，再設計自動化 eval [20:41] 而且模型跟 prompt 這兩個變因一次只動一個 [20:43] 不然不知道是哪個改動造成了差異 [20:46] 講完 eval，教授給了一個完整的 case study [20:48] 把前面所有東西串起來 [20:50] 題目很簡單 [20:51] 我們要做一個客服 AI agent [20:53] 使用者可能會說 [20:54] 『我要改 A127 訂單的地址，因為我搬家到建國南路了』 [20:59] 這樣的 AI 客服 agent 你會怎麼做？ [21:02] 這題目有兩層 [21:03] 表面看是怎麼改地址 [21:04] 本質是怎麼做一個會自己處理客服請求的 agent [21:08] 課堂上一個學生回答說 [21:10] 我會先去客服旁邊坐一到兩天 [21:12] 看他們實際怎麼處理這種請求 [21:15] 他們日常的工作流是什麼 [21:17] 教授很喜歡這個答案 [21:18] 因為你要先理解人怎麼做這件事 [21:21] 才知道怎麼讓 AI 做 [21:22] 而這就是做 agentic workflow 的第一步 [21:24] 叫做 task decomposition [21:26] 也就是把大任務拆解成小任務 [21:29] 讓 LLM 可以逐個擊破 [21:31] 觀察之後，你會發現客服處理一個改地址請求 [21:35] 其實走了五步 [21:36] 第一步，抽出關鍵資訊 [21:38] 包含客戶的 intent 是什麼 [21:41] order ID 是哪個，新地址是什麼 [21:43] 第二步，去資料庫查客戶紀錄 [21:46] 第三步，查公司政策 [21:48] 像是這筆訂單能不能改地址？是不是已經出貨了？ [21:52] 第四步，根據前面收集到的資訊起草回信 [21:55] 第五步，送出 email [21:57] 每一步都明確，這就是 task decomposition [22:00] 有了拆解，下一步是決定每一步用什麼工具 [22:03] 第一步抽資訊 [22:05] 單純用 LLM 的一次 API 呼叫通常就能解決 [22:08] 第二步查和改 Database [22:10] 要 custom tool 或 MCP server [22:12] 第三步政策檢查，用 RAG [22:14] 因為政策文件會更新，也需要有效率的檢索 [22:17] 不能讓客戶等太久 [22:19] 第四步是根據前幾步搜集到的資訊 [22:21] 開始撰寫 email [22:23] 第五步送 email [22:24] 用 agent 能夠使用的 email 寄送工具 [22:28] 做這些判斷的方式很簡單 [22:30] 先問自己哪些步驟是 fuzzy [22:32] 哪些是 deterministic [22:33] 再決定每一步是用 LLM one-shot [22:36] RAG，tool，還是其他工具 [22:38] 這就是 AI Builder 真實在做的工作 [22:40] 知道每個工具，每種技術的能力和限制 [22:43] 然後炒出一盤你需要的菜 [22:45] 最後是 build evals [22:47] 把前面講的三個維度全部用上 [22:49] End-to-end 看最終回覆正確性 [22:52] 語氣，使用者滿意度 [22:54] Component-based 拆開看每一步 [22:56] 抽資訊的準度，API 錯誤率，政策遵守率 [22:59] Objective 的部分可以自動驗證 [23:01] 抽出來的 order ID 是否正確 [23:03] 有沒有違反退費政策 [23:05] Subjective 的部分要靠人工加 LLM-as-Judge [23:08] 比方說回信是否有禮貌，有沒有同理心 [23:11] Quantitative 看改地址成功率 [23:14] latency，退費正確率 [23:17] Qualitative 看哪裡有幻覺 [23:18] 哪裡語氣不一致 [23:20] 使用者在哪一步感到困惑 [23:22] 到這邊，一個完整的 AI 客服 agent [23:24] 從零到上線的工程流程就出來了 [23:26] 其實總共就是三個步驟 [23:28] 先把大任務拆解成小任務 [23:30] 再設計工作流程 [23:31] 最後建立評估系統，確保產出穩定 [23:34] 這堂課的最後一個主題是 Multi-Agent [23:36] 前面一個 agent 已經能拆步驟 [23:38] call tool，做 RAG，寫信 [23:40] 看起來夠用了 [23:42] 但 multi-agent 還是有它存在的理由 [23:44] 主要原因是平行處理 [23:46] 有些事沒理由排隊跑 [23:48] 訂機票的時候，找航班，找飯店，查天氣 [23:52] 這三件事完全可以同時進行 [23:54] 如果只有一個 agent，就只能一件一件做 [23:57] Multi-agent 就是把這幾件可以平行的事 [23:59] 拆給三個 specialized agent 同時跑 [24:02] 速度直接拉起來 [24:04] 次要原因是 reusability，也就是可復用性 [24:07] 公司裡的 design agent 可以給行銷團隊用 [24:10] 也可以給產品團隊用 [24:12] 不過，multi-agent 聽起來很厲害 [24:15] 但做產品的時候要先問自己真的有需要嗎？ [24:18] 如果一個 agent 就能解決的任務 [24:20] 硬上 multi-agent 反而增加複雜度 [24:23] 所以還是老話一句，工程設計能簡單就簡單 [24:26] 不要 over design [24:27] 教授用智慧家庭當 brainstorm 範例 [24:30] 一個完整的智慧家庭 multi-agent 系統可能有溫度控制 [24:33] 燈光，保全，娛樂，通知 [24:36] 還有能源管理這些 agent [24:37] 加上一個 Orchestrator 統籌 [24:39] 互動模式有兩種 [24:41] 第一種是 Hierarchical [24:42] 使用者只跟 orchestrator 講話 [24:43] 由它派工給下面的 agent，指揮鏈清楚 [24:47] 第二種是 Flat [24:48] agent 之間直接互通，沒有中間人 [24:51] 教授建議智慧家庭以 hierarchical 為主 [24:54] 因為從使用者的角度 [24:55] 你不想同時跟五個 agent 講話 [24:57] 你只想跟一個 assistant 說我要出門了 [25:00] 它就會自己去協調燈光，保全，溫控 [25:03] 但在後台，某些 agent 之間可以有彼此之間水平溝通的連線方式 [25:09] 比方說溫度控制的 agent 跟能源管理的 agent 直接互通 [25:13] 省掉每次都要過 orchestrator 的溝通成本 [25:16] 當你讓 agent 之間互相溝通 [25:18] 本質上就是 MCP protocol [25:20] 你把 agent 當作 tool [25:21] 就跟把 API 當作 tool 一樣 [25:24] 這個心態一旦想通，設計就清楚了 [25:27] 每個 agent 對外暴露一組 tool-like 介面 [25:28] 其他 agent 像呼叫工具一樣呼叫這個 agent [25:31] 這樣子做結構乾淨，容易 debug [25:33] 也支援平行處理 [25:35] Multi-agent 聽起來複雜 [25:36] 但其實只是把你已經懂的東西，多疊一層 [25:39] 好，那我們最後整理一下這堂課的重點 [25:42] 這支影片我們從基礎模型的限制開始講起 [25:45] 並帶到能夠加強模型表現的技巧和技術 [25:47] 首先是 Prompt Engineering [25:49] 強化 LLM 輸出，成本最低 [25:51] 重點放在 chaining 跟 testing [25:53] 第二層是 Fine-Tuning [25:54] 除非你在處理法律，科學那種需要重複高精度的 domain [25:58] 或者興趣使然 [25:59] 否則別沒事找事去調模型 [26:02] 第三層是 RAG [26:03] 幫模型補足知識的標準解法 [26:06] 做 AI 產品基本上一定會碰到 [26:08] 最後是 Agentic Workflow [26:10] 從強化單一 LLM 進到系統設計 [26:13] 重點是思維上的心態轉變 [26:15] 從過往的 deterministic engineering [26:17] 到現在的 fuzzy engineering [26:19] 以及應對 fuzzy engineering 的 evaluation 系統 [26:22] 還有在實戰上要如何從拆解任務開始 [26:25] 打造自己的 agentic workflow [26:27] 第五層是 Multi-Agent [26:28] 把每個 agent 都當成工具 [26:30] 彼此協作來提升處理速度跟復用性 [26:33] 教授在兩個小時內跑完產業上常見的實作技巧 [26:36] 每個技術的存在理由跟適用情境都交代清楚 [26:39] 有了這樣的認知，你就不會盲目跟風 [26:42] 看到別人在做 multi-agent 就跟著做 [26:44] 看到別人講 fine-tuning 覺得很帥就去玩自己的模型 [26:47] 所以你的下一步是什麼？ [26:48] 我給你的建議是，從實作中學習 [26:51] 看看你的生活上或者工作上有什麼痛點 [26:54] 從痛點出發去思考解決方法 [26:56] 在這個過程中你就會發現自己需要學會哪些技術 [27:00] 就能夠很有效率的去規劃自己的學習路線 [27:03] 我把這支影片整理成了一篇深度文章 [27:05] 附帶 4 組 prompts [27:06] 幫你想清楚自己的 workflow 怎麼拆 [27:08] 現有架構有沒有 over-engineering [27:10] 幫你建立 eval 系統 [27:12] 以及該不該上 multi-agent [27:13] 有興趣的朋友可以在資訊欄找到連結 [27:15] 那今天這支影片差不多就講到這邊 [27:17] 如果你喜歡這樣的內容 [27:19] 想請你幫我點個讚 [27:20] 也在底下留言告訴我你們想看什麼樣的內容 [27:22] 那我們下次見