如上是你的目标，为了实现这个目标，你可能需要获取一系列的信息，为了帮助你获得信息，我会为你提供一系列的索引访问接口，请你通过如下格式输出语句让我为你返回信息。
注：如果你请求错误，请你阅读返回的报错信息以自我纠正
例：
< 通过接口名称检索("接口名称")>
< 通过接口功能检索("访问网页")>
< 通过父级名称检索("父级名称")> +>
如上是你的目标，为了实现这个目标，你可能需要获取一系列的信息，为了帮助你获得信息，我会为你提供一系列的索引访问接口，请你通过如下格式输出语句让我为你返回信息。
注：如果你请求错误，请你阅读返回的报错信息以自我纠正
例：
< 通过接口名称检索 ("接口名称")>
< 通过接口功能检索 ("访问网页")>
< 通过父级名称检索 ("父级名称")> - 为 GPT 设计自动化指令解析与执行模块 @@ -861,7 +860,7 @@ Generative Agents 的知觉设计：关联性难题 > TBD：号被 OpenAI 噶了，我也很绝望啊 -## 工作记忆：组织 AI 记忆系统 +### 工作记忆：组织 AI 记忆系统 记忆系统的构成其实相较知觉系统等更为抽象，它用于管理 AI 运行时作为背景的长期记忆，以及定义决定了 AI 当前任务及目标的短期记忆。 @@ -869,9 +868,9 @@ Generative Agents 的知觉设计：关联性难题 但我们依旧能从前人的工作中获得一定的参考。 -### AutoGPT 的记忆设计：粗放但有效 +#### AutoGPT 的记忆设计：粗放但有效 -在 长时记忆（过去）、评估系统（价值）、注意系统（关注） 这三个要素中，AutoGPT 做得比较好的无疑只有第一个。 +在 长时记忆（过去）、评估系统（价值）、注意系统（关注）这三个要素中，AutoGPT 做得比较好的无疑只有第一个。 AutoGPT 的核心记忆设计依赖于预包装的 Prompt 本体，这一包装包含如下部分： @@ -899,7 +898,7 @@ AutoGPT 的核心记忆设计依赖于预包装的 Prompt 本体，这一包装 但从另一角度，其“自主将收集到的信息写入记忆”这一功能作为一个 以完成任务为目标 的 Agent 而言无疑是非常合适的架构设计。 -### Generative Agents 的记忆设计：精心构建的金字塔 +#### Generative Agents 的记忆设计：精心构建的金字塔 区别于 AutoGPT 主动写入的记忆，Generative Agents 的记忆源自被动的无限感知和记录，因此显得更加没有目的性。也正因如此，其需要一种更妥善的管理形式。 @@ -907,7 +906,7 @@ Generative Agent 通过自动化评估记忆的价值，并构建遗忘系统、  -Generative Agents ：基于 Reflection 构建记忆金字塔 +Generative Agents：基于 Reflection 构建记忆金字塔 进一步的，其通过反思机制强化了记忆的价值，使得高层洞察从既有记忆的连结中涌现，这一机制通常被用于将 信息转化为知识，并构建出了有效记忆的金字塔。 @@ -915,7 +914,7 @@ Generative Agents ：基于 Reflection 构建记忆金字塔 相关的更有效的记忆管理无疑很快就会被更新的项目学习。 -### 记忆系统的构建讨论（放飞大脑） +#### 记忆系统的构建讨论（放飞大脑） 但从某种意义上来说，对于一个我们希望其帮助我们工作的智能体而言，像 Generative Agent 这般的巨大数据库也许并未有充分的价值，何况我们所输入的内容原始层级就较高（这一层可能在前面的知觉系统中，就让一定程度上的高层洞见自主产生了），不易于进一步的堆叠。 @@ -933,7 +932,7 @@ Generative Agents ：基于 Reflection 构建记忆金字塔 （可以遇见的，以 AutoGPT 的热度，半个月内就会有人为其设计相应的 mod） -## 运动系统：让 AI 可及一切 +### 运动系统：让 AI 可及一切 基于知觉系统和记忆系统，已经能构建一个使用语言解决问题的智能体了。但最为关键的改造世界部分则依旧缺席。 @@ -943,7 +942,7 @@ Generative Agents ：基于 Reflection 构建记忆金字塔 - 我们大胆假设未来游戏中的 Agent 能通过 API 驱动自身在场景中无拘无束（拼装行为树 - 再大胆假设他们能使用 API 实时把需求的内容转化为发布给玩家的任务（拼装任务节点 -- 继续大胆假设， AI 根据我的需求把今天要配的啥比表直接配完，当场下班（笑 +- 继续大胆假设，AI 根据我的需求把今天要配的啥比表直接配完，当场下班（笑 （而这一切，都是可能，且近在眼前的） @@ -963,7 +962,7 @@ AI 能做的一切都基于我们的赋予，包括语言能力，包括思维 - 我们不该将其当作独立的智能体看待，但能在其基础上通过构建系统创建智能 Agent - 为此，我们需要通过信息工程，让 AI 能够真正感知和改造世界，从而改变我们的生产进程 -# 寄予厚望 +## 寄予厚望 感谢有人忍受了我阴间的行文和一路跑偏的思路，真能看到这里 diff --git a/4.人工智能/4.12LLMAgent之结构化输出.md b/4.人工智能/4.12LLMAgent之结构化输出.md index 8677ab5..a6ce5c0 100644 --- a/4.人工智能/4.12LLMAgent之结构化输出.md +++ b/4.人工智能/4.12LLMAgent之结构化输出.md @@ -1,4 +1,4 @@ -# LLM Agent之结构化输出 +# LLM Agent 之结构化输出 author:Marlene @@ -6,33 +6,33 @@ author:Marlene ## 引言 -自去年年底以来，GPT的迅速发展诞生了一系列大模型。出现了更新、更大、更强的GPT-4。OpenAI不断推出GPT-4，ChatGPT Plugins，代码解释器，Function calling,图片处理等等。7月的WAIC上，笔者也有幸见到了国内一众企业相继展示自家的大模型。在这段时间里，LLM从最初的PE工程走向智能体交互。而笔者从最开始考虑LLM能不能多人协作，思考”一个专家完成所有任务好还是很多人分工完成好“，到各种论文层出不穷，到如今火热的LLM Agent开发模式。可以说，如果你从大学里随便问某个人都知道GPT，甚至大部分都用过。 +自去年年底以来，GPT 的迅速发展诞生了一系列大模型。出现了更新、更大、更强的 GPT-4。OpenAI 不断推出 GPT-4，ChatGPT Plugins，代码解释器，Function calling，图片处理等等。7 月的 WAIC 上，笔者也有幸见到了国内一众企业相继展示自家的大模型。在这段时间里，LLM 从最初的 PE 工程走向智能体交互。而笔者从最开始考虑 LLM 能不能多人协作，思考”一个专家完成所有任务好还是很多人分工完成好“，到各种论文层出不穷，到如今火热的 LLM Agent 开发模式。可以说，如果你从大学里随便问某个人都知道 GPT，甚至大部分都用过。 好了，前言少叙。进入正题。众所周知，Agent 基本= LLM（大型语言模型）+ 记忆 + 规划技能 + 工具使用。 -想要使用工具，让GPT掌握如何使用工具，常见的方法是告知GPT工具（通常是一个可以调用的函数）的参数，让GPT生成这些参数即可。那么如何让GPT可靠的生成这些规定的参数呢？换一种说法，如何让GPT输出结构化的数据信息呢？ +想要使用工具，让 GPT 掌握如何使用工具，常见的方法是告知 GPT 工具（通常是一个可以调用的函数）的参数，让 GPT 生成这些参数即可。那么如何让 GPT 可靠的生成这些规定的参数呢？换一种说法，如何让 GPT 输出结构化的数据信息呢？ ## 原理及相关框架 -现如今大部分的结构化输出工具的原理都是：告诉GPT要输出一个怎么样的结构即可。没错~当然，为什么会出现这么多开发工具都用来解决这个问题，明明是一个简单的原理呢？ +现如今大部分的结构化输出工具的原理都是：告诉 GPT 要输出一个怎么样的结构即可。没错~当然，为什么会出现这么多开发工具都用来解决这个问题，明明是一个简单的原理呢？ -``` +```txt 1. 通过 prompt 告知 LLM 我们所需要的返回格式，并进行生成。 2. 通过一些规则来检查返回结果，如果不符合格式，生成相关错误信息。 3. 将上一次的生成内容和检查的错误信息告知 LLM，进行下一次的修正生成。 4. 重复 2-3 步骤，直到生成的内容完全符合我们的要求。 ``` -首先，关于怎样描述这样一个结构的prompt模板，众口难调。有些人认为结构就应该用自然语言描述，这样足够简单，上手难度足够低，方便快速迭代开发。有些人认为结构描述？JSON Schema不就够了？有些人觉得YAML也可以。有些人觉得上面这些对于我的需求还是够不着啊，于是自己造了一个伪代码描述。 +首先，关于怎样描述这样一个结构的 prompt 模板，众口难调。有些人认为结构就应该用自然语言描述，这样足够简单，上手难度足够低，方便快速迭代开发。有些人认为结构描述？JSON Schema 不就够了？有些人觉得 YAML 也可以。有些人觉得上面这些对于我的需求还是够不着啊，于是自己造了一个伪代码描述。 其次，自动处理修正机制也可以做很多文章。还有许多对性能和开销的优化。 下文就是关于一众框架的简单分析。希望会对选择困难症的你有所帮助。 ### **guardrails** -guardrails这个项目，就是将上述的步骤做了进一步的抽象与封装，提供更加 high level 的配置与 API 来完成整个过程。 +guardrails 这个项目，就是将上述的步骤做了进一步的抽象与封装，提供更加 high level 的配置与 API 来完成整个过程。 优点： -1. 定义了一套RAIL spec +1. 定义了一套 RAIL spec 2. 更聚焦于错误信息 ```markdown @@ -78,7 +78,7 @@ Given the following doctor's notes about a patient, please extract a dictionary ``` -可以看到，guardrails定义了一套类似xml的语言用于结构化输出，又结合了自然语言的prompt。虽然比起常见的模板语言要更加“繁琐”，但可以包含的内容也可以更加完善。比如可以提供字段的描述信息，检查规范，一定程度上也能帮助 LLM 更好地理解需求，生成预期的结果。 +可以看到，guardrails 定义了一套类似 xml 的语言用于结构化输出，又结合了自然语言的 prompt。虽然比起常见的模板语言要更加“繁琐”，但可以包含的内容也可以更加完善。比如可以提供字段的描述信息，检查规范，一定程度上也能帮助 LLM 更好地理解需求，生成预期的结果。 ```markdown I was given the following JSON response, which had problems due to incorrect values. @@ -127,11 +127,11 @@ define bot inform capabilities "I am an AI assistant which helps answer questions based on a given knowledge base. For this interaction, I can answer question based on the job report published by US Bureau of Labor Statistics." ``` -从代码可以看出其结合了python和自然语言，方便相似度检索。 +从代码可以看出其结合了 python 和自然语言，方便相似度检索。 其整体的运作流程如下： 1. 根据用户输入识别用户意图。在这一步，系统会将用户的输入在 flow 定义的各种用户回复文本中做相似性查找，也就是上面文件中“What can you do?”这一连串内容。这些检索到的预设用户意图内容，结合其它信息如对话样例，最近聊天记录等，形成整体的 prompt，发给 LLM 来生成回复。最终再从回复中提取用户意图。 -2. 根据意图，判断下一步操作动作。这一步有两种做法，一是当前的状态能够匹配上预定义的 flow。例如用户就是提了一个 bot 能力的问题，那么就会匹配上面定义的user ask capabilities，下一步动作自然就是bot inform capabilities。如果没有匹配上，就要由 LLM 自己来决定下一步动作，这时候也会跟生成用户意图一样，对于 flow 定义做一个相似性查找，将相关信息发给 LLM 来做生成。 +2. 根据意图，判断下一步操作动作。这一步有两种做法，一是当前的状态能够匹配上预定义的 flow。例如用户就是提了一个 bot 能力的问题，那么就会匹配上面定义的 user ask capabilities，下一步动作自然就是 bot inform capabilities。如果没有匹配上，就要由 LLM 自己来决定下一步动作，这时候也会跟生成用户意图一样，对于 flow 定义做一个相似性查找，将相关信息发给 LLM 来做生成。 3. 生成 bot 回复。如果上一步生成的 bot 回复意图已经有明确定义了（例如上面的 bot 能力的回复），那么就直接用预定义的回复内容来回复用户。如果没有，就跟生成用户意图一样，做意图的相似性查找，将相关信息给 LLM 来生成回复。注意到很多动态的问题例如 QA 场景，是很难预先定义好回复内容的，这里也支持对接知识库，同样是做 vector search 之后，将相关 context 信息发给 LLM 来生成具体回复。 ### guidance @@ -174,7 +174,7 @@ program(description="A quick and nimble fighter.", valid_weapons=valid_weapons) 1. 生成的 json 结构是保证合法且可控的，不会出现语法错误或者缺失/错误字段等。 2. 通过 LLM 生成的 token 数量减少了，理论上可以提升生成速度。 -除了prompt模板，它还提供了： +除了 prompt 模板，它还提供了： - 支持 hidden block，例如 LLM 的一些推理过程可能并不需要暴露给最终用户，就可以灵活利用这个特性来生成一些中间结果。 - Generation caching，自动把已经生成过的结果缓存起来，提升速度。 @@ -186,7 +186,7 @@ program(description="A quick and nimble fighter.", valid_weapons=valid_weapons) ### lmql -在 guidance 的基础上，lmql这个项目进一步把“prompt 模板”这个概念推进到了一种新的编程语言。从官网能看到给出的一系列示例。语法结构看起来有点像 SQL，但函数与缩进都是 Python 的风格。 +在 guidance 的基础上，lmql 这个项目进一步把“prompt 模板”这个概念推进到了一种新的编程语言。从官网能看到给出的一系列示例。语法结构看起来有点像 SQL，但函数与缩进都是 Python 的风格。  从支持的功能来看，相比 guidance 毫不逊色。例如各种限制条件，代码调用，各种 caching 加速，工具集成等基本都具备。这个框架的格式化输出是其次，其各种可控的输出及语言本身或许更值得关注。 @@ -194,17 +194,17 @@ program(description="A quick and nimble fighter.", valid_weapons=valid_weapons) TypeChat 将 prompt 工程替换为 schema 工程：无需编写非结构化的自然语言 prompt 来描述所需输出的格式，而是编写 TS 类型定义。TypeChat 可以帮助 LLM 以 JSON 的形式响应，并且响应结果非常合理：例如用户要求将这句话「我可以要一份蓝莓松饼和一杯特级拿铁咖啡吗？」转化成 JSON 格式，TypeChat 响应结果如下：  -其本质原理是把interface之类的ts代码作为prompt模板。因此它不仅可以对输出结果进行ts校验，甚至能够输入注释描述，不可谓非常方便js开发者。不过，近日typechat爆火，很多开发者企图尝试将typechat移植到python，笔者认为这是缘木求鱼，因为其校验本身依赖的是ts。笔者在开发过程中，将typechat融合到自己的库中，效果不错。但是它本身自带的prompt和笔者输入的prompt还是存在冲突，还是需要扣扣源码。 +其本质原理是把 interface 之类的 ts 代码作为 prompt 模板。因此它不仅可以对输出结果进行 ts 校验，甚至能够输入注释描述，不可谓非常方便 js 开发者。不过，近日 typechat 爆火，很多开发者企图尝试将 typechat 移植到 python，笔者认为这是缘木求鱼，因为其校验本身依赖的是 ts。笔者在开发过程中，将 typechat 融合到自己的库中，效果不错。但是它本身自带的 prompt 和笔者输入的 prompt 还是存在冲突，还是需要扣扣源码。 ### Langchain 如果你关注了过去几个月中人工智能的爆炸式发展，那你大概率听说过 LangChain。简单来说，LangChain 是一个 Python 和 JavaScript 库，由 Harrison Chase 开发，用于连接 OpenAI 的 GPT API（后续已扩展到更多模型）以生成人工智能文本。 -langchain具有特别多的结构化输出工具。例如使用yaml定义Schema，输出结构化JSON。使用zodSchema定义Schema，输出结构化JSON。使用FunctionParameters定义Schema，输出结构化JSON。 +langchain 具有特别多的结构化输出工具。例如使用 yaml 定义 Schema，输出结构化 JSON。使用 zodSchema 定义 Schema，输出结构化 JSON。使用 FunctionParameters 定义 Schema，输出结构化 JSON。 -但是笔者这里不打算介绍langchain。究其原因，是笔者被langchain折磨不堪。明明可以几行代码写清楚的东西，langchain可以各种封装，花了好几十行才写出来。更何况，笔者是用ts开发，开发时甚至偷不了任何懒，甚至其文档丝毫不友好。这几天，《机器之心》发布文章表示放弃langchain。要想让 LangChain 做笔者想让它做的事，就必须花大力气破解它，这将造成大量的技术负担。因为使用人工智能本身就需要花费足够的脑力。LangChain 是为数不多的在大多数常用情况下都会增加开销的软件之一。所以笔者建议非必要，不使用langchain。 +但是笔者这里不打算介绍 langchain。究其原因，是笔者被 langchain 折磨不堪。明明可以几行代码写清楚的东西，langchain 可以各种封装，花了好几十行才写出来。更何况，笔者是用 ts 开发，开发时甚至偷不了任何懒，甚至其文档丝毫不友好。这几天，《机器之心》发布文章表示放弃 langchain。要想让 LangChain 做笔者想让它做的事，就必须花大力气破解它，这将造成大量的技术负担。因为使用人工智能本身就需要花费足够的脑力。LangChain 是为数不多的在大多数常用情况下都会增加开销的软件之一。所以笔者建议非必要，不使用 langchain。 -## LLM对于结构化信息的理解 +## LLM 对于结构化信息的理解 LLM 的可控性、稳定性、事实性、安全性等问题是推进企业级应用中非常关键的问题，上面分享的这些项目都是在这方面做了很多探索，也有很多值得借鉴的地方。总体思路上来说，主要是： @@ -216,24 +216,24 @@ LLM 的可控性、稳定性、事实性、安全性等问题是推进企业级 即使我们不直接使用上述的项目做开发，也可以从中学习到很多有用的思路。当然也非常期待这个领域出现更多有意思的想法与研究，以及 prompt 与编程语言结合能否碰撞出更多的火花。 -同时笔者认为自动处理机制、自己设计的编程语言等等内容，随着时间发展，一定会层出不穷，不断迭代更新。笔者抛去这些时效性较弱的内容，从描述信息和位置信息两方面思考peompt模板该如何设计，当然只是浅浅的抛砖引玉一下。 +同时笔者认为自动处理机制、自己设计的编程语言等等内容，随着时间发展，一定会层出不穷，不断迭代更新。笔者抛去这些时效性较弱的内容，从描述信息和位置信息两方面思考 peompt 模板该如何设计，当然只是浅浅的抛砖引玉一下。 ### 描述信息 -到底哪种方式更容易于LLM去理解？我们不谈框架的设计，只考虑prompt的设计。上述框架关于这方面有一些参考，例如有些直接拿json作为prompt模板，有些拿xml作为prompt模板，有些拿自己设计的语言作为prompt，有些拿自然语言作为prompt模板。时至今日，选用哪种最适合LLM去理解格式化的信息，输出格式化的内容完全没有盖棺定论。甚至时至今日，格式化输出问题还是没有得到可靠稳定的解决，要不然笔者肯定不会介绍这么多框架实践了。 +到底哪种方式更容易于 LLM 去理解？我们不谈框架的设计，只考虑 prompt 的设计。上述框架关于这方面有一些参考，例如有些直接拿 json 作为 prompt 模板，有些拿 xml 作为 prompt 模板，有些拿自己设计的语言作为 prompt，有些拿自然语言作为 prompt 模板。时至今日，选用哪种最适合 LLM 去理解格式化的信息，输出格式化的内容完全没有盖棺定论。甚至时至今日，格式化输出问题还是没有得到可靠稳定的解决，要不然笔者肯定不会介绍这么多框架实践了。 -笔者认为不管哪种方式，都可以从两个方面考量：更简单，更结构。如果想要在开发的时候更简单，或者在使用时更简单，选择md、yaml方式描述结构化信息更合适。如果想要更结构化的方式，选择json、xml、ts，输出都能更有结构，甚至之后做结构校验都更方便。 +笔者认为不管哪种方式，都可以从两个方面考量：更简单，更结构。如果想要在开发的时候更简单，或者在使用时更简单，选择 md、yaml 方式描述结构化信息更合适。如果想要更结构化的方式，选择 json、xml、ts，输出都能更有结构，甚至之后做结构校验都更方便。 -想要LLM结构化输出更加稳定和理想，笔者认为选择prompt模板时必须考虑每个字段是否有足够的辅助信息。例如xml描述时，每个标签都有一个描述属性描述这个标签时什么意思。 +想要 LLM 结构化输出更加稳定和理想，笔者认为选择 prompt 模板时必须考虑每个字段是否有足够的辅助信息。例如 xml 描述时，每个标签都有一个描述属性描述这个标签时什么意思。 #### 额外引申 -笔者之前在开发LLM应用时，也曾思考类似的问题。笔者需要将多模态的数据进行结构化的标注，方便LLM去理解。但是标注成什么样却是一个很大的难题。笔者选择的是JSON。但是，关于里面许多内容的标注。笔者在众多方案中徘徊。在细节处深挖，如何设计一种既简单，又能表示各种结构复杂关系，还能够节约token的方案及其的难。 -> 关于后续如何解决，请容笔者卖个关子sai~ +笔者之前在开发 LLM 应用时，也曾思考类似的问题。笔者需要将多模态的数据进行结构化的标注，方便 LLM 去理解。但是标注成什么样却是一个很大的难题。笔者选择的是 JSON。但是，关于里面许多内容的标注。笔者在众多方案中徘徊。在细节处深挖，如何设计一种既简单，又能表示各种结构复杂关系，还能够节约 token 的方案及其的难。 +> 关于后续如何解决，请容笔者卖个关子 sai~ ### 位置信息 -是否有人注意到llm对于关键信息在prompt中的位置会对结果产生影响呢？在设计 prompt 方面，人们通常建议为语言模型提供详尽的任务描述和背景信息。近期的一些语言模型有能力输入较长的上下文，但它究竟能多好地利用更长的上下文？这一点却相对少有人知。近日，有学者研究发现如果上下文太长，语言模型会更关注其中的前后部分，中间部分却几乎被略过不看，导致模型难以找到放在输入上下文中部的相关信息。下文部分是该论文一些核心内容： +是否有人注意到 llm 对于关键信息在 prompt 中的位置会对结果产生影响呢？在设计 prompt 方面，人们通常建议为语言模型提供详尽的任务描述和背景信息。近期的一些语言模型有能力输入较长的上下文，但它究竟能多好地利用更长的上下文？这一点却相对少有人知。近日，有学者研究发现如果上下文太长，语言模型会更关注其中的前后部分，中间部分却几乎被略过不看，导致模型难以找到放在输入上下文中部的相关信息。下文部分是该论文一些核心内容：  这是由其本身训练和结构设计有关的，但却对于我们开发有着莫大的帮助和指导意义。  @@ -243,18 +243,19 @@ LLM 的可控性、稳定性、事实性、安全性等问题是推进企业级 ## 题外话 -之前，妙鸭相机突然爆火。其只需9.9即可生成同款数字分身，效果拔群。但是很多人发现，其生成的内容极其容易造成肖像权侵犯，这显然是有问题的。更有甚至的是，用户发现妙鸭相机的用户协议存在问题。根据该应用最初版本的用户服务协议，用户需授权妙鸭相机在全世界（包括元宇宙等虚拟空间）范围内享有永久的、不可撤销的、可转让的、可转授权的、免费的和非独家的许可，使得妙鸭相机可以任何形式、任何媒体或技术（无论现在已知或以后开发）使用用户的内容。对于上述内容，妙鸭相机称系“为了使我方能够提供、确保和改进本服务（包括但不限于使用AI生成内容作为再训练数据等）”。 +之前，妙鸭相机突然爆火。其只需 9.9 即可生成同款数字分身，效果拔群。但是很多人发现，其生成的内容极其容易造成肖像权侵犯，这显然是有问题的。更有甚至的是，用户发现妙鸭相机的用户协议存在问题。根据该应用最初版本的用户服务协议，用户需授权妙鸭相机在全世界（包括元宇宙等虚拟空间）范围内享有永久的、不可撤销的、可转让的、可转授权的、免费的和非独家的许可，使得妙鸭相机可以任何形式、任何媒体或技术（无论现在已知或以后开发）使用用户的内容。对于上述内容，妙鸭相机称系“为了使我方能够提供、确保和改进本服务（包括但不限于使用 AI 生成内容作为再训练数据等）”。 一句话理解，就是你的肖像它随便用，与你无关。 -这不禁让我联想到一部非常发人深省的剧作：《黑镜》。它的第六季第一集讲述的同样是隐私的问题。该集中，主人公的生活隐私由于同意了用户协议，被无时无刻搜集。然后当天晚上就发现流媒体电视上居然出现了跟她同名的电视剧，内容与它当天的生活一模一样，台词甚至更加夸张。于是她的不方便公之于众的生活变得一塌涂地，但她甚至没有办法打官司，因为肯定会输。更令人深省的是，电视剧的主人公是AI生成的视频，其肖像确是根据现实存在的明星生成的。那位明星也无法对她的肖像有任何权利。这样一个荒诞的故事，但是仔细想想，却又非常可能发生。 +这不禁让我联想到一部非常发人深省的剧作：《黑镜》。它的第六季第一集讲述的同样是隐私的问题。该集中，主人公的生活隐私由于同意了用户协议，被无时无刻搜集。然后当天晚上就发现流媒体电视上居然出现了跟她同名的电视剧，内容与它当天的生活一模一样，台词甚至更加夸张。于是她的不方便公之于众的生活变得一塌涂地，但她甚至没有办法打官司，因为肯定会输。更令人深省的是，电视剧的主人公是 AI 生成的视频，其肖像确是根据现实存在的明星生成的。那位明星也无法对她的肖像有任何权利。这样一个荒诞的故事，但是仔细想想，却又非常可能发生。 -如今的社会出现了各种大模型。大模型的发展必定需要大数据的支撑。企业为了盈利必定会想方设法的搜集数据，然后肆意使用，转卖。而很多用户对此不自知，更有甚至是非常乐意。例如抖音、B站，当你对其交互时，你希望它推荐更适合你的视频，它也在搜集你的数据，这是明知且主动的。 +如今的社会出现了各种大模型。大模型的发展必定需要大数据的支撑。企业为了盈利必定会想方设法的搜集数据，然后肆意使用，转卖。而很多用户对此不自知，更有甚至是非常乐意。例如抖音、B 站，当你对其交互时，你希望它推荐更适合你的视频，它也在搜集你的数据，这是明知且主动的。 -隐私的掠夺是无声的。你认为你的一下点击是没啥价值的隐私数据，殊不知这正中了资本家的下怀。几年前，我也是这样的。高中的大门出现了闸机，可以刷脸进校园。我当时以为这需要像手机解锁一样需要扫描人脸ID。结果发现，我可以直接进去，闸机上甚至会出现我的照片。我仔细看了看，发现是我入学的证件照。原来一张照片就能刷脸进校园。原来就连学校也可以不经同学同意，将照片用作其他用途。那更何况其他的呢。 +隐私的掠夺是无声的。你认为你的一下点击是没啥价值的隐私数据，殊不知这正中了资本家的下怀。几年前，我也是这样的。高中的大门出现了闸机，可以刷脸进校园。我当时以为这需要像手机解锁一样需要扫描人脸 ID。结果发现，我可以直接进去，闸机上甚至会出现我的照片。我仔细看了看，发现是我入学的证件照。原来一张照片就能刷脸进校园。原来就连学校也可以不经同学同意，将照片用作其他用途。那更何况其他的呢。 我想，未来，这样的隐私问题会越来越多。 ## 参考 +
diff --git a/4.人工智能/4.3人工智能导论及机器学习入门.md b/4.人工智能/4.3人工智能导论及机器学习入门.md
index 27299ac..18a1457 100644
--- a/4.人工智能/4.3人工智能导论及机器学习入门.md
+++ b/4.人工智能/4.3人工智能导论及机器学习入门.md
@@ -2,18 +2,16 @@
人工智能（Artificial Intelligence, AI）是机器，特别是计算机系统对人类智能过程的模拟。人工智能是一个愿景，目标就是让机器像我们人类一样思考与行动，能够代替我们人类去做各种各样的工作。人工智能研究的范围非常广，包括演绎、推理和解决问题、知识表示、学习、运动和控制、数据挖掘等众多领域。
-# 人工智能、机器学习与深度学习关系
+## 人工智能、机器学习与深度学习关系
人工智能是一个宏大的愿景，目标是让机器像我们人类一样思考和行动，既包括增强我们人类脑力也包括增强我们体力的研究领域。而学习只是实现人工智能的手段之一，并且，只是增强我们人类脑力的方法之一。所以，人工智能包含机器学习。机器学习又包含了深度学习，他们三者之间的关系见下图。
-# 如何学习本节内容
+## 如何学习本节内容
作者深知学习人工智能时面临许多繁碎数学知识，复杂数学公式的痛苦，因此，本节内容重在讲解核心概念和算法，略去了复杂的数学推导，尽可能以直觉的方式去理解，本文的数学知识，高中生足以掌握。阅读本节内容不需要人工智能基础，你可以直接从本节入门 AI。本节内容的算法、项目实现将使用 python 实现，需要掌握一定的 python 基础语法。当然如果你急于了解 AI，却又不会 python，没有关系，你可以选择跳过其中的编程部分，着眼于其中的概念、算法，程序语言是算法实现的工具，并非学习算法的必须品。
-# 学习建议
+## 学习建议
本节内容是作者根据[哈佛的 CS50AI 导论](https://cs50.harvard.edu/ai/2020/)以及 [Andrew Ng 的机器学习专项课程](https://www.coursera.org/specializations/machine-learning-introduction)简化编写，当然你可以直接学习这两门课程。本节内容的总学习时间应该是二到三个月，如果你在某个知识点上卡住了，你也许需要反复阅读讲义，必要时向身边人求助。
-
-# 目录
diff --git a/4.人工智能/4.4FAQ：常见问题.md b/4.人工智能/4.4FAQ：常见问题.md
index b0f600f..941c795 100644
--- a/4.人工智能/4.4FAQ：常见问题.md
+++ b/4.人工智能/4.4FAQ：常见问题.md
@@ -1,8 +1,8 @@
# FAQ：常见问题
-## 我是非计算机专业的，感觉AI很火，可以看这篇内容吗
+## 我是非计算机专业的，感觉 AI 很火，可以看这篇内容吗
-如果你不打算做相关研究的话，我觉得你最先应该考虑的是熟练掌握使用AI工具，本章内容更偏向于完善AI方面的知识体系架构
+如果你不打算做相关研究的话，我觉得你最先应该考虑的是熟练掌握使用 AI 工具，本章内容更偏向于完善 AI 方面的知识体系架构
## 我对AI/CV/NLP/blabla研究方向很感兴趣可以看这篇内容吗？
@@ -10,7 +10,7 @@
因此如果你想学某个知识体系，可以参考本章内容的路线，但是若你有足够强大的能力可以直接应对国外课程体系的困难，那么我非常推荐你去直接看英文内容
-因为我们在降低门槛的时候也一定程度上让各位损失了一定的训练，在概括的过程中，信息量被稀释了，抽象地描述也许更能让你get到一些思想性的内容
+因为我们在降低门槛的时候也一定程度上让各位损失了一定的训练，在概括的过程中，信息量被稀释了，抽象地描述也许更能让你 get 到一些思想性的内容
## 我数学不好可以学吗
@@ -30,11 +30,9 @@
你应该更多地依赖自己而不是学校
+## [如果不是相关领域可以找到这个领域工作吗](https://www.quora.com/How-do-I-get-a-job-in-Machine-Learning-as-a-software-programmer-who-self-studies-Machine-Learning-but-never-has-a-chance-to-use-it-at-work)
-
-# [如果不是相关领域可以找到这个领域工作吗](https://www.quora.com/How-do-I-get-a-job-in-Machine-Learning-as-a-software-programmer-who-self-studies-Machine-Learning-but-never-has-a-chance-to-use-it-at-work)
-
-> “我正在为团队招聘专家，但你的 MOOC 并没有给你带来工作学习机会。我大部分机器学习方向的硕士也并不会得到机会，因为他们（与大多数工作）上过 MOOC 的人一样）并没有深入地去理解。他们都无法帮助我的团队解决问题。” Ross C. Taylor
+> “我正在为团队招聘专家，但你的 MOOC 并没有给你带来工作学习机会。我大部分机器学习方向的硕士也并不会得到机会，因为他们（与大多数工作）上过 MOOC 的人一样）并没有深入地去理解。他们都无法帮助我的团队解决问题。”Ross C. Taylor
## 人工智能，深度学习，机器学习，数据分析，我该如何区分
diff --git a/4.人工智能/4.7图网络略述（intro&GCN）.md b/4.人工智能/4.7图网络略述（intro&GCN）.md
index 31f61c0..795df26 100644
--- a/4.人工智能/4.7图网络略述（intro&GCN）.md
+++ b/4.人工智能/4.7图网络略述（intro&GCN）.md
@@ -81,7 +81,7 @@ $
## ChebNet 及其思考
-ChebNet 的引入是当今神经网络大热门的开端，也是图卷积网络的基础。其思路为，使用切比雪夫多项式对卷积过程 K 阶拟合([参考](https://zhuanlan.zhihu.com/p/138420723))
+ChebNet 的引入是当今神经网络大热门的开端，也是图卷积网络的基础。其思路为，使用切比雪夫多项式对卷积过程 K 阶拟合 ([参考](https://zhuanlan.zhihu.com/p/138420723))
ChebNet 假设$g\theta$对$\Lambda$的滤波结果是原始特征值多项式函数，而网络的目的是抛弃原本通过矩阵相乘来对卷积结果进行求解，而通过参数学习来对结果进行表示，给出下式
@@ -96,7 +96,7 @@ $$
其中有切比雪夫多项式在矩阵上的表示，具体数学背景可以详细查看
$$
-T_0(L) = I\ T_1(L)=L\ T_{n+1}(L)=2LT_n(L) - T_{n-1}(L)
+T_0(L) = I\ T_1(L)=L\ T_{n+1}(L)=2LT_n(L) - T_{n-1}(L)
$$
有$\beta_k$为网络的待学习参数
@@ -114,9 +114,7 @@ $$
\mathbf{U}^\mathsf{T}x
\end{matrix}
$$
-
-，并对其中无关输入信号 $x$ 的部分进行改写
-
+并对其中无关输入信号 $x$ 的部分进行改写
$$
\mathbf{U}\begin{matrix}\sum_{k=0}^K
@@ -163,7 +161,6 @@ x
\end{matrix}
$$
-
作为 ChebNet 的卷积结构
其中值得注意的一点是，ChebNet 的 K 值限制了卷积核的多项式次数，但是这里的多项式次数描述了什么呢？其实就是卷积的“范围”，即单次卷积内最高可获得的 K 阶相邻节点信息。在 K=n 的时候，我们从理论上可以通过单次卷积，获取一张连通图上所有结点的信息，而这也是原方法难以计算的根本原因。
diff --git a/4.人工智能/4.8数据分析.md b/4.人工智能/4.8数据分析.md
index 317b4e1..772072c 100644
--- a/4.人工智能/4.8数据分析.md
+++ b/4.人工智能/4.8数据分析.md
@@ -1,12 +1,14 @@
# 数据科学
+
author:zzm
-# 本章内容会从一个小故事开始
+
+## 本章内容会从一个小故事开始
讲讲某个人在大一的悲惨经历来为大家串起来一个精简的数据科学工作包括了哪些步骤，同时给各位介绍一些优质的教程
同时，这章内容将详细阐述[与人合作的生死疲劳](../1.杭电生存指南/1.5小组作业避雷指南.md)
-# 悲惨世界
+## 悲惨世界
::: danger 若有雷同，纯属瞎编~~根据真实事件改编
@@ -15,35 +17,40 @@ author:zzm
请欣赏小故事的同时，根据自己的需求选择自己想学的教程
:::
-## Day1
+
+### Day1
你是一个可怜的大一学生，学校的短学期的第一天，你的心情非常好，因为要放寒假了，只要再坚持过这个短学期，你的快乐假期要来了！什么是短学期？不知道啊，也没听学长说过，好像是新研究出来的一个课程，去试试看吧。
-当你快乐的走进教室，老师告诉你：“你们看看PPT上的任务，自由选择啊！”
+当你快乐的走进教室，老师告诉你：“你们看看 PPT 上的任务，自由选择啊！”
-你看到PPT上赫然印着
+你看到 PPT 上赫然印着
::: tip 任务目标
-基础系统:
+基础系统：
+
1. 淘宝客户价值分析系统，实现爬取数据，数据处理，数据分析。
2. 二手房数据分析预测系统，实现爬取数据，数据分析，绘制图表。
3. 智能停车场运营分析系统，实现爬取数据，数据分析，绘制图表。
4. 影视作品分析系统，实现爬取数据，数据分析，绘制图表。
-升级系统:
+
+升级系统：
+
1. 利用爬虫理论，实现 12306 抢票小助手系统。
2. 利用数据分析方法，实现淘宝商品排行分析。
3. 利用爬虫原理，爬 Google 搜索引擎分析。”
要求实现三项以上的功能模块或三种以上的特征分析或提取。
+
:::
-心中一惊，暗道不妙，这都什么玩意，怎么还有爬谷歌，淘宝和抢12306的票啊，这tm不是犯法的么！这我要能做出来我还上什么大一的学啊！🥺🥺🥺🥺
+心中一惊，暗道不妙，这都什么玩意，怎么还有爬谷歌，淘宝和抢 12306 的票啊，这 tm 不是犯法的么！这我要能做出来我还上什么大一的学啊！🥺🥺🥺🥺
老师紧接着补充“十个人一组啊！一周内做完，数据自己想办法，第三天就要检查你们的进度了！”
-这是你倒是暗暗松了一口气，好像十个人一起干也没有那么复杂！😎（这时正是愚昧之峰，错误的认为工作总量就是工作量除以十）迅速的组好队之后，你问了问大伙的进度，what？大伙都没有python基础，只有我有？幸好学了hdu-wiki和datawhale的[聪明方法学python](https://github.com/datawhalechina/learn-python-the-smart-way)
+这是你倒是暗暗松了一口气，好像十个人一起干也没有那么复杂！😎（这时正是愚昧之峰，错误的认为工作总量就是工作量除以十）迅速的组好队之后，你问了问大伙的进度，what？大伙都没有 python 基础，只有我有？幸好学了 hdu-wiki 和 datawhale 的[聪明方法学 python](https://github.com/datawhalechina/learn-python-the-smart-way)
那就把教程分给大伙吧，我们选一个最简单的，二手房数据的分析系统好了！
-第一天选好题了，又是大下午的，摆了摆了，你开心的打开电脑，打开了steam，开摆！
+第一天选好题了，又是大下午的，摆了摆了，你开心的打开电脑，打开了 steam，开摆！
day 1 End!🤣
@@ -51,9 +58,9 @@ day 1 End!🤣
昨天真是美滋滋的一天，玩了一晚上的你有点头昏脑涨，今天就开始干活好了，反正一周时间呢，比期末复习周可长太多了，就做这么个玩意我还能做不出来吗？
-虽然你没有学过爬虫，但是你很幸运的找到了github上一个现成的爬虫代码，虽然费了一翻力气，但是仍然躲过了某房价网站的爬虫，他成功爬下来了，我们就把他存在哪里呢？~~（爬虫待补充）
+虽然你没有学过爬虫，但是你很幸运的找到了 github 上一个现成的爬虫代码，虽然费了一翻力气，但是仍然躲过了某房价网站的爬虫，他成功爬下来了，我们就把他存在哪里呢？~~（爬虫待补充）
-先试试excel好了，毕竟这是大家最耳熟能详的存表格的方法，但是你貌似没有深入了解过他，打开了datawhale的[free-excel](https://github.com/datawhalechina/free-excel)，你才惊讶的发现,wow，原来他有这么多牛逼的功能啊！它除了可以将房价统计，找到它的平均价格，算出他的最高价格之类以外，竟然也可以把他可视化！甚至它还可以对房价进行多元分析！根据房屋数量面积地段等等因素帮你预测房价，甚至可以自动帮你检索和去除重复数据，实在是太好用啦！
+先试试 excel 好了，毕竟这是大家最耳熟能详的存表格的方法，但是你貌似没有深入了解过他，打开了 datawhale 的[free-excel](https://github.com/datawhalechina/free-excel)，你才惊讶的发现，wow，原来他有这么多牛逼的功能啊！它除了可以将房价统计，找到它的平均价格，算出他的最高价格之类以外，竟然也可以把他可视化！甚至它还可以对房价进行多元分析！根据房屋数量面积地段等等因素帮你预测房价，甚至可以自动帮你检索和去除重复数据，实在是太好用啦！
当然，这只是一个理想状态，残酷的现实很快给你当头一棒！当你试着多爬点不同城市数据的时候，他崩了！这么脆弱的吗？！干点活就喊累的吗？！😨
@@ -61,22 +68,22 @@ day 1 End!🤣
之前好像看到有一个教程叫做[wonderful-sql](https://github.com/datawhalechina/wonderful-sql?from=from_parent_mindnote)
-他提到“随着社会的快速发展，各类企业数字化转型迫在眉睫，SQL 应用能力日趋重要。 在诸多领域中 SQL 应用广泛，数据分析、开发、测试、维护、产品经理等都有可能会用到SQL，而在学校里系统性讲授 SQL 的课程较少，但是面试及日常工作中却经常会涉及到 SQL。”
+他提到“随着社会的快速发展，各类企业数字化转型迫在眉睫，SQL 应用能力日趋重要。在诸多领域中 SQL 应用广泛，数据分析、开发、测试、维护、产品经理等都有可能会用到 SQL，而在学校里系统性讲授 SQL 的课程较少，但是面试及日常工作中却经常会涉及到 SQL。”
确实学校没有教过，但是幸好你有教程，折腾了一翻之后，你发现你对数据库有了更深的理解，他帮助了我们在容纳大量的多种不同的数据形式的时候不用专门去考虑怎么设计一个数据结构而是规划了一定的存储方法后全部塞给他，完全不用考虑具体的物理性的以及性能问题存储模式，并且他很多高级的功能可以帮助你便捷的把数据组织成一般情况下难以到达的形式，他的底层设计被严格的包装起来让你在进行数据增删改查的时候都又快又好。
-并且它可以非常方便的存一些excel不好存的所谓的非结构化的数据，比如说图像等等，并且他不会动不动就喊累！处理几十万条也是一下子！
+并且它可以非常方便的存一些 excel 不好存的所谓的非结构化的数据，比如说图像等等，并且他不会动不动就喊累！处理几十万条也是一下子！
-当然同时你也了解到，你所用的是关系型数据库，是老东西了，目前还有很多较为前沿的非关系型数据库，例如MongoDB(这玩意什么都能存，比如说地图)，Neo4j（像一张蜘蛛网一样的结构，图）等等，他们不用固定的表来存储，可以用图存或者键值对进行存储，听起来好像非常的高级，不过你暂时用不到，数据搞都搞下来了，量也够了，是时候看看队友做到哪了？说不定后面你都不用做了，已经做的够多够累的了！
+当然同时你也了解到，你所用的是关系型数据库，是老东西了，目前还有很多较为前沿的非关系型数据库，例如 MongoDB(这玩意什么都能存，比如说地图)，Neo4j（像一张蜘蛛网一样的结构，图）等等，他们不用固定的表来存储，可以用图存或者键值对进行存储，听起来好像非常的高级，不过你暂时用不到，数据搞都搞下来了，量也够了，是时候看看队友做到哪了？说不定后面你都不用做了，已经做的够多够累的了！
-什么？！刚开始学python?!woc!完蛋，你逐渐来到了绝望之谷，唉！明天继续做吧！看来休息不了了。
+什么？！刚开始学 python?!woc! 完蛋，你逐渐来到了绝望之谷，唉！明天继续做吧！看来休息不了了。
day 2 End 😔!
## Day 3
-God!No!昨天已经够累的了，今天老师还要讲课，还要早起！你期待着老师可以降低要求，可是当老师托起长音，讲起了他知道了学生的累，所以今天决定开始讲课了！（现在讲有毛用啊，你明天就要验收我们的进度了！）
+God!No! 昨天已经够累的了，今天老师还要讲课，还要早起！你期待着老师可以降低要求，可是当老师托起长音，讲起了他知道了学生的累，所以今天决定开始讲课了！（现在讲有毛用啊，你明天就要验收我们的进度了！）
-而他却慢悠悠的开始讲python的历史，把这点内容讲了足足两节课，你终于绷不住了，本来时间就不够，他竟然又浪费了你足足一早上的时间！这也太该死了！🤬
+而他却慢悠悠的开始讲 python 的历史，把这点内容讲了足足两节课，你终于绷不住了，本来时间就不够，他竟然又浪费了你足足一早上的时间！这也太该死了！🤬
你回到了寝室，准备今天争取数据分析完就直接交上去好了！
@@ -84,23 +91,25 @@ God!No!昨天已经够累的了，今天老师还要讲课，还要早起！你
这个野鸡房价网站每个城市的排版不一样，你爬虫爬取的完全是按照顺序标的，也就是说你爬取的所有房价信息处于混沌状态！完全就相当于给每个房子爬了一段句子的描述！
-没有办法了，看来今天有的折腾了，你找到了一个叫pandas（熊猫？）的东西，找到了这个教程[Joyful-Pandas](https://github.com/datawhalechina/joyful-pandas)，开始了一天的学习！
+没有办法了，看来今天有的折腾了，你找到了一个叫 pandas（熊猫？）的东西，找到了这个教程[Joyful-Pandas](https://github.com/datawhalechina/joyful-pandas)，开始了一天的学习！
-你了解到pandas是一个开源的Python数据处理库，提供了高性能、易用、灵活和丰富的数据结构，可以帮助用户轻松地完成数据处理、清洗、分析和建模等任务。你使用了DataFrame来装载二维表格对象。
+你了解到 pandas 是一个开源的 Python 数据处理库，提供了高性能、易用、灵活和丰富的数据结构，可以帮助用户轻松地完成数据处理、清洗、分析和建模等任务。你使用了 DataFrame 来装载二维表格对象。
-用一些关键词来提取数据中隐藏的信息，例如提取“平米”前面的数字放到‘area'列，提取房价到'price’列，提取位置到'locate'里面,当然你也遇到了可怕的bug，提取所有“室”和“厅”前面的数字，他总是告诉你有bug，全部输出之后才发现你提取到了“地下室”结果他没法识别到数字所以炸了！
+用一些关键词来提取数据中隐藏的信息，例如提取“平米”前面的数字放到‘area'列，提取房价到'price’列，提取位置到'locate'里面，当然你也遇到了可怕的 bug，提取所有“室”和“厅”前面的数字，他总是告诉你有 bug，全部输出之后才发现你提取到了“地下室”结果他没法识别到数字所以炸了！
将数据勉强弄得有序之后，你提取了平均数填充到缺失数据的房屋里面，将一些处理不了的删掉。
-当然，你也额外了解到pandas这只可爱的小熊猫还有非常多强大的功能，例如数据可视化，例如分类数据，甚至可以让房屋按照时序排列，但是你实在不想动了！
+当然，你也额外了解到 pandas 这只可爱的小熊猫还有非常多强大的功能，例如数据可视化，例如分类数据，甚至可以让房屋按照时序排列，但是你实在不想动了！
不论怎么说，你勉强有了一份看得过去的数据，你看了看表，已经晚上十一点半了，今天实在是身心俱疲！
-问问队友吧，什么，他们怎么还是在python语法？！你就像进了米奇不妙屋~队友在想你说“嘿~你呀瞅什么呢~是我！你爹~”
+问问队友吧，什么，他们怎么还是在 python 语法？！你就像进了米奇不妙屋~队友在说
-此时你像一头挨了锤的老驴，曾经的你有好多奢望，你想要GPA，想要老师的认同，甚至想要摸一摸水里忽明忽暗的🐟，可是一切都随着你的hadworking变成了泡影。
+~~“嘿~你呀瞅什么呢~是我！你爹~”~~
-可是步步逼近的截止日期不允许你有太多的emo期，说好的七天时间，最后一天就剩下展示了！也就是说实际上只有6天的开发时间，也就是说你必须得挑起大梁了
+此时你像一头挨了锤的老驴，曾经的你有好多奢望，你想要 GPA，想要老师的认同，甚至想要摸一摸水里忽明忽暗的🐠，可是一切都随着你的 hardworking 变成了泡影。
+
+可是步步逼近的截止日期不允许你有太多的 emo 时间，说好的七天时间，最后一天就剩下展示了！也就是说实际上只有 6 天的开发时间，也就是说你必须得挑起大梁了
> 世界上只有一种真正的英雄主义，那就是看清生活的真相之后，依然热爱生活
@@ -110,17 +119,17 @@ day 3 end!👿 👹 👺 🤡
## Day 4
-老师在验收的时候认为你什么工作也没做，他认为一份数据实在是太单薄了，特别是被你疯狂结构优化后的数据已经没几个特征了，让你去做点看得到的东西，不然就要让你不及格了，你的心里很难过，你想到也许你需要一些更好看的东西。数据可视化你在昨天的pandas看到过，可是你并没有详细了解，你觉得pandas已经在昨天把你狠狠的暴捶一顿了，并且老师想要更好看的图。
+老师在验收的时候认为你什么工作也没做，他认为一份数据实在是太单薄了，特别是被你疯狂结构优化后的数据已经没几个特征了，让你去做点看得到的东西，不然就要让你不及格了，你的心里很难过，你想到也许你需要一些更好看的东西。数据可视化你在昨天的 pandas 看到过，可是你并没有详细了解，你觉得 pandas 已经在昨天把你狠狠的暴捶一顿了，并且老师想要更好看的图。
-于是你考虑pandas配合Matplotlib画一些简单的图（Matplotlib的缺点是它的绘图语法比较繁琐，需要编写较多的代码才能得到漂亮的图形。）
+于是你考虑 pandas 配合 Matplotlib 画一些简单的图（Matplotlib 的缺点是它的绘图语法比较繁琐，需要编写较多的代码才能得到漂亮的图形。）
-加上Plotly绘制一些复杂的图，让你的图有着更漂亮的交互效果，然后加上看起来很牛逼的英语描述
+加上 Plotly 绘制一些复杂的图，让你的图有着更漂亮的交互效果，然后加上看起来很牛逼的英语描述
+你找到了下面的教程：
-你找到了下面的教程
-[matplotlib奇遇记文字教程](https://github.com/datawhalechina/fantastic-matplotlib)
+[matplotlib 奇遇记文字教程](https://github.com/datawhalechina/fantastic-matplotlib)
-[极好的Plotly文字教程：](https://github.com/datawhalechina/wow-plotly)
+[极好的 Plotly 文字教程：](https://github.com/datawhalechina/wow-plotly)
[视频教程](https://www.bilibili.com/video/BV1Df4y1A7aR)
🤗
@@ -128,7 +137,7 @@ day 3 end!👿 👹 👺 🤡
这时你认为你的任务已经完成了！于是早早就心满意足的早早睡着了🍻 🥂。最近真的太累了，天天一两点睡，早上惊醒，做梦都是在爬数据分析数据！太可怕了！
-在梦里，你好像看到了美好的假期时光。 😪
+在梦里，你好像看到了美好的假期时光。 😪
day 4 end!~🤤
@@ -138,7 +147,7 @@ day 4 end!~🤤
可是机票今晚就要起飞了啊！😰你已经要气疯了，想和老师据理力争，但是又害怕这么一个课被打上不及格的分数，这实在是太难受了！
-终归你还是在老师的逼迫下，改签了机票，好吧，多少得加点功能了！呜呜呜~🤢 🤮
+终归你还是在老师的逼迫下，改签了机票，好吧，多少得加点功能了！呜呜呜~🤢 🤮
可是你并不完全会机器学习的算法，可怜的大一本科生的你没有学信息论也没有学最优化理论，很多算法你完全不懂其理论知识！听说西瓜书很好，可是你在图书馆借到了西瓜书之后根本看不懂！
@@ -148,21 +157,21 @@ day 4 end!~🤤
你对着他啃了半天，觉得很多东西你都能看懂了，你脑子里已经有了很多思路，你想按使用高级的机器学习的算法！
-但是！时间还是太紧张了!你没有办法从头开始实现了！
+但是！时间还是太紧张了！你没有办法从头开始实现了！
-你想尝试[pytorch文字教程](https://github.com/datawhalechina/thorough-pytorch)，但是时间也不够让你去重整数据去训练了。你随便塞在线性层里的数据梯度直接爆炸，你这时候还不知道归一化的重要性，紧张之下把几万几十万的房价往里面塞，结果结果烂成💩了，并且你没有波如蝉翼的基础知识并不够让你去解决这些个bug，只能疯狂的瞎挑参数，可是结果往往不如人意~
+你想尝试[pytorch 文字教程](https://github.com/datawhalechina/thorough-pytorch)，但是时间也不够让你去重整数据去训练了。你随便塞在线性层里的数据梯度直接爆炸，你这时候还不知道归一化的重要性，紧张之下把几万几十万的房价往里面塞，结果结果烂成💩了，并且你那薄如蝉翼的基础知识并不够让你去解决这些个 bug，只能疯狂的瞎调参数，可是结果往往不如人意~
时间来到了晚上八点，明天就要最后验收了，走投无路的你把目光看向了远在几十千米外已经入职了的大哥，晚上跟他打电话哭诉你最近的遭遇，你实在搞不懂，为什么十二生肖大伙都属虎，就你属驴。
-大哥嘎嘎猛，连夜打车过来，我在因疫情封校的最后两个小时赶出了学校，和大哥一起租了个酒店，通宵奋战，他采取了更多更为优雅的特征工程和模型调参的方式，让模型优雅的收敛到了一定程度，再用春秋笔法进行汇总，在半夜两点半，终于将内容搞定了
+大哥嘎嘎猛，连夜打车过来，你在因疫情封校的最后两个小时跑出了学校，和大哥一起租了个酒店，通宵奋战，他采取了更多更为优雅的特征工程和模型调参的方式，让模型优雅的收敛到了一定程度，再用春秋笔法进行汇总，在半夜两点半，终于将内容搞定了😭
终于你可以睡个好觉了~
day 5 end!😍 🥰 😘
-## Day 6
+## Day 6
-验收日，老师端坐在底下，宛如一尊大佛，提出了一系列无关紧要的问题，比如问我们能不能拿这个程序给老年人查资料？？？
+验收日，老师端坐在底下，宛如一尊大佛，提出了一系列无关紧要的问题，比如问“我们能不能拿这个程序给老年人查资料？？？”
等等问题和技术一点关系都没有！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！
@@ -172,20 +181,19 @@ day 5 end!😍 🥰 😘
The End~~~~~~~~~~
-# 事后总结
+## 事后总结
-你在那个暑假详细了解和学习一下数据科学竞赛,发现他的含金量在职场领域有时候相当高，并且对提升自身的实力也有相当大的帮助！
+你在那个暑假详细了解和学习一下数据科学竞赛，发现他的含金量在职场领域有时候相当高，并且对提升自身的实力也有相当大的帮助！
-[数据竞赛Baseline & Topline分享](https://github.com/datawhalechina/competition-baseline)
+[数据竞赛 Baseline & Topline 分享](https://github.com/datawhalechina/competition-baseline)
-你还发现了之前从来没有注意到的kaggle平台以及一些很棒的综合实践项目！
+你还发现了之前从来没有注意到的 kaggle 平台以及一些很棒的综合实践项目！
例如[根据贷款申请人的数据信息预测其是否有违约的可能](https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl)
[根据汽车类型等信息预测二手汽车的交易价格](https://github.com/datawhalechina/team-learning-data-mining/tree/master/SecondHandCarPriceForecast)
-例如：[使用公开的arXiv论文完成对应的数据分析操作](https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends)
-
+例如：[使用公开的 arXiv 论文完成对应的数据分析操作](https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends)
想到如果你早做准备，没有荒废大一的时光，也许你不但能圆满的通过这次课程，也可以开辟更为广阔的新世界了吧~
@@ -195,14 +203,14 @@ The End~~~~~~~~~~
::: danger 再次警告，本章内容有很多瞎编的内容，不要全信
-比如说一天学完pandas,一天学完sql之类的都是很不现实的！希望大家注意！
+比如说一天学完 pandas，一天学完 sql 之类的都是很不现实的！希望大家注意！
当然你也可以在需要用的时候再研究，也来得及，就是很累
不要打击到大家的自信心！
:::
-# 补充内容：下个定义
+## 补充内容：下个定义
数据分析是独立于开发和算法岗的另一个方向，它主要是通过应用机器学习和深度学习的已有算法来分析现实问题的一个方向
@@ -210,11 +218,9 @@ The End~~~~~~~~~~
数据这门科学就像中西医混合的一门医学，既要有西医的理论、分析模型以及实验，又需要有中医的望闻问切这些个人经验。
-
> 这世界缺的真不是算法和技术，而是能用算法、技术解决实际问题的人
-
-# 什么是数据科学
+## 什么是数据科学
数据科学是当今计算机和互联网领域最热门的话题之一。直到今天，人们已经从应用程序和系统中收集了相当大量的数据，现在是分析它们的时候了。从数据中产生建议并创建对未来的预测。[在这个网站中](https://www.quora.com/Data-Science/What-is-data-science)，您可以找到对于数据科学的更为精确的定义。
@@ -222,6 +228,6 @@ The End~~~~~~~~~~
+
diff --git a/7.网络应用开发/7.1WEB开发入门.md b/7.网络应用开发/7.1WEB开发入门.md
index 8c41223..fef5b00 100644
--- a/7.网络应用开发/7.1WEB开发入门.md
+++ b/7.网络应用开发/7.1WEB开发入门.md
@@ -28,7 +28,7 @@
本文写于 2023 年 4 月，2023 年以来，AI（ChatGPT、Copilot、MidJourney）正在颠覆每个领域。可能在不远的将来，大部分的前后端开发，都能通过 AI 自动生成 99% 的代码，然后人工审核、校对、修改剩下的 1%。
-### 步入正题 - 何为前后端-通俗认识
+### 步入正题 - 何为前后端 - 通俗认识
前端
@@ -40,17 +40,17 @@
为什么有前端？因为光有后端是不行的哈哈哈。
-举个例子，网上有很多软件都可以修改支付宝上的「余额」，如果只有 APP 表面，即前端，那不是人均黑客，人均首付？
+举个例子，网上有很多软件都可以修改支付宝上的「余额」，如果只有 APP 表面，即前端，那不是人均黑客，人均首富？
-所以一个软件的关键数据，肯定不是存在用户侧（即前端）的。需要有这么一个东西，来存储数据（存储数据的地方叫数据库），来解析用户的请求，这就是后端。
+所以一个软件的关键数据，肯定不是在用户侧（即前端）的。需要有这么一个东西，来存储数据（存储数据的地方叫数据库），来解析用户的请求，这就是后端。
例子
举个详细的例子，购物软件上点了下单并支付，这时候前端就会发送一个网络请求，告诉后端：用户某某某，买了什么东西，价格和数量是多少，收货地址是多少。。。
-后端收到了信息，先解析，然后修改数据库中存储的关键信息，比如新建一个订单信息，把商品的数量-1 等等，再把下单的结果告诉给前端。前端收到信息后，就会渲染页面，提示「下单成功」！
+后端收到了信息，先解析，然后修改数据库中存储的关键信息，比如新建一个订单信息，把商品的数量 -1 等等，再把下单的结果告诉给前端。前端收到信息后，就会渲染页面，提示「下单成功」！
-### 深入 - 何为前后端-技术剖析
+### 深入 - 何为前后端 - 技术剖析
在了解了前后端的宏观概念后，我们继续来感受一下背后的技术细节吧！
@@ -59,9 +59,11 @@
干讲技术细节实在太无趣了，我们直接上手实战吧！
不要怕，我「实战」，你「感谢」就行！
+
::: warning 📌
假设我们要做一个「留言板」
:::
+
#### 2.3.1 明确需求
开发程序前（无论是自己独立开发、还是以后工作），一定要先明确需求。
@@ -83,7 +85,7 @@
比如控制留言的字体、大小、颜色，边框、动画、特效。
-要在不同的软件载体上「作画」，需要不同的编程语言/技术，比如网页需要 htlm+css，安卓 APP 需要 Android（Java），IOS 软件是 Swift。
+要在不同的软件载体上「作画」，需要不同的编程语言/技术，比如网页需要 html+css，安卓 APP 需要 Android（Java），IOS 软件是 Swift。
（拓展：还有一些技术能够做到跨平台，比如通过某种技术把浏览器包装成一个 APP，就能只出同时支持浏览器和 APP 的前端；比如创建新的第三方前端框架，能把程序员写的代码转换成原生的 IOS、安卓 APP）
diff --git a/9.计算机网络/9.1计网速通.md b/9.计算机网络/9.1计网速通.md
index e1dd721..ae02efa 100644
--- a/9.计算机网络/9.1计网速通.md
+++ b/9.计算机网络/9.1计网速通.md
@@ -1 +1,343 @@
# 9.1计网速通
+
+> Author: 柏喵樱
+>
+> copyright reserved
+
+计算机网络是一个非常复杂的系统。在这一章节中，系统的底层实现将被隐去，只留下暴露给用户的内容。
+
+这一章节为 Web 开发入门设计，用于速通 Web 开发和计网的交叉知识，故命名为 “计网速通”。
+
+## IP 地址与端口
+
+`1.1.1.1:80`
+
+如你所见，上面一串字符表示一个 IP 和端口，他的格式是 `IP:端口`
+
+IP 是一个由小数点分割成四段的序列，每段数字的取值为 $[0,255]$ , 在上面的示例中，IP是`1.1.1.1`
+
+而端口是一个数字，取值范围是$[0,65535]$ , 在上面的示例中，端口是`80`
+
+所有在互联网上的计算机都会被分配到一个IP，用于标识自己。
+
+现在先抛开具体的实现方式不提，给你一个既定的事实: 互联网能够将数据从一个IP地址传递到另一个任意的IP地址。
+
+现在你已经知道了怎样使用互联网传送数据，先不讨论怎么说，**理论上说只需要知道对方的IP，给他发数据就可以了**。
+
+### 那么端口是干什么用的呢？
+
+想象你的电脑上有很多的应用程序，他们都往互联网上同一个服务器发数据，互联网上的这个服务器也给他们回复数据。当接受到的所有的数据都到了操作系统手里，此时，操作系统如何知道，哪些个数据应该给哪些个应用程序？
+
+解决方案也很简单，给发出的数据打一个“标记”，这个标记就是端口（Port）。
+
+想象一个港口，里面有很多的码头，一个应用程序他可以接管一个码头，用于自己传输数据。
+
+我们可以从一些数据从 IP 地址 1.1.1.1 的 54321 号码头发送数据到 IP 地址 2.2.2.2 的 12345 号码头，同时在发送的数据上做标记，标记他来自什么地方的几号码头。回复数据的时候自然知道往什么地方回复了。
+
+上面的描述也就是
+
+`1.1.1.1:54321 -> 2.2.2.2:12345`
+
+即，将数据从1.1.1.1的54321端口发送到2.2.2.2的12345端口
+
+可以说这个数据包有以下属性
+
+- 源IP 1.1.1.1
+- 源端口 54321
+- 目的IP 2.2.2.2
+- 目的端口 12345
+
+## TCP 与 UDP
+
+TCP 和 UDP 两个协议的具体实现都是由操作系统提供的，应用程序发送TCP包和UDP包一般都是使用操作系统的API发送的，所以我们无需关系这两个协议的具体实现细节。
+
+下面通过表格对比两个协议来告诉大家如何选择去使用哪一个协议。
+
+||TCP|UDP|
+|---|---|---|
+|可靠性|有|无|
+|速度|慢|快|
+
+表格很小，但是最本质的区别就是这些了。
+
+TCP的最大特点就是**可靠交付**，他有一个ACK确认机制，简单来说就是对于发送的数据，如果没有收到对方的ACK确认收到，他会不断尝试重发，直到他认为无法送达。
+
+UDP和TCP虽然经常一起被提起，也确实属于互联网的同一个层，但从他们的复杂度看，他们并不是两个对等的协议。比起TCP有一套非常复杂的算法实现可靠交付流量控制等协议，UDP真的就是单纯发了一个数据包过去，然后什么也不管。
+
+不过不用担心，大家也没多少机会直接接触这两个协议，还是接触HTTP居多。如果真的需要做出选择，除非你知道你在做什么，选TCP。
+
+现在，你应该知道，虽然你不知道具体怎么做，但是从理论上说，你可以选择其中一种协议发送数据到另一台联网的计算机的某个端口上。
+
+如果此时这台计算机的某个应用程序在这个端口使用了正确的协议监听，这个程序他能够正确地获取到数据。两个程序之间的点对点（p2p）通信就这样建立了。
+
+## DNS
+
+DNS(Domain Name System) 域名系统
+
+目前我们已经能够和服务器建立起可靠的连接了，但这与我们日常所见的并不一样。
+
+对于日常使用，如果我要打开一个网页，我会选择使用比如`bilibili.com`这样的东西，这一串字符叫做**域名**
+
+域名的最直观用途是代替你记忆 IP 地址，当你访问 `bilibili.com` 这个网址的时候，一般首先会调用操作系统API，操作系统会代替你发送域名解析请求到 DNS 服务器，最后DNS服务器会返回给你域名对应的IP地址。
+
+其实你也可以拥有自己的域名这很简单。如果你要搭建你自己的网站，购买域名是逃不掉的，在国内的话还需要备案。
+
+
+
+如上图所示，一个域名有很多不同的解析类型，但是目前你只需要知道 A 记录是什么。
+
+A 记录是目前互联网上最主要的记录类型，他的记录值是一个 IPv4 地址（就是上述的IP，v4是版本号）。
+
+举个例子，域名`aaa.bbb.cn`做 A 解析到 `1.1.1.1`，我们需要设置:
+
+- 主机记录 aaa
+- 记录类型 A
+- 记录值 `1.1.1.1`
+- 其他默认
+
+此时如果你如果将这个域名作为网址使用，浏览器就会通过域名解析拿到 `1.1.1.1`，向 `1.1.1.1` 发送 HTTP 请求获取数据
+
+## HTTP
+
+
+HTTP 协议用于 WEB 服务器，一般多见于浏览器获取网页内容。浏览器会用 HTTP 协议发送 HTTP 请求到服务器，服务器处理 HTTP 请求并返回 HTTP 响应。很多的APP，小程序和电脑上的应用程序都在广泛地使用HTTP
+
+HTTP 协议有不少版本，现在互联网上最流行的是 HTTP/1.1 版本，浏览器一般最高支持 HTTP/2.0,最新版本是 HTTP/3.0,下面只讨论 HTTP/1.1
+
+HTTP 的底层是 TCP ，他基于此规定了一套文本格式，用于表达一些信息
+
+单纯说说是说不明白的，HTTP 报文分请求和响应两种格式，下面给出实例
+
+> 如果你有兴趣做 HTTP 抓包，推荐用 Yakit ，本人实习正在做这个产品，也欢迎反馈bug
+
+### 请求
+
+``` http
+POST /x/click-interface/web/heartbeat HTTP/1.1
+Host: api.bilibili.com
+Accept: application/json, text/plain, */*
+Accept-Encoding: gzip, deflate, br
+Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6
+Content-Length: 397
+Content-Type: application/x-www-form-urlencoded
+Cookie: balh_server_inner=__custom__;dy_spec_agreed=1; balh_is_closed=; PVID=1; i-wanna-go-back=-1; CURRENT_BLACKGAP=0; buvid_fp_plain=undefined; DedeUserID=74145050; DedeUserID__ckMd5=a31c4db0fb996454; blackside_state=0; b_nut=100;
+Origin: https://www.bilibili.com
+Referer: https://www.bilibili.com/video/BV1Kx4y1Z7xb/?vd_source=9ec246e4a5695e749fc2f84871669501
+Sec-Fetch-Dest: empty
+Sec-Fetch-Mode: cors
+Sec-Fetch-Site: same-site
+User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188
+sec-ch-ua: "Not/A)Brand";v="99", "Microsoft Edge";v="115", "Chromium";v="115"
+sec-ch-ua-mobile: ?0
+sec-ch-ua-platform: "Windows"
+
+start_ts=1690809334&mid=74145050&aid=998480789&cid=1195467370&type=3&sub_type=0&dt=2&play_type=4&realtime=27&played_time=27&real_played_time=35&refer_url=https%3A%2F%2Fmember.bilibili.com%2F&quality=0&video_duration=186&last_play_progress_time=27&max_play_progress_time=27&spmid=333.788.0.0&from_spmid=&extra=%7B%22player_version%22%3A%224.2.4-rc.2132.0%22%7D
+```
+
+所见即所得，除了部分敏感字段被隐去外，HTTP 报文在网络中传输时，就长这样
+
+#### 请求方法
+
+首先看到第一行
+
+`POST /x/click-interface/web/heartbeat HTTP/1.1`
+
+`POST`是请求方法，具体如何使用没有明确的规定，可以参考 Restful 风格，Restful 规定的请求方法有
+
+- GET
+- POST
+- PUT
+- DELETE
+
+分别对应查，增，改，删四个动作，这四个动作统称增删查改，英文 CRUD（Create Read Update Delete）
+
+其中，一般来说 GET 和 DELETE 两个请求方法是不带负载(后面有讲什么是负载)的，但这也不是硬性规定。
+
+如果你从浏览器地址栏打开一个网页，那么他首先会向对面服务器发送一个 GET 请求，而其他类型的请求往往是网页加载过程中js脚本向服务器获取数据所带来的的。
+
+#### 请求路径 HTTP版本号
+
+早期的 Web 服务器采用纯静态+文件目录结构，这其实相当于说暴露一个文件夹在互联网上，然后大家使用文件路径获取这个文件夹中的一个特定的文件。
+
+这个格式一直以来都得到了沿用，现代的路径早已经失去了这个固定意义，成为了一种分类和标识。
+
+请求路径可以带请求参数的，上面的例子没有展现出来，类似于
+
+`/shell?cmd=ls&a=b`
+
+这种写法只是一种所有人都遵循的格式，这样的路径带2个参数，第一个名字叫`cmd`，参数的值是`ls`，第二个名字叫`a`，参数的值是`b`。
+
+如果出现字符冲突，比如你需要一个参数值为`&`的参数，可以使用URL编码，写成`%26`，这是`%+16进制ascii码`的格式。
+
+这一行最后跟一个 HTTP 版本号
+
+#### 请求头（header）
+
+紧接着的是请求头，其固定格式为`Key: Value`
+
+一行一个请求头，不同的请求头有不用的用途，广泛认可的请求头有
+
+- Host 主机名,也就是域名，如果使用IP访问，这里会写成IP
+- Content-Type 表示 Payload 的内容格式
+- User-Agent 发 HTTP 包的人用的浏览器类型和版本号
+- Cookie 用于存储认证信息等，由服务器设置，浏览器每次请求都会携带
+
+别的可以暂时不知道
+
+请求头也可以自定义，如果你觉得有必要你可以添加你自己的请求头
+
+#### 负载（payload）
+
+上面的实例是一个 application/x-www-form-urlencoded 类型的 payload ，这由 Content-Type 规定。他的格式和请求参数是一致的。
+
+负载还有很多种不同的格式，比如 json，xml，form-data Web开发那一块应该会讲，这里就不提了。
+
+### 响应
+
+``` http
+HTTP/1.1 200 OK
+Access-Control-Allow-Credentials: true
+Access-Control-Allow-Headers: Origin,No-Cache,X-Requested-With,If-Modified-Since,Pragma,Last-Modified,Cache-Control,Expires,Content-Type,Access-Control-Allow-Credentials,DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Cache-Webcdn,x-bilibili-key-real-ip,x-backend-bili-real-ip,x-risk-header
+Access-Control-Allow-Origin: https://www.bilibili.com
+Access-Control-Expose-Headers: X-Bili-Gaia-Vvoucher
+Bili-Status-Code: 0
+Bili-Trace-Id: 014a52764364c7b4
+Connection: keep-alive
+Content-Type: application/json; charset=utf-8
+Cross-Origin-Resource-Policy: cross-origin
+Date: Mon, 31 Jul 2023 13:17:39 GMT
+X-Bili-Trace-Id: 369754a5d2179290014a52764364c7b4
+X-Cache-Webcdn: BYPASS from blzone03
+Content-Length: 51
+
+{
+ "code": 0,
+ "message": "0",
+ "ttl": 1
+}
+```
+
+#### 协议版本 响应状态码
+
+协议版本不提了
+
+响应状态码有很多种
+
+上面响应了 200 OK 这是最主要的一种对于请求成功的响应，其他常见的有
+
+- 500 服务器内部错误
+- 404 服务器找不到资源
+- 403 没权限
+- 301 永久跳转
+- 302 暂时跳转
+- 200 成功返回
+
+其中跳转类型会附带 Location 响应头，响应头的内容是要跳转到的地方
+
+#### 响应头
+
+格式和请求头保持一致
+
+在实例的响应头中可以看到很多由 Bilibili 自定义的响应头
+
+其他和请求头基本一致不做讲解
+
+#### 负载(payload)
+
+这是一个 json 格式的负载，具体参考 Web开发章节
+
+## TLS
+
+现在大多数的网址都会使用 HTTPS 协议而不是 HTTP，其区别在于，HTTP 是把上面提到的报文直接放在 TCP 里传输，此时如果有人抓包获取了你的报文，他是可以看到完整内容的。为了安全，TLS诞生了。
+
+HTTPS 的本质就是在将 HTTP 报文通过 TLS 进行发送，而不是直接通过TCP发送。
+
+TLS 建立在 TCP 的基础上，他会通过加密来确保传输过程中数据的安全。
+
+具体如何加解密在这里不讨论，比较复杂，这里只能指条路：服务器想要处理 TLS 握手构建安全传输，服务器需要证书和秘钥。这两个东西是由证书签发机构签发的，免费的证书签发机构最出名的是 Let’s Encrypt，签发证书最方便的脚本是 acme.sh。
+
+## 常用协议端口
+
+我们在打开一个网页的时候，是不是从来没有考虑过端口的问题？
+
+这是因为 HTTP/HTTPS 协议有个默认端口，分别是 80 和 443，不写就是默认端口
+
+下面给一个常用端口列表，随便记一下差不多了
+
+| 应用层协议 | 端口 | 传输层实现 |
+| ---------- | ---- | ---------- |
+| FTP | 21 | TCP |
+| SSH | 22 | TCP |
+| SMTP | 25 | TCP |
+| DNS | 53 | UDP |
+| HTTP | 80 | TCP |
+| POP3 | 110 | TCP |
+| HTTPS | 443 | TCP |
+| Mysql | 3306 | TCP |
+| RDP | 3389 | 默认UDP |
+| Redis | 6379 | TCP |
+
+## 公网与内网 --- 真实环境分析
+
+基本的内容介绍的差不多了，下面分析一个简单的网络案例，顺带介绍公网和内网的概念。
+
+相信在看这篇文章的大家都正在使用互联网，如果你正在使用windows设备，你可以先按 `win`+`R` ，输入 `cmd`，在弹出的窗口输入 `ipconfig` 你可以看到里面有一串类似于下文的内容：
+
+```
+无线局域网适配器 WLAN:
+
+ 连接特定的 DNS 后缀 . . . . . . . :
+ 本地链接 IPv6 地址. . . . . . . . : fe80::4835:c258:e07d:acc3%24
+ IPv4 地址 . . . . . . . . . . . . : 192.168.0.109
+ 子网掩码 . . . . . . . . . . . . : 255.255.255.0
+ 默认网关. . . . . . . . . . . . . : 192.168.0.1
+```
+
+IPv4 地址一栏有一个形似 `192.168.XXX.XXX`的地址，这是一个典型的内网地址，类似的还有很多，比如说
+
+- 192.168.0.0 - 192.168.255.255
+- 10.0.0.0 - 10.255.255.255
+- 172.16.0.0 - 172.31.255.255
+
+看到以上任意一个都是非常合情合理的，虽然还有其他内网地址，但是那些都比较冷门，可能一辈子碰不到，不用记忆。
+
+因此，除了上面列出的 IP 地址，请将他们一律视为公网地址，公网地址是独一无二的，绝对的，内网地址在不同的子网里可以重复使用，是相对的。
+
+此外下面还有子网掩码和默认网关，掩码会在后续的内容中介绍，现在知道你只需要知道：
+
+- 上面显示的 `IPv4 地址` 是你这台设备的 IP 地址
+- 家庭和寝室网络子网掩码默认 `255.255.255.0`
+- 默认网关是路由器在内网的 IP，你的设备需要路由器的帮助将数据包从内网转发到公网
+
+此刻你可能会有一个疑问，作为一台联网的计算机设备，我可以把数据发送到公网的服务器上，因为我知道他的公网IP，而且这是独一无二的，只要我联网，互联网上的路由设备会尽力帮我把数据送到地方。
+
+### 但是，返回的数据该怎么办？
+
+显然，对面不可能把数据包发给一个内网地址，他只有发给一个公网地址，互联网上的路由设备才知道他要去哪，才能帮他将数据送到地方。
+
+问题的答案很简单，我们的路由器，他通过 PPPoE 拨号的方式向运营商拿到了一个公网IP。他在把数据包转发到互联网上前，做了一个网络地址转换的操作，把数据包的源地址替换成了他的公网IP，再找了一个随机端口号，在那里将修改后的数据发送到公网，**这个转换的操作会被路由器记录**。
+
+这样，公网上的服务器在收到数据包后也能知道，这个包来自于哪个公网IP的哪个端口，回复的时候就知道发到什么地方了。
+
+路由器拿到公网上的服务器回复的数据包后，可以根据做网络地址转换时的记录，逆向推导出他应该将包发送到内网的哪台机器的哪个端口，就完成了数据的收发。
+
+绝大多数的家庭或者寝室网络都遵循着这个规则。
+
+### 那为什么要这么做呢？
+
+对于一般家庭网络，有两个简单的理由
+
+- 安全，只有你主动连接才能拿到回复，互联网上的设备无法主动访问你的设备
+- IPv4 不够用啦
+
+### 其他特殊IP地址
+
+- 127.0.0.1 本机，用于自己的设备给自己的设备另一个端口发送数据
+- 169.254.x.x 保留地址，向路由器获取内网地址前会临时使用这个地址，如果你发现你的电脑正在使用这个地址，路由器可能坏了
+- 198.18.x.x 保留地址，但是有些软件会使用这个地址来实现透明代理（tun）
+
+好，我们的计网速通章节，到此结束，这些计算机网络知识应该足够你做简单的 Web 开发了
+
+## 参考资料
+
+- HTTP 教程
diff --git a/9.计算机网络/9.2.3.1IP协议.md b/9.计算机网络/9.2.3.1IP协议.md
new file mode 100644
index 0000000..85b2c8b
--- /dev/null
+++ b/9.计算机网络/9.2.3.1IP协议.md
@@ -0,0 +1,185 @@
+# IP协议
+
+> Author: 柏喵樱
+>
+> copyright reserved
+
+## IP 协议数据包结构
+
+IP 协议是网络层最主要的协议，几乎所有的上层数据包都需要IP协议的承载，我们网络层的第一块内容将从 IP 协议讲起。
+
+下图展示了 IP 协议的报文头部格式，这张图每行代表 32 个 bit，也就是 4 个字节（byte）。如果不计算 Options 这种可选项的话，IP 协议的报头长度为 20 个字节。
+
+在头部的后面，会携带负载（payload），这个词可能略显晦涩，但实际上就是我们需要发送的数据。
+
+
+
+ 
+
@@ -26,7 +29,7 @@
+ 0 1 2 3 + 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 ++-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ +|Version| IHL |Type of Service| Total Length | ++-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ +| Identification |Flags| Fragment Offset | ++-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ +| Time to Live | Protocol | Header Checksum | ++-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ +| Source Address | ++-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ +| Destination Address | ++-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ +| Options | Padding | ++-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ + Example Internet Datagram Header ++## 版本 + +第一个字段是IP协议版本号，用于标识IPv4和IPv6两个版本，这两个版本的报文格式是不同的。上图展示的是 IPv4 的报文格式 + +## IHL（Internet Header Length） + +就是IP协议的头部部分的长度，单位是 4byte，由于 IP 头一般长度为 20byte，所以这个值一般为 5。如果存在Options字段，这个值会相应增加。 + +## Type of Service + +服务类型，标记服务类型最初是为了对不同服务的数据包做不同的转发策略，比如说哪些数据包应该被优先转发，应该更注重转发延时还是更注重吞吐量一类的问题，除非到运营商层面一般接触不太到。 + +## 数据包总长度 + +Total Length 很好理解就是包括 IP 头在内的 IP 报文的总长度，报文长度上限就是 MTU。 + +## Identification & Flags & Fragment Offset + +这三个字段放在一起讲，他们都是用于控制分片的。 + +我们的 MTU 他一般是 1500，去除 20 bytes 的头部他还能够携带 1480 bytes 的数据，但是现实中的负载很容易就能够超出这个大小，这时候就需要将内容切片分块发送。 + +切片时，会切出许多 1480 bytes 的切片，和剩下的不足 1480 bytes 的部分。对于以上的所有切片，都会给他们加一个自己的 IP 头。这些 IP 头有一个共同点，就是他们具有一个相同的 Identification 用于识别（identify）他们原先是一块的。 + +现在还存在两个问题， + +1. 服务器接收到一个分片后，不知道要不要继续接收 +2. 分片很有可能乱序抵达，服务器不知道分片的顺序 + +对于第二个问题，引入了 Fragment Offset（分片偏移量），他的单位是 byte，用于标识这一个分片的数据，是从原来超长负载的哪个位置开始的。比如对于一个长度为 5000 bytes 的负载，他的几个分片的 Fragment Offset 依次为 0,1480,2960,4440。在收到数据后，服务器只需要按照这个字段重新组装即可。 + +对于第一个问题，引入了 Flags（标志位）, Flags 里有三个 Flag，其中最后一位的意义是“后面还有更多分片“，这就相当于告诉服务器，你要继续等待接收其他分片。而当最后的分片抵达时，服务器在知道这是最后的分片的同时，他也能从这个分片的 Fragment Offset里得知前面应该有多少数据，如果缺失，服务器也能继续等待接收。 + +关于Flags的其他两位，最高位是目前保留不使用，永远为0。后面那位的意义是不要分片，这一般是不设置的，他这句话是对传输过程中的路由设备讲的，因为如果途径 MTU 低于当前包长度的链路可能会进行二次分片。如果设置了这个 Flag，转发时再碰到 MTU 低的链路这种包会被直接丢弃同时返回一个 ICMP 包告诉源IP地址的设备发生了什么。 + +## TTL(Time To Live) + +TTL 是一个unsigned int，代表数据包的剩余生存时间，指的是数据包在互联网中还能转发多少时间，单位是秒。 + +虽然单位是秒，但是一般情况下转发耗时是远远低于一秒的，根据 IP 协议的规定，无论转发耗时多少，TTL 应当至少 -1，所以在实践中 TTL 往往指的是转发了几次。 + +一般发往互联网的数据包初始 TTL 为 64 或 128，你可以试试 ping 命令，他会显示一个TTL，这是对面服务器回复的包到自己的设备的时候的 TTL。 + +```powershell +PS C:\Users\bs> ping baidu.com + +正在 Ping baidu.com [39.156.66.10] 具有 32 字节的数据: +来自 39.156.66.10 的回复: 字节=32 时间=43ms TTL=47 +来自 39.156.66.10 的回复: 字节=32 时间=144ms TTL=47 +来自 39.156.66.10 的回复: 字节=32 时间=43ms TTL=47 +来自 39.156.66.10 的回复: 字节=32 时间=42ms TTL=47 + +39.156.66.10 的 Ping 统计信息: + 数据包: 已发送 = 4，已接收 = 4，丢失 = 0 (0% 丢失)， +往返行程的估计时间(以毫秒为单位): + 最短 = 42ms，最长 = 144ms，平均 = 68ms +``` + +TTL 减少到 0 的时候，这个数据包会被丢弃，所以如果互联网中出现路由配置错误，以至于产生了一个环，TTL 能够帮助数据包及时停止转发，避免事故扩大最终导致网络设施瘫痪。 + +当路由设备由于 TTL 为 0，而丢弃这个数据包的时候，路由设备还会向源 IP 回复一个 `TTL超时`的 ICMP 报文 + +```powershell +PS C:\Users\bs> ping baidu.com -i 2 + +正在 Ping baidu.com [39.156.66.10] 具有 32 字节的数据: +来自 192.168.1.1 的回复: TTL 传输中过期。 +来自 192.168.1.1 的回复: TTL 传输中过期。 +来自 192.168.1.1 的回复: TTL 传输中过期。 +来自 192.168.1.1 的回复: TTL 传输中过期。 + +39.156.66.10 的 Ping 统计信息: + 数据包: 已发送 = 4，已接收 = 4，丢失 = 0 (0% 丢失)， +``` + +traceroute 就是利用这个性质来实现的，通过从 0 开始遍历 TTL 的方式，可以拿到转发过程中的所有路由器的 ICMP 回复，从这些回复中可以读取到这些路由器的 IP。 + +当然 traceroute 不是万能的，真实互联网中广泛存在拦截，不响应 ，改写等等行为，会导致 traceroute 产生丢失或者藏跳等等比较迷惑的结果。 + +```powershell +PS C:\Users\bs> TRACERT.EXE bilibili.com + +通过最多 30 个跃点跟踪 +到 bilibili.com [8.134.50.24] 的路由: + + 1 8 ms 13 ms 2 ms 192.168.0.1 [192.168.0.1] + 2 1 ms 1 ms 2 ms 192.168.1.1 [192.168.1.1] + 3 8 ms 8 ms * 100.66.0.1 + 4 * * * 请求超时。 + 5 * * * 请求超时。 + 6 * * * 请求超时。 + 7 * * * 请求超时。 + 8 * * 8 ms 61.139.121.77 + 9 * * * 请求超时。 + 10 78 ms * * 113.96.5.134 + 11 * 83 ms 43 ms 121.14.50.241 + 12 45 ms 42 ms 41 ms 121.14.24.82 + 13 * * * 请求超时。 + 14 * * * 请求超时。 + 15 * * * 请求超时。 + 16 * * * 请求超时。 + 17 42 ms 50 ms 40 ms 8.134.50.24 + +跟踪完成。 +``` + +上面就是一个真实案例，有很多路由设备在丢弃数据包时并没有给出 ICMP 回复。 + +## 协议 + +协议（Protocol）指的是负载中的数据所使用的协议。这就很广泛了，比如 + +- TCP + +- UDP + +- ICMP + +- Telnet + +- OSPF + +具体可以参考 [List of IP protocol numbers - Wikipedia](https://en.wikipedia.org/wiki/List_of_IP_protocol_numbers) + +## 头部校验和 + +头部校验和（Header Checksum）用于检验传输的数据是否出错，一旦出错直接丢弃。 + +在计算头部的校验和的时候，头部校验和这个字段会被置零，再使用特定算法计算得到校验和，填写到这个位置。 + +这个校验和算法比较简单，就是头部以 16 bits 为单位，取补码再求和 + +注意，由于 TTL 在每次转发中都会改变，所以实际上，每次转发都会重新计算校验和。 + + +## IP地址 + +正如上图的 `Source Address` 和 `Destination Address` 字段所展示的一样，一个 IP 地址占用 4 byte 的存储空间。在书面的写法上，我们用 `.` 将每一个 byte 分割开，例如 `1.1.1.1` 这样更便于人类处理和分类。 + +有一些 IP 地址被用作特殊用途，除了这些 IP 地址外的地址都是公网 IP，一个公网 IP 在整个互联网范围内按照规范来说，只能由一台网络设备占有（也有例外，anycast）。但互联网是复杂的，也有人占用这些地址作为自己的内网地址（例如 tr069），这个由网络运维人员自行分析情景把握。 + +网络地址的分类需要更多的前置知识，我们后续再介绍。 + +## 可选项 + +可选参数（Options）比较繁琐，一般没啥用，有兴趣的可以看看下面参考资料中 RFC 791 对此的描述。 + + +## 参考资料 + +- [RFC 791 - Internet Protocol (ietf.org)](https://datatracker.ietf.org/doc/html/rfc791) +- [Reserved IP addresses - Wikipedia](https://en.wikipedia.org/wiki/Reserved_IP_addresses) +- [List of IP protocol numbers - Wikipedia](https://en.wikipedia.org/wiki/List_of_IP_protocol_numbers) \ No newline at end of file diff --git a/9.计算机网络/9.2.3网络层.md b/9.计算机网络/9.2.3网络层.md new file mode 100644 index 0000000..c74875a --- /dev/null +++ b/9.计算机网络/9.2.3网络层.md @@ -0,0 +1,18 @@ +# 9.2.3 网络层 + +> Author: 柏喵樱 +> +> copyright reserved + +本章节是网络层的开篇章节，我们先做两个约定： + +- 没有提及IP协议版本，都是IPv4（ IPv6 会单独介绍不详细展开） + +- 路由表已经配置好了，给IP地址就能发到正确的地方（路由技术参照“路由与交换”章节） + +以上两个约定适用于所有网络层章节。 + +在链路层我们已经实现了两个直接相连的设备之间的数据收发，也可以在总线类型的网络上完成数据手法，更成熟一点，可以借助交换机来构建一个具有一定规模的中心化网络。 + +但中心化是有极限的，这必然无法承载这个整个互联网，因此，我们需要再往上一层，定义一个新的概念，IP 地址，并完成实现数据包的转发操作，将互联网推向去中心化。 + diff --git a/9.计算机网络/9.2计网基础.md b/9.计算机网络/9.2计网基础.md deleted file mode 100644 index 9d9eb05..0000000 --- a/9.计算机网络/9.2计网基础.md +++ /dev/null @@ -1 +0,0 @@ -# 9.2计网基础 diff --git a/9.计算机网络/9.计算机网络.md b/9.计算机网络/9.计算机网络.md index dec12a1..a0586c9 100644 --- a/9.计算机网络/9.计算机网络.md +++ b/9.计算机网络/9.计算机网络.md @@ -95,7 +95,7 @@ 链路层 ---> 数据帧/MAC/CRC 链路层 ---> PPP 链路层 ---> ARP - 网络层 ---> IP地址 + 网络层 ---> IP 协议 网络层 ---> 子网/掩码/CIDR 网络层 ---> IPv6概述 传输层 ---> 端口 diff --git a/9.计算机网络/static/dnspod-domain.png b/9.计算机网络/static/dnspod-domain.png new file mode 100644 index 0000000..a53c11f Binary files /dev/null and b/9.计算机网络/static/dnspod-domain.png differ diff --git a/README.md b/README.md index 6d2d40e..e362e7a 100644 --- a/README.md +++ b/README.md @@ -18,6 +18,9 @@
@@ -26,7 +29,7 @@
喜欢本项目可以点击右上角 star 收藏哦🎇
- 📚在线阅读（美国、AWS节点） + 📚在线阅读（美国加利福尼亚、Vercel节点） 🎉【推荐】📚在线阅读（中国腾讯云CDN节点）
diff --git a/index.md b/index.md index 7ccca79..17b6aff 100644 --- a/index.md +++ b/index.md @@ -26,6 +26,43 @@ features: details: 给你学习大学理应掌握的编程思维，构建合理的编程思维方式！当然，未完待续，很多内容仍在测试阶段。 - title: 🤣what's more? details: 还有非常多的内容尚未更新完毕，我们期待着你的反馈和加入！ ---- - +head: + - - meta + - name: description + content: HDU计算机科学讲义 + - - meta + - property: 'og:url' + content: https://hdu-cs.wiki/ + - - meta + - property: 'og:type' + content: wiki + - - meta + - property: 'og:title' + content: HDU-CS-WIKI | HDU-CS-WIKI + - - meta + - property: 'og:description' + content: HDU计算机科学讲义 + - - meta + - property: 'og:image' + content: https://cdn.xyxsw.site/og-img.png + - - meta + - name: twitter:card + content: summary_large_image + - - meta + - property: 'twitter:domain' + content: hdu-cs.wiki + - - meta + - property: 'twitter:url' + content: https://hdu-cs.wiki/ + - - meta + - name: twitter:title + content: HDU-CS-WIKI | HDU-CS-WIKI + - - meta + - name: twitter:description + content: HDU计算机科学讲义 + - - meta + - name: twitter:image + content: https://cdn.xyxsw.site/og-img.png + +--- diff --git a/package-lock.json b/package-lock.json index c998e1b..4af0aeb 100644 --- a/package-lock.json +++ b/package-lock.json @@ -9,6 +9,7 @@ "@codemirror/lang-sql": "^6.5.2", "@jupyterlab/mathjax2": "^3.6.5", "@jupyterlab/theme-light-extension": "^4.0.3", + "@vercel/analytics": "^1.0.1", "@vueuse/core": "^10.3.0", "markdown-it": "^13.0.1", "markdown-it-pangu": "^1.0.2", @@ -1399,6 +1400,11 @@ "resolved": "https://registry.npmmirror.com/@types/web-bluetooth/-/web-bluetooth-0.0.17.tgz", "integrity": "sha512-4p9vcSmxAayx72yn70joFoL44c9MO/0+iVEBIQXe3v2h2SiAsEIo/G5v6ObFWvNKRFjbrVadNf9LqEEZeQPzdA==" }, + "node_modules/@vercel/analytics": { + "version": "1.0.1", + "resolved": "https://registry.npmmirror.com/@vercel/analytics/-/analytics-1.0.1.tgz", + "integrity": "sha512-Ux0c9qUfkcPqng3vrR0GTrlQdqNJ2JREn/2ydrVuKwM3RtMfF2mWX31Ijqo1opSjNAq6rK76PwtANw6kl6TAow==" + }, "node_modules/@vitejs/plugin-vue": { "version": "4.2.3", "resolved": "https://repo.huaweicloud.com/repository/npm/@vitejs/plugin-vue/-/plugin-vue-4.2.3.tgz", @@ -5260,6 +5266,11 @@ "resolved": "https://registry.npmmirror.com/@types/web-bluetooth/-/web-bluetooth-0.0.17.tgz", "integrity": "sha512-4p9vcSmxAayx72yn70joFoL44c9MO/0+iVEBIQXe3v2h2SiAsEIo/G5v6ObFWvNKRFjbrVadNf9LqEEZeQPzdA==" }, + "@vercel/analytics": { + "version": "1.0.1", + "resolved": "https://registry.npmmirror.com/@vercel/analytics/-/analytics-1.0.1.tgz", + "integrity": "sha512-Ux0c9qUfkcPqng3vrR0GTrlQdqNJ2JREn/2ydrVuKwM3RtMfF2mWX31Ijqo1opSjNAq6rK76PwtANw6kl6TAow==" + }, "@vitejs/plugin-vue": { "version": "4.2.3", "resolved": "https://repo.huaweicloud.com/repository/npm/@vitejs/plugin-vue/-/plugin-vue-4.2.3.tgz", diff --git a/package.json b/package.json index ce45cf7..f15e6f9 100644 --- a/package.json +++ b/package.json @@ -9,6 +9,7 @@ "@codemirror/lang-sql": "^6.5.2", "@jupyterlab/mathjax2": "^3.6.5", "@jupyterlab/theme-light-extension": "^4.0.3", + "@vercel/analytics": "^1.0.1", "@vueuse/core": "^10.3.0", "markdown-it": "^13.0.1", "markdown-it-pangu": "^1.0.2",