Pixiv - おむたつ/omutatsu
CS336 Lecture Notes 8
本节课程关注如何从预训练模型(如GPT-3)过渡到指令跟随模型(如InstructGPT)。预训练数据并不完全符合我们的需求,因此需要收集符合期望行为的数据来训练模型。核心问题包括:
解读 Megatron-LM 中的 SKILL.md
Agent Skills 是一种可复用的专业技能模块。每个 Skill 封装了特定领域的知识和操作流程,可以让 AI 更高效地处理某些类型的任务。
如果需要更多关于 Agent Skills 的知识,可以查看最近AI领域爆火的 Agent Skills 是什么?
有趣的 ud2 指令
忘了写 return 是大多数程序员经常犯的问题。在老版本的编译器下,程序运行时可能不会报任何错误;但在新版本的编译器中,编译器可能会插入 ud2 指令——当程序执行到这个指令时会立即触发异常并终止。
Python AST 插桩技巧
现在有一些基于对 python 代码进行 AST 插桩的工作, 比如 TrainCheck。
这篇博客主要介绍如何对 Python 进行 AST 插桩。