CS336 Lecture Notes 8
本节课程关注如何从预训练模型(如GPT-3)过渡到指令跟随模型(如InstructGPT)。预训练数据并不完全符合我们的需求,因此需要收集符合期望行为的数据来训练模型。核心问题包括:
解读 Megatron-LM 中的 SKILL.md
Agent Skills 是一种可复用的专业技能模块。每个 Skill 封装了特定领域的知识和操作流程,可以让 AI 更高效地处理某些类型的任务。 如果需要更多关于 Agent Skills 的知识,可以查看最近AI领域爆火的 Agent Skills 是什么?
图解 LeetCode Hot 100 中的双指针问题
给定一个数组 nums,编写一个函数将所有 0 移动到数组的末尾,同时保持非零元素的相对顺序。
有趣的 ud2 指令
忘了写 return 是大多数程序员经常犯的问题。在老版本的编译器下,程序运行时可能不会报任何错误;但在新版本的编译器中,编译器可能会插入 ud2 指令——当程序执行到这个指令时会立即触发异常并终止。
CUDA 算子优化:Reduce 类
Sum 是最基础的规约操作,将数组中所有元素累加求和。许多其他规约操作(如 max、min、mean)都可以复用 sum 优化的核心技巧。
CUDA-GDB 入门与原理剖析
这里使用官方文档中的 bitreverse 示例演示 CUDA-GDB 的使用方法。 该程序对数据集执行简单的 8 位数据反转操作。
Python AST 插桩技巧
现在有一些基于对 python 代码进行 AST 插桩的工作, 比如 TrainCheck。 这篇博客主要介绍如何对 Python 进行 AST 插桩。
数据结构: 并查集
并查集 (Disjoint Sets) 是一种用于高效管理不相交集合的数据结构,常用于处理动态连通性问题,例如判断两个元素是否属于同一集合、合并集合等。
算法: 图论 (1)
图论 (Graph Theory) 是数学和计算机科学中的一个重要分支, 主要研究 图(Graph) 这种数学结构。
Profile Image of the Author
Ming
你是来找 Ming 学习的吗
🎉 欢迎来到 Ming 的博客
这里是我的个人博客,分享 AI Infra、LLM 等技术内容。欢迎关注交流!
分类
标签
站点统计
文章
19
分类
6
标签
12
总字数
69,591
运行时长
0
最后活动
0 天前

目录