LLM-Wiki是基于Karpathy llm-wiki方法论的个人知识库构建系统,支持网页、推特、公众号、小红书、知乎、YouTube、PDF和本地文件等多种素材源,自动整理为结构化的wiki。该系统让AI持续构建和维护知识库,知识被编译一次后持续维护而非每次重新推导,适用于研究人员和知识工作者的长期知识积累。
LLM-Wiki个人知识库:多源素材自动整理与持续维护
【适用场景】
- 知识库初始化:从零开始构建个人知识库 - 多源素材消化:将网页、PDF、公众号文章等内容消化为wiki知识 - 知识查询:在已有知识库中查询和检索信息 - 知识库健康检查:检查知识库的完整性和一致性 - 持续知识积累:随着每次使用让知识库变得越来越丰富
【操作步骤】
第一步:初始化知识库
告诉用户执行以下步骤:
```bash mkdir my-wiki && cd my-wiki git init git remote add origin <your-repo-url> ```
然后说「初始化完成,知识库已就绪」告知用户可以开始添加素材。
第二步:添加素材
用户可以提供:
- 链接:网页、YouTube视频、知乎文章等 - 文件:PDF、Markdown、本地文档 - 文本:直接粘贴的内容
说「帮我消化这篇」,AI自动提取核心知识并整理成互相链接的wiki页面。
第三步:知识整理
AI自动将素材整理为:
- 互相链接的wiki页面:每个知识点都与其他相关页面链接 - 结构化格式:使用Markdown格式,易于阅读和编辑 - 元数据标注:来源、日期、标签等信息
第四步:知识查询
用户可以用自然语言查询知识库:
- 「查一下关于XX的知识」 - 「有哪些关于YY的内容」 - 「XX和YY之间有什么关系」
第五步:健康检查
定期执行知识库健康检查:
- 检查知识完整性 - 检查链接有效性 - 检查内容一致性
【核心理念】
传统方式(RAG/聊天记录)的问题:每次问问题,AI都要从头阅读原始文件,没有积累。
知识库的价值:知识被编译一次,然后持续维护,而不是每次重新推导。
【代码模板】
初始化脚本
```bash mkdir my-wiki && cd my-wiki git init git remote add origin <your-repo-url>
添加 SKILL.md 到 wiki 目录
cp <skill-path>/SKILL.md . ```添加素材流程
1. 用户提供素材(链接/文件/文本) 2. AI提取核心知识 3. 整理为wiki格式 4. 保存到wiki目录 5. 提交到git仓库
【复盘要点】
常见问题
1. 触发条件判断:用户只是要求「总结这篇文章」时不触发,必须是明确的知识库相关意图 2. 素材来源选择:根据素材类型选择合适的处理方式 3. 知识整理质量:确保提取的知识准确、完整、有用
支持的素材类型
| 类型 | 处理方式 |
|---|---|
| 网页 | 自动抓取并提取内容 |
| 解析文本并提取知识 | |
| 公众号 | 提取图文内容 |
| YouTube | 提取字幕和摘要 |
| 本地文件 | 读取并处理 |
质量检验清单
- [ ] 知识库已初始化并连接git仓库 - [ ] 素材成功消化并保存 - [ ] Wiki页面互相链接 - [ ] 查询结果准确返回 - [ ] 健康检查通过
来源:GitHub https://github.com/sdyckjq-lab/llm-wiki-skill/blob/main/SKILL.md