使用机器学习从解释性文本中生成优质的间隔重复卡片

一个颇具挑战的问题。一些相关笔记：

• GPT-4 在指导下，通常能够从解释性文本中为陈述性知识生成可用的间隔重复卡片 ^[1]
• 对于卡片生成任务，选择要强化的目标概念，和为这些目标概念编写卡片，是两个独立的问题 ^[2]
• 将卡片生成任务定义为强化目标的过滤问题 ^[3]
• 对于卡片生成任务，如果提供了编写卡片的原则，大型语言模型（LLM）的表现可能会有所提升 ^[4]
• 对于卡片生成任务，大型语言模型（LLM）经常需要额外的提示来确定需要强化何种角度 ^[5]
• 对于卡片生成任务，如果提供了充足的上下文，大型语言模型（LLM）可能会表现得更好 ^[6]
• 对于卡片生成任务，大型语言模型（LLM）缺乏为复杂概念材料编写卡片的模式 ^[7]
• LLM 可以完成的一些更简单的子任务：
• GPT-3 能够产生间隔重复记忆卡片问题的简单变体
• GPT-3 可以基于填空卡生成问答卡
• GPT-4 或许可以判断两张卡片在功能上是否是等价的
• GPT-4 或许可以判断一张卡片是否会剧透另一张卡片
• 专家编写的卡片数据集将有助于开发卡片生成系统
  

其他尝试

• 来自 OpenAI Sunny Chen 的 http://autonki.com
• 使用 OpenAI GPT-3 API 的 Polar 和 Sana Labs
• Sana Labs 使用公认高质量的内容/问题/答案数据 微调 GPT-3
• Ozzie Kirkby 使用 iarfmoose/t5-base-question-generator · Hugging Face（一个经过微调的 T5 模型）进行了一系列实验。
• Aithal, S. G., Rao, A. B., & Singh, S. (2021). Automatic question-answer pairs generation and question similarity mechanism in question answering system. Applied Intelligence. 使用了在 SQuAD 数据集上微调的 ProphetNet 模型从文本段落生成问题，并应用 BERT 模型来回答这些问题。
• Steuer, T., Filighera, A., Meuser, T., & Rensing, C. (2021). I Do Not Understand What I Cannot Define: Automatic Question Generation With Pedagogically-Driven Content Selection. ArXiv.
• 一个基于BERT的模型，该模型配备了独立的内容选择机制
• 有价值的参考文献目录
• r-bloggers.com/2024/01/...
• 简洁的提示词设计，但有一些系统的评估设计

阅读队列

• A systematic review: Kurdi, G., Leo, J., Parsia, B., Sattler, U., & Al-Emari, S. (2020). A Systematic Review of Automatic Question Generation for Educational Purposes. International Journal of Artificial Intelligence in Education, 30(1), 121–204. doi.org/10.1007/s40593-...

坟场

• 日志：尝试使用 GPT-3 生成间隔重复卡片

链接至本文（已汉化）

• 间隔重复记忆系统（Spaced repetition memory system）
• 以想法为中心的记忆系统
• 写好间隔重复记忆卡片很难
• GPT-4 在指导下，通常能够从解释性文本中为陈述性知识生成可用的间隔重复卡片
• 对于卡片生成任务，选择要强化的目标概念，和为这些目标概念编写卡片，是两个独立的问题
• 将卡片生成任务定义为强化目标的过滤问题
• 对于卡片生成任务，大型语言模型（LLM）经常需要额外的提示，来确定从何种角度制卡
• 对于卡片生成任务，如果提供了充足的上下文，大型语言模型（LLM）可能会表现得更好
• 对于卡片生成任务，大型语言模型（LLM）缺乏为复杂概念材料编写卡片的模式

声明

此内容发布由 Andy Matuschak 许可。未经允许，不得转载或修改。保留所有权利。

Thoughts Memo 汉化组译制
感谢主要译者 claude-3.5-sonnet，校对 Jarrett Ye
原文： Using machine learning to generate good spaced repetition prompts from explanatory text (andymatuschak.org)

参考

1. GPT-4 在指导下，通常能够从解释性文本中为陈述性知识生成可用的间隔重复卡片 https://zhuanlan.zhihu.com/p/656760808⏎
2. 对于卡片生成任务，选择要强化的目标概念，和为这些目标概念编写卡片，是两个独立的问题 https://zhuanlan.zhihu.com/p/656354899⏎
3. 将卡片生成任务定义为强化目标的过滤问题 https://zhuanlan.zhihu.com/p/639267420⏎
4. 对于卡片生成任务，如果提供了编写卡片的原则，大型语言模型（LLM）的表现可能会有所提升 https://zhuanlan.zhihu.com/p/644435843⏎
5. 对于卡片生成任务，大型语言模型（LLM）经常需要额外的提示来确定强化的视角 https://zhuanlan.zhihu.com/p/644435780⏎
6. 对于卡片生成任务，如果提供了充足的上下文，大型语言模型（LLM）可能会表现得更好 https://zhuanlan.zhihu.com/p/645670312⏎
7. 对于卡片生成任务，大型语言模型（LLM）缺乏为复杂概念材料编写卡片的模式 https://zhuanlan.zhihu.com/p/656355546⏎