低资源复刻

為什麼有人需要自己的 ChatGPT ？
因为使用 ChatGPT 会把自己的对话上传到 Openai 用于训练，这在一些特殊情景下并不安全。

准备：

• 现成的 Pre-trained Model，You can fine-tune

• Access to ChatGPT

训练方法 Knowledge Distillation：
以 ChatGPT 为师，给 ChatGPT 和 自己的模型 同样的输入，调整参数使输出尽可能和 ChatGPT 一致

那要如何准备这些输入呢？
答案同样是交给 ChatGPT，问题和任务都由 ChatGPT 生成

• https://github.com/tatsu-lab/stanford_alpaca

• 训练资料 Self-Instruction GPT

• https://github.com/lm-sys/FastChat

• 训练资料 https://sharegpt.com/

• 由 GPT-4 评分 https://vicuna.lmsys.org/eval/

• 前面两个预训练的模型是 LLaMA，是不能够商用的 https://docs.google.com/forms/d/e/1FAIpQLSfqNECQn

• 而且，以 ChatGPT 为师训练一个相似的模型不被允许 https://openai.com/policies/terms-of-use

Dolly 的 pre-train 模型和 finetune 的资料都是可以商用的。

• 预训练模型是 Pythia https://arxiv.org/abs/

• finetune 的资料是由人来标 https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm

LLMZoo

Vicuna 的分数最高 （其训练资料来自于跟人的交互）https://arxiv.org/abs/2304.03277

把语言模型当老师的方法不止帮助小模型，也可以帮助大模型自己本身。

https://arxiv.org/abs/2203.11171https://arxiv.org/abs/2210.11610