OpenAI 提供了两项基于 GPT-3 模型的能力：

1. fine-tune 微调
2. embedding 嵌入

fine-tune

一般称之为微调。

模型底层更通用，顶层更垂直，fine-tune 的原理是在不改动（或不能改动）预训练模型的基础上，在模型「顶层」增加分类器或一些特征映射，使微调后的模型能够更贴合实际使用场景。

在 OpenAI 中，可以在不改动 GPT-3 大模型的情况下，针对 prompt 和 completion 的进行训练，对「句式」、「情感」等特征进行优化。

OpenAI-fine-tune
GPT-3 已经预训练了大量的互联网内容。只需要在 prompt 里写少量的用例，他基本可以感知你的用意，并生成一段基本合理的 completion。这个功能一般叫做 "few-shot learning".
fine-tune 基于 few-shot learning，通过训练比写在 prompt 里更多的示例，可以得到更好的结果。模型被微调后，就不用在 prompt 里再写一些实例了。这样可以节省成本和耗时。

使用场景：

1. 想让 GPT-3 按照某种格式来识别 Prompt ，或按照某种格式来回答
2. 想让 GPT-3 按照某种语气、性格来回答
3. 想让 completion 具有某种倾向

比如不进行 fine-tune 提问

prompt: 
小红喜欢洋娃娃。小红的性别是？ 

completion: 
女孩，所以她很喜欢洋娃娃。洋娃娃通常有着丰富多彩的服装和装饰，可以让小红玩得很开心。此外，红还可以给洋娃娃起名字，造出一个属于自己的小世界，从而获得更多的乐趣。

GPT-3 详尽的回答了你的问题，但是可能你只想知道是 男 or 女。

在 prompt 里加入示例

prompt:
示例：小红喜欢洋娃娃。小红的性别是？
答案：女 

下面是问题：小明喜欢坦克，小明的性别是？ 

completion:
答案：男

经过提示的 prompt 会按照示例的格式回答你的问题。

如果通过对大量如下数据进行 fine-tuning。

prompt:
小红喜欢洋娃娃。小红的性别是？ 

completion: 
答案: 女

训练后的模型中，按照 prompt 格式书写，那么 completion 会自动按照期望的格式返回，而不是返回其他内容.

类似于 Masked Language Modeling（MLM） ，系统会将回答识别为「答案: [mask] 」，模型去预测 mask 的内容，或者理解为「完形填空」

embedding

一般称之为嵌入。

embedding 一般是指将一个内容实体映射为低维向量，从而可以获得内容之间的相似度。

OpenAI 的 embedding 是计算文本与维度的相关性，默认的 ada-002 模型会将文本解析为 1536 个维度。用户可以通过文本之间的 embedding 计算相似度。

embedding 的使用场景是可以根据用户提供的语料片段与 prompt 内容计算相关度，然后将最相关的语料片段作为上下文放到 prompt 中，以提高 completion 的准确率。

具体可以看 （二）如何使用 Embedding 提升回答质量？

使用场景：

1. 获取文本特征向量
2. 提供「相关」上下文，让 GPT-3 依据上下文回答

fine-tune 和 embedding 可以结合使用，比如通过 fine-tune 训练基于 context 识别 prompt 模型，再使用此模型使用 embedding 插入上下文，这样新模型也能更好地理解 prompt

两者如何选择

我有一堆语料，想让 GPT-3 依据我的语料输出内容 - 使用 embedding

想让 GPT-3 模仿一个温柔贤惠的女人和我对话 - 使用 fine-tune

希望用户按照一定格式提交问题 - 使用 fine-tune

可以根据产品的使用手册来回答用户的问题 - 使用 embedding

  业务实施流程