研发人员占绝大多数

从组织架构的设置上看，GPT-4 幕后的研发团队大致可分为七个部分：预训练（Pretraining）、长上下文（Long context）、视觉（Vision）、强化学习 & 对齐（RL & alignment）、评估 & 分析（Evaluation & analysis）、部署（Deployment），以及其他贡献者（Additional contributions）。

预训练部分的工作细分为：

• 计算机集群扩展（Compute cluster scaling）

• 数据（Data）

• 分布式训练基础设施（Distributed training infrastructure）

• 硬件正确性（Hardware correctness）

• 优化 & 架构（Optimization & architecture）

• Training run babysitting

长上下文部分的工作细分为：

• 长上下文研究（Long context research）

• 长上下文内核（Long context kernels）

视觉部分的工作细分为：

• 架构研究（Architecture research）

• 计算机集群扩展（Compute cluster scaling）

• 分布式训练基础设施（Distributed training infrastructure）

• 硬件正确性（Hardware correctness）

• 数据（Data）

• 对齐数据（Alignment Data）

• Training run babysitting

• 部署 & 后训练（Deployment & post-training）

强化学习 & 对齐部分的工作细分为：

• 数据集贡献（Dataset contributions）

• 数据基础设施（Data infrastructure）

• ChatML 格式（ChatML format）

• 模型安全（Model safety）

• Refusals

• 基础 RLHF 和 InstructGPT 工作（Foundational RLHF and InstructGPT work）

• Flagship training runs

• 代码功能（Code capability）

评估 & 分析部分的工作细分为：

• OpenAI Evals 库

• 模型等级评估基础设施（Model-graded evaluation infrastructure）

• 加速预测（Acceleration forecasting）

• ChatGPT 评估

• 能力评估（Capability evaluations）

• 编码评估（Coding evaluations）

• 真实世界用例评估（Real-world use case evaluations）

• 污染调查（Contamination investigations）

• 指令遵循和 API 评估（Instruction following and API evals）

• 新功能评估（Novel capability discovery）

• ……