Meta 的 LLaMA 是“大型语言模型 Meta AI” （Large Language Model Meta AI）的缩写，它可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。

该公司将提供底层代码供用户使用，因此用户可以自行调整模型，并将其用于与研究相关的用例。Meta 表示，该模型对算力的要求“低得多”。

据介绍，该公司正在开发多种参数（7B、13B、33B 和 65B）的 LLaMA。其中，LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练，而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。

与其他大型语言模型一样，LLaMA 的工作原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。为了这套模型，Meta 从使用人数最多的 20 种语言中选择文本进行训练，重点是拉丁语和西里尔字母。

当然，与其他模型一样，LLaMA 也面临着偏见、有毒评论和幻觉的挑战，Meta 还需要做更多的研究来解决这类语言模型中的不足。

Meta 表示，LLaMA 作为一个基础模型被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。通过开源 LLaMA 的代码，其他研究人员可以更轻松地找到限制或消除这些问题的新方法。Meta 还在本文中提供了一组评估模型偏差和毒性的基准评估标准，以显示模型的局限性并支持研究人员在这一关键领域的进一步研究。