导读 Meta AI开发并发布了 Llama 3，这是一种大型语言模型，其之前的版本在人工智能领域掀起了波澜。 Llama 家族的最新成员拥有令人印象深...
Meta AI开发并发布了 Llama 3，这是一种大型语言模型，其之前的版本在人工智能领域掀起了波澜。 Llama 家族的最新成员拥有令人印象深刻的功能，包括生成连贯流畅的文本、回答问题和参与对话。
《Llama 3》与前作有何不同?根据人类评估结果，该模型对 Mistral Medium 的胜率达到 59.3%，对 GPT-3.5 的胜率达到 63.7%。这些令人印象深刻的数字表明 Llama 3 可以生成质量与人类生成的文本相当的文本。
Llama 3 的训练数据集由从公开来源收集的超过 15T 个令牌组成，比 Llama 2 使用的训练数据集大七倍。这种广泛的训练数据使模型能够生成多样化且准确的文本。
这个 15 万亿代币数据集比其前身大得多，包含的数据是 Llama 2 的七倍，并包含广泛的代码，是之前使用量的四倍。值得注意的是，超过 5% 的数据是跨越 30 多种语言的高质量非英语内容，尽管人们承认这些语言的性能可能达不到英语的水平。
为了确保数据的质量，Meta 开发了复杂的过滤管道。其中包括启发式过滤器、NSFW 内容过滤器、语义重复数据删除和旨在评估文本质量的分类器。有趣的是，Llama 2 被用来完善这些质量分类器的训练数据，事实证明在为下一代提供动力方面发挥了重要作用。