勵志

勵志人生知識庫

llama模型大小

LLaMA模型系列由Meta AI開發,並提供了四種不同大小的模型:

LLaMA-7B:這是系列中參數最小的模型,但它在大多數基準測試上超過了GPT-3-173B。

LLaMA-13B:在大多數的benchmark上,LLaMA-13B的表現優於175B的GPT-3,儘管它比GPT-3小10倍。

LLaMA-33B:這個模型在性能上與LLaMA-13B相似,但參數量是其三倍。

LLaMA-65B:這是系列中參數最大的模型,它在很多數據集上的表現可以與目前最好的模型競爭,如Chinchilla-70B和PaLM-540B。

這些模型都是用數萬億tokens訓練的,並且完全使用公開數據集進行訓練,與開源兼容。