国金证券：计算机行业深度研究：LLaMA等开源模型凸显先进算法及行业数据的重要性

投资逻辑自2017年Transformer发布以来，大语言模型经历了由开源到逐步闭源的转变，头部公司先进模型的壁垒逐步形成。目前OpenAI、Google等领先的头部AI大厂对于先进模型大多采用部分开源或仅开放使用的模式，以此构建技术护城河。然而，将AI大模型直接应用于垂直行业，存在通用能力过剩、行业专业知识储备不足、推理过程消耗算力过高等问题。基于开源模型进行垂类模型开发可兼顾开发成本和数据安全，尤其是对于党政军、金融、电网、先进制造等数据敏感性较高的行业而言。Meta旗下LLaMA大模型的开源或能为垂类模型落地提供预训练模型底座。LLaMA基于通用领域的开源数据集进行训练，训练数据涵盖40种语言，包含约1.4万亿Tokens。尽管LLaMA模型参数量较小，但性能丝毫不逊色于PaLM、GPT-3等大语言模型。并且较小的参数规模显著降低了LLaMA模型的落地部署和二次开发难度。LLaMA作为完全开源的领先模型，具备高度的灵活性、可配置性和泛化能力，可以作为垂类AI模型的通用基座。基于LLaMA，垂类AI开发者可以根据其行业特点、应用行业数据定制开发相应的“行业发行版AI模型”。LLaM