Omdia：2023年百度智能云千帆大模型平台加速企业多模态生成式AI应用落地报告

生成式人工智能(GenAl)已在各行各业得到广泛应用。在开源和专有大型语言模型(LLM)的推动下，GenAl已应用于所有行业的120 个应用场景中。虽然基于LLM 的应用程序越来越受欢迎，但其本身仍存在固有的局限性。LLM 主要针对文本和语音数据的理解、处理和生成进行了优化，无法进行多模态学习，也无法生成除文本和语音之外的其他输出。为了解决上述问题，越来越多的厂商和开发者开始采用多模态 GenAl技术。该技术能够处理多种输入形式，包括文本、图像和音频，并将这些提示转换为几乎任意类型的输出。这将进一步提升用户体验，因为模型可以实现多模态的理解和生成。一方面，凭借其理解能力，用户可以通过文本、语音、图像和视频与应用程序自然交互。通过多模态数据理解上下文，多模态 GenAl应用能够以更全面的方式作出响应，帮助企业从其他数据类型中获取情景感知的见解。

另一方面，多模态 GenAl 技术的多模态生成能力允许用户生成从文本到语音、图像、视频、音频、音乐、点云数据、遥测数据、3D 模型和数字孪生等各种类型的输出。通过充分的预训练数据和微调，这些模型可以生成高保真且物理准确的输出，非