文件列表:
上海证券:互联网传媒行业周报:周观点:StableDiffusion3可通过API使用,百度举办AI开发者大会.pdf |
下载文档 |
资源简介
>
主要观点
4月18日,Stability.ai在官网宣布最新文生图模型StableDiffusion3(简称“SD3”)和SD3Turbo可以在API中使用。与前两代相比,SD3除了生成的图片质量更高之外,可以更好地理解提示文本中嵌入到图片中的文字。Stability.ai2月22日在官网首次展示了SD3并开启候补测试,3月5日在arxiv上公布了其论文并介绍,SD3与前两代相比最大技术创新在于使用了MM-DiT和FlowMatching两种方法来增强模型的输出、训练、优化等,同时支持文本或图像作为提示实现多模态能力。通常多数文生图模型在生成的过程中,只考虑图像本身而没有充分利用文本信息,所以,输出结果时经常出现“驴头不对马嘴”的情况,甚至是一些无法理解的乱码或者扭曲的图像。而MM-DiT通过结合Transformer的自注意力机制强大的文本和图像序列处理能力,帮助模型在生成图像时能与文本实现更好的匹配。当用户输入文本或图像提示时,首先被转换为嵌入表示。文本通过预训练的文本模型编码,而图像则通过预训练的自动编码器转换为潜在空间表示。
4月16日,Create2024百度AI开发者大会在
加载中...
已阅读到文档的结尾了