多模态文本生成是指综合使用图像、视频、文本等多种模态信息,进而自动化地生成符合人类视觉、文化的文本片段描述。

这要求其不仅仅考虑文本生成的流畅性、语言丰富性,更要与视觉模态相结合,综合考量时空位置信息。

而多模态图像生成,则是要打开模型的拟合固定思维,根据文本描述,去充分的挖掘显式信息和隐式信息,产生丰富多彩的图像信息。

因此,综合使用视频片段、图片等多种信息进行生成是CV与NLP交叉的前沿热点领域

4月27晚20:00,我们特地准备了由深耕“多模态领域”多年的卓越老师为我们带来《一节课通关多模态深度学习》,内容非常干货!

【深度学习】一文讲明白多模态深度学习_自然语言处理


部分PPT展示(完整课件会在直播后免费分享)

【深度学习】一文讲明白多模态深度学习_深度学习_02

【深度学习】一文讲明白多模态深度学习_人工智能_03

【深度学习】一文讲明白多模态深度学习_机器学习_04

【深度学习】一文讲明白多模态深度学习_人工智能_05

【深度学习】一文讲明白多模态深度学习_模态_06