课题组负责人颜波,复旦大学计算机科学技术学院教授、博导、国家优秀青年科学基金获得者。现任复旦大学发展规划处副处长、计算机科学技术学院学术委员会副主任、计算机科学与技术一级学科负责人和博士后流动站站长、文化和旅游部“数字文化保护与旅游数据智能计算重点实验室”副主任、上海市图像图形学会副理事长等。
课题组长期致力于人工智能、图像处理、计算机视觉、AI for Science、智慧医疗等领域的算法与机理研究。课题组在2015年率先提出数字媒体智能再生,即AIGC的雏形。近年来持续在Nature Methods、Engineering、IEEE Trans.等国际著名期刊和CCF-A类学术会议发表论文80余篇,研究成果获得了教育部自然科学二等奖、中国图象图形学学会科学技术二等奖、ICME最佳学生论文亚军奖(Best Student Paper Award Runner Up)、全国多媒体技术学术会议最佳论文奖等多项学术奖项。
项目领域:人工智能、图像处理、计算机视觉、AI for Science、智慧医疗
项目名称:大模型时代的新引擎——融合知识的AIGC
项目背景:AIGC是采用人工智能技术来自动生成内容的生产方式。通过对已有数据的学习和识别,AIGC技术能够以适当的泛化能力自动生成文本、图片、音频、视频等多种类型内容。随着AI能力的飞速增长,AIGC与人类一起工作的能力也在爆炸性增强。在人类指导下,AIGC工具拥有的无尽创造力,堪称大模型时代的新引擎。
项目内容:课题组在2015年率先提出数字媒体智能再生,即AIGC的雏形。通过空间域、时间域、频率域、特征域等各种各样的运算,再加后处理,生成面向人眼“看得清”,面向机器“算得准”,面向模型“训的好”的图像或视频。通过融合领域知识,实现了信息的高效处理和图像视频的智能生成,特别在孪生能力、编辑能力和衍生能力这三大领域展现出了显著的优势,具有广泛的实际应用前景。
首先,孪生能力解决了智慧终端拍摄时“看不清”的问题,实现数字媒体智能再生的多域性分析,让人眼“看的清”。课题组基于AIGC自主研发的跨任务、多维度图像增强的荧光显微成像增强基础大模型获得超万次下载,实现了对现有荧光显微成像极限的突破;自主研发的AI zoom技术已应用于某国产品牌旗舰系列手机。
其次,编辑能力通过对内容的理解以及属性控制和修改,能够显著提高内容的可用性,让机器“算的准”。课题组基于AIGC自主研发的监控视频浓缩系统已应用于公安系统,让搜寻时间减少99%。
最后,衍生能力解决了数据头部冗余尾部稀缺问题,提出语义大面积缺失下的图像修复算法,升级文本转译衍生能力,让大模型“训的好”。课题组基于AIGC构建了腔内肿瘤医疗大模型,大幅提升了神经网络模型的准确性和泛化性;自主研发的内镜智慧眼系统应用于三甲医院,近5年约30万患者受益。
项目总结:综上所述,本项目AIGC采用人工智能生成的数据来弥补真实数据的缺陷和不足,突破了模型参数规模和数据量的限制,提高了模型的可信度和准确性,具有独特的、强大的创造力和生产力,应用场景呈现出跨模态、跨领域的趋势。希望与各行业企业单位合作,融合领域知识,开展产业化探索。