今天,商汤科技正式开源轻量级、原生同一多模态年夜模子 SenseNova U1.5 Lite。与预览版(U1.5 Lite Preview)出现的原生同一多模态模子能力比拟,正式版更存眷的是,这些能力可否更正确、更不变地进入真实视觉创作流程。
模子重点缭绕真实视觉使命从头完美练习数据、使命设计与后练习流程,强化视觉质量、繁杂指令遵照、文字与结构、原生4K、图象编纂及邃密视觉节制等,提供更高可控性、更高清、更高性价比的能力东西,鞭策 AI 视觉天生真正超过到“不变完成真实视觉交付”的新阶段。
今朝模子已经面向全世界开源,开发者与创作者可直接部署体验。
GitHub:https://github.com/OpenSenseNova/SenseNova-U1
Hugging Face:https://huggingface.co/collections/sensenova/sensenova-u15
魔搭社区:https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT
SenseNova Studio于线体验:https://unify.light-ai.top/
更完备的视觉创作能力,离别AI创作瓶颈
“精心写了 25 分钟的具体 Prompt,模子却只能解析 1k 字符,不能不花半小时删减细节”;“只想改失图里的一只杯子,AI 却把配景及主角的脸一路换了”。
这些险些是每一个创作者都碰到过的“瓦解刹时”。过往几年,行业往往把重点放于卷“画面美感”及“写实感”上;但于现实出产流程中,真实的焦点问题是:模子可否精准履行你的完备用意?
SenseNova U1.5 Lite 解决了这一难题:
•3-4k 字符超长繁杂指令遵照:打破年夜大都开源模子于指令跨越 1k 字符时易瓦解、漏掉细节的瓶颈。SenseNova U1.5 Lite 原生撑持 3-4k 上下文长度,可以或许同时处置惩罚主体、数目、空间瓜葛、文字、结构、气势派头等多重约束,晋升繁杂视觉使命的履行不变性。
•更高质量的视觉天生:改善总体构图、色采、材质、光影、真实感及局部细节,削减“局部准确但总体完成度不足”的环境。
•更靠得住的原生图象编纂:加强主体身份、空间布局、版式瓜葛及非编纂区域的连结,同时晋升局部修改、元素替代、文字精修及多参考图编纂能力。
•更好的文字与繁杂结构:增强中英文文字、海报、信息图、品牌视觉和多文本排版能力,从“天生内容”进一步走向“构造完备视觉表达”。
•更邃密的视觉节制:撑持 Bounding Box、Visual Marker 以和单图、多图参考等方式,对于指定区域及对于象举行更正确的编纂。
•原生4K高分辩率输出:于高分辩率天生中统筹总体构图与极邃密的肌理、微小文字与光影折射。
实战练习训练:真实场景深度还有原
咱们遴选了最能磨练“硬实力”的创作场景,带你看 SenseNova U1.5 Lite 怎样弄定真实交付。
场景一:繁杂视觉表达
一、创意海报与封面天生:
揭示出极佳的美学完成度与高对于比度质感。具有高精度的繁杂结构能力,可精准掌控文字与留白节拍;于处置惩罚文字与物体的空间遮挡时,可以或许维持光影的天然联贯,充实揭示了原生多模态对于三维空间叠加瓜葛的深刻理解。






二、高密度信息图天生:
包管中英文、数据等富厚细节的正确无误;经由过程多层级布局化空间映照,完善串联各种标签及信息,实现了繁杂信息可视化图表的高质量一次性交付。

瑞士旅行攻略手绘舆图

滑板信息图

馄饨建造指南
三、高清细节与艺术质感:
于修建布局、人像肌理、艺术画作笔触等繁杂场景中,揭示出媲美摄影与巨匠画作的细腻质感。

超实际书本船只效果图

工人群像工笔水彩

海岸船只水彩画

哥特式教堂修建

爵士乐吹奏插画

沙岸人像特写

公路视角摄影

都会摄影海报
场景二:原生图象编纂
一、结构与气势派头可控编纂
• 草图/线稿转复旧暖色漫画:精准遵照超长繁杂指令,保留线稿分镜与人物轮廓,上色与材质增补天然细腻。
prompt:请把这张手绘草图衬着成一幅复旧暖色调的手绘漫画气势派头插图,配景带有米黄色纸张质感,总体光影温馨,凸起烛光下的专注气氛。构图上连结草图的版式,中央是主场景,周围环抱五个带编号的分镜面板。左上角用巨年夜的羊毫字体写上主标题“敲击魂灵的机械轴”,下方加一个绿色标签写上“每一一颗轴,都是我与世界对于话的方式。”。中央画面里,戴着护目镜的少年正于烛光下用螺丝刀组装键盘,桌上有印着“BUILD SOUL”的马克杯及散落的轴体,少年上方的对于话框写“深夜の事情台,只有我、烛光,还有有这些小家伙。”,阁下黑猫的对于话框写“又于折腾键盘啊?喵~”。右上角的面板①展示绿色金属键盘外壳,标题写“① 选个靠谱的‘壳’!”,下面配文“定制金属外壳,沉甸甸的安全感!”。右边中间的面板②展示四种颜色的机械轴体,标题写“② 遴选心仪的‘轴’!”,配文“红轴轻快,茶轴平衡,青轴响亮...总有一款击中魂灵!”。右下角的面板③特写拔键器取下键帽的动作,标题写“③ 拔键器,yyds!”,加之拟声词“咔哒!”,配文“拔键、换轴、换键帽,自由才是机械键盘的浪漫!”。左边中间的面板④展示一堆反光的透明键帽,标题写“④ 透明键帽,透出光线!”,配文“灯光透过键帽的那一刻,整个世界都温柔了。”。左下角的面板⑤展示发出温暖违光的组装完成的键盘,标题写“⑤ 年夜功告成!”,配文“每一一次敲击,都是魂灵的回响!”。底部中间的画面是少年高兴敲击键盘的动态特写,加之绿色爆炸框文字“这就是属在我的声音!♡”,底部写上拟声词“嗒嗒嗒嗒哒!!”。右下角角落画一只小猫看着烛炬,气泡里写“机械键盘的魅力,于在创造,更于在热爱。喵~”。

线稿图

编纂后
• 跨主题迁徙且连结排版:深度理解原海报的版式框架,切换主题后仍能连结完善的视觉布局。
prompt:沿用参考图的复旧印刷气势派头,天生一张天文台公家开放日主题海报。

参考图

编纂后
二、多参考图交融天生
• 交融焦点元素与场景重组:如“橘猫骑摩托坐于咖啡馆内”,提取多图焦点特性(主体、气势派头、光影),于全新空间中天然重组,光影与比例浑然天成。

参考图

参考图

参考图

编纂后
• 美食海报重组:多张美食图交融为一张完备海报,主动匹配一致的配景、餐盘质感与情况光,并完善植入排版案牍。

参考图

参考图

参考图

参考图

参考图

编纂后
• 信息图参考元素替代:保留原海报中的所有元素,同时替代图中的乐队成员,并将下方板块从头摆列,添加曲目及新的划线元素。
prompt:Edit Image 1 using Images 2 and 3 as content references rather than pasted rectangular images. Replace the framed band silhouettes with all five Radiohead members from Image 2, transformed into the poster’s distressed monochrome halftone style. Reflow the four lower feature blocks into a compact left column and add an ESSENTIAL LISTENING list on the right using Image 3 only for wording and hierarchy. Render the new list directly on the same continuous black distressed background with matching off-white type; do not retain any white or cream card background. Preserve all original text and all other poster elements.

参考图

参考图

参考图

编纂后
三、信息图编纂
• 变换气势派头主体连结稳定:
prompt:将整张海报改成蓝银色高科技工业风,连结所有文字内容、呆板人主体及信息结构稳定。


• 局部下性修改:
prompt:将植物周围Cd、Pb、Zn、Cu、As五个圆形标签改成砖红色,文字连结米白。


四、文字编纂
• 黑板菜单局部文字替代:
prompt:将黑板菜单上“Su妹妹er Drinks”标题下方第一行、位在白色三角形符号右边的黄色手写体文字“欢愉柠檬水”替代为红色手写体文字“草莓啵啵奶茶”,连结原有粉笔质感及笔触气势派头,严酷保留黑板上其余所有文字(包括价格5.00)、插图(柠檬、咖啡杯、冰棍)、木框布局和配景绿植情况稳定。


• 多处精准文字重写:
prompt:于画面中心超年夜砖红色主标题,将 PEARL 替代为 HORIZON 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。于左上英文所在标题,将 ORIENTAL PEARL TOWER 替代为 SHANGHAI LANDMARK 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。于左上英文所在副标题,将 SHANGHAI, CHINA 替代为 CITY OF HARMONY 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。于右上中文所在标题,将 东方明珠 替代为 都会之光 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。于左边都会宣言第一句,将 A SYMBOL OF SHANGHAI. 替代为 A BEACON OF VISION. 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。于右边都会宣言第一句,将 DESIGNED FOR HARMONY. 替代为 BUILT FOR TOMORROW. 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。于修建底部中文年夜口号,将 时代的瞭望 · 都会的明珠 替代为 都会的节拍 · 将来的地标 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。于底部英文宣言,将 A LANDMARK OF VISION. A BEACON OF SHANGHAI. 替代为 A LANDMARK OF TOMORROW. A BEACON OF THE CITY. 。若该区域充足显眼、清楚且界限简朴,则逐字出现,不患上增删或者改写字符;若文字太小、被遮挡、严峻透视或者位在繁杂纹理中,则保留原文,不要为完成替代而重绘配景。


五、指定区域与局部邃密编纂
prompt:将红框中的“WHY IT MATTERS”模块完备翻译为中文,保留原有图标、层级及排版;红框仅作定位,输出中不要保留红框。


prompt:Follow the marks and overall hints on the image to creatively transform this scene, making it moody, sophisticated midnight lounge vibe; remove the annotations when done.


8B 参数架构冲破:不只是“更多”能力,还有是“更不变”及“更高性价比”
作为8B参数的轻量化模子,SenseNova U1.5 Lite于指令遵照与图象编纂连结度上逾越了同量级模子,并于文字衬着与繁杂结构上到达了媲美超年夜范围贸易模子的交付程度。

面临差别视觉使命,业界凡是采用显式 Router(路由)或者多专家协同机制将衬着、美学、编纂分发给差别模子。但这年夜幅增长了体系开消与推理时延。
SenseNova U1.5 Lite 基在NEO-unify同一架构,打破了这一传统定式:
• 解耦练习与交付(MOPD 蒸馏):练习阶段针对于文字、美学、编纂自力练习专家模子(Expert);交付阶段,经由过程多专家于线计谋蒸馏技能(MOPD),将多专家能力无损交融至单体 8B 模子中。
• 理解与天生双向反哺:视觉语义理解与空间建模形成的认知直接反哺天生,使其天然消化多层级指令,同时于多模态理解榜单上连结强劲体现。
• 极致性价比:8B 参数目撑持单卡流利运行,无须 Router 频仍切换,单次 Pass 便可统筹语义理解与像素天生,极年夜降低挪用成本与推理延迟。

于 OneIG(EN、ZH)、LongText(EN、ZH)、BizGenEval(Easy、Hard)、CVTG、IGenBench 与 Qwen-Image-Bench 上的天生延迟与平均机能对于比。
此外,正式版强化了使命导向的强化进修(RL)后练习,聚焦优化三年夜要害维度:
• 指令遵照(Instruction Compliance):轻松解析超长 Prompt,精准履行严苛的多反复杂限定。
• 视觉偏好(Visual Preference):周全优化构图、材质与光影,晋升画面质感与视觉完成度。
• 编纂连结(Editing Preservation):实现像素级局部修改,完善保留非方针区域的内容与布局。
这类繁杂指令追随与邃密编纂能力,使患上 SenseNova U1.5 Lite 可以无缝撑持多轮迭代修改而不跑偏。这真正打破了单次天生的局限,让轻量级模子介入长流程的连续创作与二次革新成为可能。
闪开源创作从“能看”走向“能用”
多模态是AI迈向物理世界与真实出产力的必经之路。商汤 SenseNova U1.5 Lite 开源的初志,恰是但愿为全世界开发者与创作者提供一个轻量、同一、极具性价比且高可控的出产力东西。
接待前去 GitHub / Hugging Face 部署体验,与咱们配合繁荣开源生态!
GitHub:https://github.com/OpenSenseNova/SenseNova-U1
Hugging Face:https://huggingface.co/collections/sensenova/sensenova-u15
魔搭社区:https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT
SenseNova Studio于线体验:https://unify.light-ai.top/
-米兰·(milantiyu)中国官方网站






