一发布就失望?Stable Diffusion 3有什么大问题

前不久,stabilityai发布了开源的stablediffusion 3medium,让各大探索ai的网友们兴奋不已,毕竟sd1.5、sdxl的发布已经带来了很多震撼,这次的sd3更是期待拉满,很多网友都在开源的第一时间去下载,然而体验似乎并没有stabilityai所说的那么神。

在一开始的宣传中,stabilityai表示sd3已经能生成文字,但目前只能生成英文,中文还无法识别,而且最重要的是,sd3似乎在人物生成上开了倒车,对于人画像的生成,sd3经常产出畸形的人物形态,特别是人的四肢、手脚方面的错误,整体体验还不如上一代模型。

也就是说,只要不生成人物的四肢,sd3模型在局部画面上的表现还是很精致的,在物品和动物的生成上,sd3也基本没有什么问题,对于复杂的长提示词也有着很高的识别率,但是就是画不好四肢健全的人类,在这方面反而退化了一般,引起了很多人的不解。

国外论坛reddit用户则分析称,表示sd3的人体四肢理解错误,是因为在训练时,开发者过多干预内容,设置过滤限制级内容,而且通过的条件非常苛刻,从而导致ai识别错误,一些正常的图片也因此被识别为限制级内容,因此在公开的sd3模型中,人体的效果因为训练不足而导致畸形。

这就解释了,为什么sd3并未翻起很大风浪,因为除了会识别英文外,最主要的人体识别反而开了倒车,原本在解决手部问题,这下子演变成了还要解决四肢的问题,需要很长的提示词去修复,但对于非人类,sd3的效果还是出奇的好,细节都很到位,也遵循物理规则,可惜这一版本并不完美。

当然这也许和stabilityai陷入困境有关,在此之前,公司财务状况并不佳,且ceo辞职,曾经的主要成员也离开,加上裁员风波,如今能推出sd3也是不容易,更有网友表示公司内部混乱,如今不成熟的sd3就是证明,但终究它还是推出了,并且开源了,这都遵守了之前的承诺,也许只是单纯的出错了呢?(图为stablediffusion 3 模型架构)

但这也只是个中杯的sd3,也就是说后续还有大杯和小杯的推出,也许要经历过这次问题后,stabilityai会对训练数据进行修改,完善出更好的sd3也说不定,而且现在也有sd1.5与sdxl的在持续创作与使用,如果修改后的sd3能在sdxl的基础上再进步,那就值得赞赏,当然sd3如果支持其他语言的理解那就更好了

目前sd3模型还暂时只支持comfyui,想要体验的网友可以下载comfyui进行尝试,虽然sd3开源的为中杯版本,但对于显卡的要求,还是比较推荐大显存会更好,因此我们推荐使用影驰rtx4070 ti super星曜oc显卡。

影驰rtx4070 ti super星曜oc显卡,相比于4070ti,显存上为更大的16gbgddr6x,并且核心性能也得到了加强,无论是ai创作者还是游戏玩家,都能感受到明显的提升,同时16gb显存也是非常适合ai软件运行,是一款不容错过的高性能大显存的显卡,如果你对这张显卡感兴趣,欢迎前往影驰官方商城挑选~

(8801617)