AIGC Weekly #43
输入“/”快速插入内容
AIGC Weekly #43
AIGC Weekly #43
发表时间：23 Oct, 2023
上周写了一篇《想玩 AI 画图和视频却没好电脑？藏师傅手把手教你云端部署 SD 生成 AI 视频》 帮一些没有硬件条件又想学习SD的朋友找一些低成本方案，同时还有基础的通过Web UI Animetadiff插件生成视频的教程，感兴趣可以点上面的的链接看看。
工具：Midjoureny
提示词：Realistic photo, close up view, Blink-and-you'll-miss-it details, extreme high tech, abstract, reflective, shades of Klein blues and very little yellow, geometry v5. 1 --ar 16:9
❤️上周精选
上周Open AI向所有ChatGPT Plus 和 Enterprise 用户开放了DALL-E3的使用权限，同时还公布了两篇论文，一篇《通过更好的提示改进图像生成》大致介绍了DALL-E3的训练方法，另一篇《DALL·E 3 System Card》大致介绍了他们是如何保证DALL-E3的安全的。
《通过更好的提示改进图像生成》基本上 阐述了他们DALL-E3主要解决的问题是Diffusion模型中由于训练数据集中图像标题的噪声和不准确性导致的图像生成可控性不够强的问题，解决方式是训练了一个定制的图像提示生成器，并使用它重新为训练数据集生成提示。
同时还和DALL-E2和SDXL进行了对比测试，可以看到几乎所有的指标都比SDXL要高一些。
Open AI对DALL-E3的评估方式也可以参考一下包括：
自动评估：首先使用公共的ViT-B/32模型计算CLIP分数，然后基于GPT-4V评估模型生成的提示和图像的对应关系，最后在Huang等人（2023年）开发的T2I-CompBench评估套件的一个子集上进行T2I-CompBench评估（包括颜色绑定、形状绑定和纹理绑定三部分）。
人工评估：评分者被呈现出给予文本到图像模型的完整上采样标题，并被要求“选择哪个图像更符合标题”。想象一下，你正在使用一款电脑工具，根据一些文字生成图像。选择你在使用这个工具时更喜欢看到的图像。连贯性：选择哪个图像包含更连贯的物体。所谓“连贯”的物体是指可能存在的物体。
同时Open AI也承认 DALL-E3再测试中也发现了一些问题：
•
虽然DALL-E 3在根据提示进行生成方面取得了重大进展，但在物体摆放和空间意识方面仍存在困难。（已经比其他模型强太多了）
•
在进行文本生成的时候，单词可能会缺少或多出字符。
•
合成提示很容易在图像中产生重要细节的幻觉。例如，给定一幅植物的绘画，提示生成器经常会幻想出植物的属和种，并将其放入提示中。
Midjourney 终于发布了他们的图像放大功能，你现在最多可以将生成的图像放大4倍，重点是可以连续放大，效果太好了，买了 Topaz 照片放大的要亏了。
•
在生成完成的图像上，你可以看到对应的放大按钮，有2 倍和 4 倍两个选项。
•
在之前的旧图上也可以使用放大功能。
•
4 倍放大能力要比 2 倍多消耗 3 倍的GPU 时间。
•
目前只有 Fast 模式可以使用放大功能，部分 4 倍放大任务会出现黑色图像正在解决，有时候放大的图像会被变暗。