分享
AIGC Weekly #76
输入“/”快速插入内容
AIGC Weekly #76
🔗 原文链接:
https://quail.ink/op7418/p/aigc-wee...
⏰ 发表时间:2024-06-17
作者:歸藏
上周精选 ✦
苹果与 Open AI 合作在 ios 18 中提供AI服务
上周苹果的WWDC24靴子终于落地,iOS 18将非常深入的整合AI能力,AI能力更新主要包含在Siri、写作助手以及图像生成
三个部分
:
•
Siri 利用 Apple Intelligence 实现全新超能力。凭借全新的设计、更丰富的语言理解能力以及随时输入 Siri 的能力,与 Siri 的交流比以往任何时候都更加自然。
◦
Siri 采用
全新设计
,与系统体验更加深度融合,优雅的光芒环绕屏幕边缘。
◦
只要双击 iPhone 或 iPad 屏幕底部,当不想大声说话时,可以从系统中的任何位置
输入内容给 Siri 。
◦
利用 Siri 掌握的有关你设备功能和设置的广泛
产品知识
。学习如何在 iPhone、iPad 和 Mac 上做新事情时,可以提出问题,Siri 可以快速提供分步指导。
◦
Apple Intelligence 为 Siri 提供了
屏幕感知
功能,因此它可以理解屏幕上的内容并采取行动。
◦
了解您的
个人背景
使 Siri 能够以你独有的方式为您提供帮助。Siri 可以利用其对设备上信息的了解来帮助找到所需信息。
◦
使用 Siri在应用程序内和应用程序间
无缝执行操作。
•
Apple Intelligence 为新的写作工具提供支持,可帮助你在写作时随时随地找到合适的词语。借助增强的语言功能,可以在几秒钟内总结整个讲座,获取较长的群组讨论的简短版本。
◦
可以校对文本、重写不同版本直到语气和措辞恰到好处,并且只需轻点一下即可总结所选文本。
◦
优先通知显示在卡片顶部,一眼就知道需要注意什么。通知会汇总,以便您可以更快地浏览它们。
◦
邮件中的优先消息会将时间敏感的消息提升到收件箱的顶部 - 例如今天截止的邀请或今天下午航班的登机提醒。点按即可在邮件应用中显示长电子邮件的
摘要
,直奔主题。您还可以直接从收件箱中查看电子邮件摘要。
◦
只需在 Notes 或 Phone 应用中点击录制即可录制音频和文字记录。Apple Intelligence 会生成文字记录
摘要
,一眼便可了解最重要的信息。
◦
使用邮件中的
智能回复
功能,快速起草包含所有正确详细信息的电子邮件回复。
•
Apple Intelligence 让你以全新的方式用视觉表达自我。创建有趣、原创的图像和全新的 Genmoji。使用 Image Wand 将草图变成与笔记相得益彰的相关图像。
◦
借助应用程序中的Image Playground
体验,只需几秒钟即可制作有趣的原创图像。根据描述、建议的概念,甚至照片库中的人物,创建全新的图像。
◦
在专用的Image Playground 应用程序
中尝试不同的概念并尝试动画、插图和草图等图像样式。创建自定义图像以在其他应用程序或社交媒体上与朋友分享。
◦
直接在键盘上制作全新的
Genmoji
,以匹配任何对话。提供描述以查看预览,并调整描述直到完美。
◦
Image Wand
可以将你的草图转换为 Notes 应用中的相关图像。使用手指或 Apple Pencil 在你的草图周围画一个圆圈,Image Wand 会分析其周围的内容以产生互补的视觉效果。
◦
输入描述,Apple Intelligence 会找到最匹配的照片和视频。然后,它会根据识别的主题,用独特的章节制作故事情节,并将照片排列成具有自己叙事弧线的影片。
◦
使用照片应用中的清理
工具去除照片中的干扰物。Apple Intelligence 可识别背景物体,需轻点一下即可将其移除,从而拍出完美的照片,同时保留原始图像。
苹果也发布了
一篇内容
介绍了一下他们的
LLM 部署方案
,主要有三层结构组成:
•
设备端LLM推理:未来的iOS版本将包含一个小型低延迟的AI模型(30亿参数),它能够理解用户命令、当前屏幕并在应用程序上执行操作。该模型不仅能处理总结等简单任务,还可以为Siri的“AI智能体”功能提供支持,例如处理需要打开和使用多个应用程序的用户命令——比如“嘿Siri,叫一辆Uber到最近的Costco”。最重要的是,该模型运行在Apple Silicon芯片(如M系列芯片)上。
•
私有云计算:设备端的大语言模型可能会将某些复杂任务卸载给Apple数据中心托管的更强大模型(称为“私有云计算”)。这些数据中心也将完全运行在Apple的M系列芯片上。传输的数据将完全加密和保护。服务器由Apple自主制造。换句话说,Apple已经垂直整合了在设备端和数据中心内运行AI所需的一切。
•
第三方模型推理:用户还可以通过Siri或某些iOS应用直接使用OpenAI的ChatGPT。请注意,这并不是用ChatGPT替代Siri——这是许多人对OpenAI合作的误解。实际上,ChatGPT在特定情况下作为Apple模型的替代方案提供。例如,当用户即将修订电子邮件时,可以选择ChatGPT的响应。
Open AI 也发布了
一个公告
来
介绍跟苹果的合作
:
•
ChatGPT 集成功能会免费提供给 ios 用户,付费会员可以登录后使用付费功能。
•
连文字改写都用的ChatGPT,图像看起来用的 DALL-E。
•
Siri 也可以在需要时调用 ChatGPT 的智能。调用需要用户同意。
•
用户无需在不同工具之间切换即可使用 ChatGPT 的功能,包括图像和文档理解。