AIGC Weekly #50
输入“/”快速插入内容
AIGC Weekly #50
AIGC Weekly #50
时间：11 Dec, 2023
50期了，第一期也是这个时候发布的，也是刚过完生日，那个时候想的就是随便写写，反正平时也要看，没想到一个周刊会让我发生这样的改变，我是一个很没有长性的人，几乎没有规律性坚持任何事情，这是唯一坚持的事情，感觉最重要的就是各位的支持，持续不断的正反馈才让我坚持这么久。
最近也得想象怎么让这个周刊更加的长久和合理，对得起一周已更新的这个时间。
上周是这一年第一次鸽，不好意思了各位，被支原体击垮了，上周末根本下不了床。
Nijijourney提示词：A woman with white hair on a white background, k-pop, in the style of glimmering light effects, anime art, energy-charged, comic art, angura kei, silver and blue, rob hefferan --niji --style ayhFkRsV05QZobkya9WTyOkc --ar 16:9
❤️上周精选
谷歌天天泄露的Gemini终于发布了，感觉是迫不得已，没办法了应该是从Open AI开发者大会那天开始准备的，如果这时候不发布等到Gemini Ultra完全准备好了，估计那时候GPT-5都要出了，那股价就真完了，发布的时候爆火的鸭子图片多模态识别，也被挖出来是造假。
从测试结果来看Gemini Ultra确实很强大，但远没有到超过GPT-4很多的程度，不过也证明了除了Open AI其他公司也是可以训练出和GPT-4相当的LLM模型的。
你现在已经可以在和Bard用英语交谈的时候使用Gemini Pro模型了，同时Gemini Nano也在Pixel 8 Pro的Recorder总结功能和键盘联想上启用了。
来看一下具体的介绍：
•
Gemini 是多模态的，意味着它可以理解、操作和结合不同类型的信息，包括文本、代码、音频、图像和视频。
•
它还非常灵活，能够高效地运行在从数据中心到移动设备上的各种环境中。Gemini 的第一个版本，Gemini 1.0，针对三种不同的大小进行了优化：Gemini Ultra 用于高度复杂的任务，Gemini Pro 适用于广泛的任务，Gemini Nano 用于设备上的任务。
•
Gemini Ultra 在 32 个广泛使用的学术基准测试中的 30 个上超越了当前的最新成果，这些基准测试用于大型语言模型的研究和开发。它是第一个在 MMLU（大规模多任务语言理解）上超越人类专家的模型，MMLU 测试了世界知识和在 57 个科目（如数学、物理、历史、法律、医学和伦理）中的解决问题能力。
•
Gemini 1.0 被训练用于同时识别和理解文本、图像、音频等，使其在解释数学和物理等复杂科目的推理方面表现出色。它还可以理解、解释和生成流行编程语言（如 Python、Java、C++ 和 Go）中的高质量代码。
•
Google 使用其针对 AI 优化的基础设施和自家设计的 Tensor Processing Units (TPUs) v4 和 v5e 来训练 Gemini 1.0。公司还宣布了迄今为止最强大、最高效、最可扩展的 TPU 系统——Cloud TPU v5p，专为训练尖端 AI 模型而设计。
•
Gemini 1.0 现在正在逐步应用于各种产品和平台。它将用于 Google 的产品，如 Bard 和 Pixel，开发者和企业客户可以从 12 月 13 日起通过 Google AI Studio 或 Google Cloud Vertex AI 中的 Gemini API 访问 Gemini Pro。安卓开发者也将能够通过 AICore，在安卓 14 上使用 Gemini Nano 开发，该功能将从 Pixel 8 Pro 设备开始提供。
(1) 数据来源多样化 ：我们应尽可能从各种不同来源（比如网络、书籍、代码等）获取预训练数据。不仅仅是文本，我们还需要考虑整合不同形式（如图像、音频、视频）、不同语言和不同领域（比如编程）的数据到预训练过程中。
(2) 注重 Tokenizer 选择 ：许多开发者习惯直接使用现成的预训练 Tokenizer，认为这样就够了。但实际情况并非如此！Tokenization 的问题可能会导致一系列后续问题，影响模型表现。为了获得最佳效果，我们应该在预训练数据集上定制我们自己的 Tokenizer，确保其适应模型将处理的数据类型。Gemini 正是采用了这种方法。
(3) 数据清洁度至关重要 ：处理大型语言模型（LLM）预训练的数据管道非常复杂，包括启发式规则、基于模型的方案、安全性/有害内容过滤等。先前的研究（例如 Falcon LLMs）强调使用简单规则来筛选预训练数据，但 Gemini 在其预训练数据管道中采用了更多手段，力求构建尽可能纯净的预训练数据集。
(4) 来自 Chinchilla 的经验教训 ：2022 年 3 月 Chinchilla 的研究发现至今仍适用。优秀的预训练大型语言模型需要大量的参数和海量的数据。简而言之，许多大型语言模型实际上训练不足！我们应尽可能利用所有可用数据进行预训练，前提是不要因计算成本而使自己陷入困境。
(5) 数据加权重要 ：除了数据混合外，我们从每个预训练数据源采样数据的频率（即数据权重）也十分关键。为了找到最佳数据权重，我们应该用较小的模型和数据集进行调优实验。有趣的是，Gemini 的研究者们还发现，在训练过程中调整数据权重（例如，在训练的后期增加特定领域数据的权重）也可能有益。
8号上周五，很多Premium+用户发现自己有Gork的权限了，然后下午马斯克就发了公告说：Grok AI（测试版）现已向美国所有𝕏 Premium+ 用户推出。将在大约一周左右扩展到所有英语用户。日语是下一个优先级（第二大用户群），然后希望到 2024 年初是所有语言。