8. 创建图像描述模型
输入“/”快速插入内容
8. 创建图像描述模型
8. 创建图像描述模型
飞书用户8537
飞书用户43922023年8月19日修改
•
本课程教您如何使用深度学习创建图像字幕模型。您将了解图像字幕模型的不同组件，例如编码器和解码器，以及如何训练和评估您的模型。在本课程结束时，您将能够创建自己的图像字幕模型并使用它们为图像生成字幕
引言
大家好，我是谷歌高级解决方案实验室的机器学习工程师 Takumi。在这个系列中，我们将深入探讨生成式人工智能背后的核心技术。特别是，在本篇博客中，我们将讨论如何通过使用编码器-解码器、注意力机制和一些Transformer等技术，实际创建一个简单的图像字幕生成模型。
图像字幕任务和数据集
图像字幕任务是指基于输入的图像，生成描述该图像内容的一段文本。对于此任务，我们将使用一组成对的图像和文本数据。我们的目标是建立和训练一个可以根据图像生成这些类型的文本描述的模型。
编码器-解码器模型架构
我们将通过构建一个编码器-解码器模型来实现这一目标。在这种模型中，编码器和解码器处理不同形式的数据—图像和文本。
•
编码器: 我们将图像传递给编码器。编码器从图像中提取信息，并创建一些特征向量。
•
解码器: 然后，我们将这些特征向量传递给解码器。解码器实际上构建标题，通过生成一个接一个的单词。
实现细节
图像编码器
在代码方面，我们使用来自Keras应用程序的经典InceptionResNetV2作为图像编码器。但同样，这可以是任何其他的图像主干网络。
文本解码器
解码器部分有点复杂，让我们仔细看一下它的组件和工作原理：
1.
嵌入层: 创建词嵌入，将单词转换为向量表示。
2.
GRU层: GRU（门控循环单元）是RNN（递归神经网络）的一种变体。它接受输入，更新其内部状态，并生成输出。通过传递像文本这样的顺序数据，它可以保持与先前输入（例如先前的单词）的顺序依赖关系。
3.
注意力层: GRU的输出进入注意力层。这一层混合了来自编码器（图像）和解码器（文本）的信息。
这个解码器本身是一个迭代操作。因此，通过自回归地一次又一次地调用它，我们最终可以生成完整的文本。
因此，通过传递像文本这样的顺序数据，它可以保持与先前输入的顺序依赖关系，例如先前的单词。GRU 输出进入注意力层，该层混合了文本和图像的信息。
注意力机制
在 TensorFlow Keras 中，我们可以像使用其他层一样，轻松地添加预定义的注意力层。例如，我们可以使用 tf.keras.layers.Attention。如果您想使用更多类似 Transformer 的架构，可以选择 tf.keras.layers.MultiHeadAttention，它使用多个注意力头。
在注意力层内部，该层从文本数据中关注图像特征，通过这样做，它可以通过混合两种信息来计算注意力分数。
在代码中，注意力层有两个输入：gru_output 和 encoder_output。在内部，gru_output 用作注意力的查询和键，而 encoder_output 用作值。
Skip Connection（残差连接）
解码器架构还包含一个名为 skip-connection 或残差连接的设计模式。这种模式涉及将中间层的输出添加到之后的层。这种架构从 ResNet 开始就变得非常流行，并且在深度神经网络，特别是 Transformer 中被广泛使用。
使用 skip-connection，尤其是在设计非常深的神经网络时，可以帮助避免梯度消失和爆炸问题，从而使网络更容易训练。
推理阶段：为任意图像生成字幕
现在，我们转向如何在实际应用中使用训练过的模型。在推理阶段，我们的目标是为给定的图像生成一段描述性的文本。以下是实现这一目标的步骤：
1.
生成 GRU 初始状态，并创建一个 <start> 令牌：
在训练阶段，TensorFlow Keras 可以自动处理每个序列的 GRU 状态。但在推理阶段，我们需要编写逻辑来明确地初始化 GRU 状态。同时，我们传递一个特殊的 <start> 令牌，表示句子的开头。
2.
将输入图像传递给编码器并提取特征向量：
与训练阶段相同，我们首先将输入图像传递给编码器，以获得与图像相关的特征向量。
3.
自回归地调用解码器：
在这个步骤中，我们通过自回归地调用解码器，一次生成一个单词，直到生成一个特殊的 <end> 令牌，表示句子的结束，或者直到生成的字幕达到某个预定义的最大长度。
下面是一个推理阶段的示例代码：
代码块
pythonCopy code
def generate_caption(image):
initial_state = gru.get_initial_state(image)
input_token = '<start>'
caption = []
for _ in range(max_caption_length):
input_vector = token_to_vector(input_token)
features, state = gru(input_vector, initial_state)
attention = attention_layer([features, encoder_output])
output = output_layer(attention)
predicted_token = vector_to_token(output)
caption.append(predicted_token)
if predicted_token == '<end>':
break
input_token = predicted_token
initial_state = state
return ' '.join(caption)