在 Amazon SageMaker 上部署 Llama 3

用户229

2024年4月19日修改

2024 年 4 月 18 日

今天早些时候，Meta 发布了 Llama 家族的下一个迭代版本 Llama 3。Llama 3 有两种尺寸：8B 适用于在消费级 GPU 上进行高效部署和开发，70B 适用于大规模 AI 原生应用。两者均有基础和指令调优变体。除了这 4 个型号外，Llama Guard 的新版本在 Llama 3 8B 上进行了微调，并作为 Llama Guard 2（安全微调）发布。

在这篇博客中，您将学习如何将 meta-llama/Meta-Llama-3-70B-Instruct 模型部署到 Amazon SageMaker。我们将使用 Hugging Face LLM DLC，这是一个专为在安全和受控环境中轻松部署 LLMs 的推理容器。该 DLC 由文本生成推理（TGI）提供支持，是一个可扩展、优化的解决方案，用于部署和提供大型语言模型（LLMs）。该博客文章还包括不同模型尺寸的硬件要求。

在本博客中将介绍如何：

1.
设置开发环境​

2.
硬件要求​

3.
将 Llama 3 70b 部署到 Amazon SageMaker​

4.
运行推理并与模型聊天​

5.
使用 llmperf 对 llama 3 70B 进行基准测试​

6.
清理​

让我们开始吧！

设置开发环境

我们将使用 sagemaker Python SDK 部署 Mixtral 到 Amazon SageMaker。我们需要确保已配置 AWS 账号并安装了 sagemaker Python SDK。​

代码块

!pip install "sagemaker>=2.216.0" --upgrade --quiet

如果您要在本地环境中使用 Sagemaker。您需要访问具有 Sagemaker 所需权限的 IAM 角色。您可以在这里找到更多相关信息。

代码块

import sagemaker​
import boto3​
sess = sagemaker.Session()# sagemaker session bucket -> used for uploading data, models and logs# sagemaker will automatically create this bucket if it not existssagemaker_session_bucket=Noneif sagemaker_session_bucket is None and sess is not None:    # set to default bucket if a bucket name is not given    sagemaker_session_bucket = sess.default_bucket()​
try:    role = sagemaker.get_execution_role()except ValueError:    iam = boto3.client('iam')    role = iam.get_role(RoleName='sagemaker_execution_role')['Role']['Arn']​
sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)​
print(f"sagemaker role arn: {role}")print(f"sagemaker session region: {sess.boto_region_name}")​

与部署常规 Hugging Face 模型相比，我们首先需要检索容器 URI，并将其提供给我们的 HuggingFaceModel 模型类，其中 image_uri 指向图像。要在 Amazon SageMaker 中检索新的 Hugging Face LLM DLC，我们可以使用 get_huggingface_llm_image_uri 方法，该方法由 sagemaker SDK 提供。该方法允许我们基于指定的 backend 、 session 、 region 和 version 检索所需的 Hugging Face LLM DLC 的 URI。您可以在这里找到可用版本

📌

注意：在撰写此博客文章时，最新版本的 Hugging Face LLM DLC 尚未通过 get_huggingface_llm_image_uri 方法提供。我们将使用原始容器 URI。​

代码块

# COMMENT IN WHEN PR (https://github.com/aws/sagemaker-python-sdk/pull/4314) IS MERGED​
# from sagemaker.huggingface import get_huggingface_llm_image_uri​
​
# # retrieve the llm image uri​
# llm_image = get_huggingface_llm_image_uri(​
#   "huggingface",​
#   version="2.0.0"​
# )​
llm_image = f"763104351884.dkr.ecr.{sess.boto_region_name}.amazonaws.com/huggingface-pytorch-tgi-inference:2.1-tgi2.0-gpu-py310-cu121-ubuntu22.04"​
​
# print ecr image uri​
print(f"llm image uri: {llm_image}")​

llm image uri: 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-tgi-inference:2.1-tgi2.0-gpu-py310-cu121-ubuntu22.04

硬件要求

Llama 3 有两种不同大小 - 8B 和 70B 参数。硬件要求将根据部署到 SageMaker 的模型大小而变化。以下是我们测试的每个模型大小的设置最低要求。​

模型 Model	实例类型Instance Type	量化Quantization	每个副本的 GPU 数量# of GPUs per replica
Llama 8B	(ml.)g5.2xlarge	-	1
Llama 8B	(ml.)g5.12xlarge	gptq \| awq	8
Llama 70B	(ml.)g5.48xlarge	-	8
Llama 70B	(ml.)p4d.24xlarge	-	8

Note: We haven't tested GPTQ or AWQ models yet.​
注意：我们尚未测试GPTQ或AWQ模型。​

部署 Llama 3 到 Amazon SageMaker

在 Amazon SageMaker 上部署 Llama 3​

在 Amazon SageMaker 上部署 Llama 3