Пару лет назад я подготовил для ВМК МГУ лекцию о том, как развёртывать ML-приложения. Начали с одной машины с GPU, затем по мере появления новых задач перешли к Docker, Compose и Kubernetes.
Инструменты и практики развёртывания ML-приложений меняются, но основные инженерные задачи остаются: воспроизвести окружение, дать приложению доступ к GPU и организовать работу на нескольких серверах.
Слайды лекции «Docker & Kubernetes для ML-приложений».
Одна машина с GPU
Самый простой вариант — запустить приложение прямо на машине. Ставим драйвер и библиотеки для работы с GPU, кладём веса модели на диск и запускаем процесс Python. На одной машине этого достаточно, чтобы попробовать модель и проверить, идут ли вычисления на GPU.
Первая сложность возникает, когда нужно повторить окружение на другом сервере или запустить рядом два приложения с разными зависимостями. Приходится следить за тем, какие версии Python и библиотек нужны каждому приложению.
Docker упаковывает окружение
На сервере приложение должно найти ту же версию Python, те же библиотеки и те же системные зависимости, что и на машине разработчика. В Dockerfile я показывал, как выбрать базовый образ, установить зависимости, скопировать код и задать команду запуска. Из этого файла собирается образ, а уже из образа запускается контейнер.
В примере со слайда использован Python 3.8. На нём я показывал структуру Dockerfile.
FROM python:3.8-slim-buster
RUN pip install pandas scikit-learn
COPY app.py /
ENV PORT=8080
CMD ["python", "app.py"]
С GPU появляется отдельная зависимость от сервера. Для NVIDIA на хосте нужны драйвер и настроенный NVIDIA Container Toolkit. При запуске контейнера через Docker GPU можно передать с помощью --gpus. Команда nvidia-smi внутри контейнера помогает проверить, видит ли он устройство. Следующий тест уже прикладной — прогнать один запрос через модель и убедиться, что она действительно выполняет вычисления на GPU. Настройка NVIDIA Container Toolkit.
На слайде доступ к GPU проверялся этой командой. Для запуска выберите доступный тег CUDA-образа, совместимый с вашим хостом.
docker run --gpus all nvidia/cuda:11.0-base nvidia-smi
Compose собирает приложение на одном сервере
Когда в приложении несколько компонентов, нужно описать, как они общаются и где хранят данные. В лекции я взял StyleGAN как пример модели. Python-сервис обращается к ней по внутреннему адресу http://model:8000/check, где model — имя сервиса в Compose. Наружу можно открыть только порт Python-сервиса. Веса монтируются в контейнер модели, а данные PostgreSQL хранятся в именованном томе. Так контейнеры можно пересоздавать, сохраняя данные базы и подключая тот же файл весов.
На одном сервере эту схему удобно поднимать через docker compose up. Если ускоритель нужен только модели, доступ к нему можно дать только её контейнеру. Сеть в Compose · Доступ к GPU в Compose.
Для этого примера нужны исходники обоих сервисов и файл весов. Перед запуском задайте POSTGRES_PASSWORD.
services:
server:
build: ./server
environment:
PORT: 8888
MODEL_ENDPOINT: "http://model:8000/check"
ports:
- "8888:8888"
model:
build: ./model
volumes:
- type: bind
source: ./model/stylegan-ffhq-1024x1024.pkl
target: /app/model.pkl
read_only: true
postgres:
image: postgres:16
environment:
POSTGRES_USER: user
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?set POSTGRES_PASSWORD}
volumes:
- postgres-data:/var/lib/postgresql/data
volumes:
postgres-data:
Что меняется, когда одного сервера уже мало
На одной машине заранее понятно, где запускается приложение, какой GPU ему доступен и куда приходят запросы. С несколькими серверами нужно решать, на каком узле запустить каждую реплику, как направить к ней запросы и что делать, когда узел выходит из строя. Узел может быть почти свободен, но для реплики модели всё равно понадобится доступный GPU на этом же узле.
Kubernetes размещает реплики и маршрутизирует запросы
В Kubernetes Deployment задаёт шаблон Pod и желаемое число реплик. Планировщик выбирает для Pod узел с нужными ресурсами. Если узел выпадает из кластера, Deployment позволяет запустить реплики на другом узле при наличии ресурсов. Service даёт клиентам стабильный адрес и направляет запросы к готовым репликам. Ingress вместе с контроллером позволяет маршрутизировать внешний HTTP-трафик к Service, например по пути /check.
В примере каждый экземпляр модели запрашивает один GPU через nvidia.com/gpu: 1 в resources.limits. Этот ресурс публикует NVIDIA Device Plugin. Если кластеру доступны два подходящих GPU, а в Deployment указаны три реплики, третья будет ждать свободного устройства. Для модели число реплик напрямую связано с доступной ёмкостью кластера. Планирование GPU в Kubernetes.
В манифестах ниже метка app: mlapp совпадает у Pod и селектора Service. Предполагается, что образ доступен кластеру, приложение слушает порт 1234, а в кластере есть Ingress Controller для класса nginx.
apiVersion: apps/v1
kind: Deployment
metadata:
name: mlapp-deployment
labels:
app: mlapp
spec:
replicas: 3
selector:
matchLabels:
app: mlapp
template:
metadata:
labels:
app: mlapp
spec:
containers:
- name: mlapp-container
image: myregistry.com/mlapp:v0.2.3-fix3-gpu
resources:
limits:
nvidia.com/gpu: 1
tolerations:
- key: nvidia.com/gpu
operator: Exists
effect: NoSchedule
---
apiVersion: v1
kind: Service
metadata:
name: mlapp-service
spec:
selector:
app: mlapp
ports:
- protocol: TCP
port: 80
targetPort: 1234
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: mlapp-ingress
spec:
ingressClassName: nginx
rules:
- http:
paths:
- path: /check
pathType: Prefix
backend:
service:
name: mlapp-service
port:
number: 80
Helm выносит параметры развёртывания в значения
Когда одну и ту же схему нужно устанавливать с разными образами, числом реплик или настройками хранилища, эти параметры можно вынести в values.yaml, а манифесты собрать в Helm-чарт. В лекции я показал оба варианта работы с чартами — установку готового JupyterLab с TensorFlow и GPU и создание собственного чарта из шаблона. Устройство Helm-чарта.
Создание собственного чарта на слайдах начинается с helm create mychart.
Пример values.yaml со слайда.
replicaCount: 1
image:
repository: nginx
tag: stable
pullPolicy: IfNotPresent
В шаблоне Deployment образ берётся из values.yaml через такое выражение.
image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
Если модель помещается на одной машине, я бы начал с неё. Когда становится трудно повторять окружение, помогает Docker. Когда приходится размещать реплики на нескольких узлах, направлять к ним запросы и восстанавливать их после сбоев, появляется работа для Kubernetes. Так проще понять, в какой момент каждый инструмент оправдывает свою сложность.