МиниКФ 1.4 уже здесь! MiniKF — это самый быстрый способ запустить платформу MLOps Kubeflow в AWS или Google Cloud. Напомним, что Kubeflow — это не отдельный двоичный или исполняемый файл, а сложная платформа, состоящая из нескольких сервисов, где каждый компонент имеет свой собственный список зависимостей. Инженеры нередко тратят часы или даже дни на настройку своих сред Kubernetes, развертывание компонентов Kubeflow, а затем выполняют необходимый контроль качества, чтобы убедиться, что все это работает вместе. С MiniKF Arrikto избавился от всех сложностей, а также расширил возможности, так что вы можете приступить к созданию и обслуживанию моделей за минимальное время.

Короче говоря, MiniKF — это развертывание для одного пользователя, предварительно настроенное со всеми компонентами Kubeflow, необходимыми для разработки и обслуживания ваших моделей. МиниКФ 1.4:

  • Работает поверх Kubernetes на одной виртуальной машине
  • Поддерживает AWS и GCP
  • Поставляется с последней версией Kubeflow v1.4.
  • Поставляется с предварительно настроенными популярными компонентами Kale и Rok.

Если вы хотите выполнить развертывание на EKS, AKS или GKE с многопользовательской поддержкой, а также расширенными возможностями безопасности и управления данными, мы рекомендуем ознакомиться с дистрибутивом Arrikto Enterprise Kubeflow (EKF).

Что внутри MiniKF 1.4?

Чтобы сделать работу с Kubeflow максимально быстрой и простой, MiniKF 1.4 поддерживает или поставляется со следующими предварительно настроенными компонентами, все из которых проверены на совместную работу:

  • Кубефлоу v1.4
  • Кубернетес v1.19.15
  • Миникуб v1.23.2
  • Истио v1.9.6
  • Ноутбуки v1.4
  • Обучение операторов v1.3
  • Катиб v0.12
  • Трубопроводы Kubeflow v1.7
  • KFServing v0.6.1
  • Капуста — расширение JupyterLab
  • Rok v1.4 — управление данными

Хорошо, давайте углубимся в новые возможности в этом выпуске!

Поддержка распределенных заданий PyTorch внутри ноутбуков.

С MiniKF 1.4 теперь вы можете легко развернуть распределенное учебное задание PyTorch из своего ноутбука с помощью расширения Kale JupyterLab.

Вы можете узнать больше о том, как настроить распределенные учебные задания PyTorch в MiniKF, ознакомившись с руководством Распределенное обучение в Kubernetes стало проще благодаря Kubeflow, Kale и PyTorch.

Создавайте рабочие процессы AutoML одним нажатием кнопки

В последней версии MiniKF теперь вы можете создавать рабочие процессы AutoML нажатием кнопки. Процесс прост:

  • Начните с набора данных
  • Определить задачу
  • Находите, обучайте и оптимизируйте модель прямо в своем ноутбуке

Усовершенствованная панель инструментов и пользовательский интерфейс

В этом выпуске вы найдете расширенную версию центральной панели управления Kubeflow, а также возможность просматривать серверы ноутбуков во всех пространствах имен в представлении Notebooks.

Новые функции Notebook и Pipeline

Вот список новых возможностей для ноутбуков и конвейеров, доступных в MiniKF 1.4, которые должны понравиться специалистам по данным и инженерам MLOps:

  • Возможность предоставления метаданных, ресурсов и спецификаций Kubernetes в Kale SDK
  • Установите ограничения, запросы, метки, аннотации или используйте nodeSelector через Kale SDK.
  • Переменные среды теперь можно задавать в шагах Kale с помощью Kale SDK.
  • Теперь можно настроить размер маршал-тома Kale.
  • Kale и существующие образы Docker можно использовать для создания этапов конвейера.
  • Kale теперь поддерживает условные операторы с выходными данными шагов конвейера.
  • Теперь можно делать прогнозы с использованием существующей службы вывода KFServing через Kale API.

Новые возможности управления данными

Вот новые возможности управления данными и томами, а также возможности моментальных снимков в MiniKF 1.4:

  • Теперь вы можете подключить существующий том к серверу ноутбука.
  • MiniKF теперь поддерживает тома ReadWriteMany (RWX)

Новые функции мониторинга и управления ресурсами

Вот что нового в отношении мониторинга и управления ресурсами:

  • Возможность отслеживать последнюю активность серверов Notebook
  • Настраиваемый способ автоматической остановки простаивающих серверов ноутбуков.
  • Автоматический процесс сбора логов

Начало работы с Kubeflow через MiniKF

Теперь, когда вы увидели, что нового в MiniKF 1.4, давайте посмотрим, насколько просто начать работу. Сказать, что его легко установить — это одно, а показать его в действии — совсем другое.

Готово и работает на AWS

Вот простые шаги, которые необходимо выполнить, чтобы запустить Kubeflow на AWS через MiniKF.

  • Найдите MiniKF в AWS Marketplace
  • Развернуть экземпляр m5.2xlarge
  • Следите за ходом установки, набрав «minikf» в командной строке.
  • Войдите в центральную панель управления Kubeflow.

Узнайте больше в коротком видео ниже или найдите подробную инструкцию по установке здесь.

Готово и работает в Google Cloud

Как и в случае с AWS, настроить и запустить Google Cloud так же просто.

  • Найдите MiniKF на GCP Marketplace
  • Развернуть экземпляр n1-standard-8
  • Следите за ходом установки, набрав «minikf» в командной строке.
  • Войдите в центральную панель управления Kubeflow.

Посмотрите короткое видео ниже, чтобы узнать больше, или ознакомьтесь с подробными инструкциями по установке здесь.

Специальное предложение: разверните Kubeflow через MiniKF, и Arrikto покроет расходы на хостинг!

На момент написания этой статьи стоимость запуска экземпляра MiniKF на AWS составляет примерно 0,51 доллара США в час, а на GCP — примерно 0,57 доллара США в час.

До 31 марта 2022 года Arrikto предлагает покрыть ваши расходы, связанные с размещением MiniKF, возместив вам подарочную карту Amazon на 25 долларов. Этого должно быть достаточно для запуска экземпляра MiniKF в течение ~ 49 часов на AWS и ~ 43 часов на GCP.

Просто установите Kubeflow через MiniKF и нажмите ссылку «Подарочная карта» на центральной панели инструментов.

БЕСПЛАТНЫЙ семинар по Kubeflow и MLOps: забронируйте сегодня

Arrikto теперь предлагает 60-минутные виртуальные семинары Kubeflow для вашей команды по теме по вашему выбору — от вводных до продвинутых и конкретных тем. Забронируйте БЕСПЛАТНЫЙ мастер-класс сегодня!

Первоначально опубликовано на https://www.arrikto.com 22 февраля 2022 г.