МиниКФ 1.4 уже здесь! MiniKF — это самый быстрый способ запустить платформу MLOps Kubeflow в AWS или Google Cloud. Напомним, что Kubeflow — это не отдельный двоичный или исполняемый файл, а сложная платформа, состоящая из нескольких сервисов, где каждый компонент имеет свой собственный список зависимостей. Инженеры нередко тратят часы или даже дни на настройку своих сред Kubernetes, развертывание компонентов Kubeflow, а затем выполняют необходимый контроль качества, чтобы убедиться, что все это работает вместе. С MiniKF Arrikto избавился от всех сложностей, а также расширил возможности, так что вы можете приступить к созданию и обслуживанию моделей за минимальное время.
Короче говоря, MiniKF — это развертывание для одного пользователя, предварительно настроенное со всеми компонентами Kubeflow, необходимыми для разработки и обслуживания ваших моделей. МиниКФ 1.4:
- Работает поверх Kubernetes на одной виртуальной машине
- Поддерживает AWS и GCP
- Поставляется с последней версией Kubeflow v1.4.
- Поставляется с предварительно настроенными популярными компонентами Kale и Rok.
Если вы хотите выполнить развертывание на EKS, AKS или GKE с многопользовательской поддержкой, а также расширенными возможностями безопасности и управления данными, мы рекомендуем ознакомиться с дистрибутивом Arrikto Enterprise Kubeflow (EKF).
Что внутри MiniKF 1.4?
Чтобы сделать работу с Kubeflow максимально быстрой и простой, MiniKF 1.4 поддерживает или поставляется со следующими предварительно настроенными компонентами, все из которых проверены на совместную работу:
- Кубефлоу v1.4
- Кубернетес v1.19.15
- Миникуб v1.23.2
- Истио v1.9.6
- Ноутбуки v1.4
- Обучение операторов v1.3
- Катиб v0.12
- Трубопроводы Kubeflow v1.7
- KFServing v0.6.1
- Капуста — расширение JupyterLab
- Rok v1.4 — управление данными
Хорошо, давайте углубимся в новые возможности в этом выпуске!
Поддержка распределенных заданий PyTorch внутри ноутбуков.
С MiniKF 1.4 теперь вы можете легко развернуть распределенное учебное задание PyTorch из своего ноутбука с помощью расширения Kale JupyterLab.
Вы можете узнать больше о том, как настроить распределенные учебные задания PyTorch в MiniKF, ознакомившись с руководством Распределенное обучение в Kubernetes стало проще благодаря Kubeflow, Kale и PyTorch.
Создавайте рабочие процессы AutoML одним нажатием кнопки
В последней версии MiniKF теперь вы можете создавать рабочие процессы AutoML нажатием кнопки. Процесс прост:
- Начните с набора данных
- Определить задачу
- Находите, обучайте и оптимизируйте модель прямо в своем ноутбуке
Усовершенствованная панель инструментов и пользовательский интерфейс
В этом выпуске вы найдете расширенную версию центральной панели управления Kubeflow, а также возможность просматривать серверы ноутбуков во всех пространствах имен в представлении Notebooks.
Новые функции Notebook и Pipeline
Вот список новых возможностей для ноутбуков и конвейеров, доступных в MiniKF 1.4, которые должны понравиться специалистам по данным и инженерам MLOps:
- Возможность предоставления метаданных, ресурсов и спецификаций Kubernetes в Kale SDK
- Установите ограничения, запросы, метки, аннотации или используйте nodeSelector через Kale SDK.
- Переменные среды теперь можно задавать в шагах Kale с помощью Kale SDK.
- Теперь можно настроить размер маршал-тома Kale.
- Kale и существующие образы Docker можно использовать для создания этапов конвейера.
- Kale теперь поддерживает условные операторы с выходными данными шагов конвейера.
- Теперь можно делать прогнозы с использованием существующей службы вывода KFServing через Kale API.
Новые возможности управления данными
Вот новые возможности управления данными и томами, а также возможности моментальных снимков в MiniKF 1.4:
- Теперь вы можете подключить существующий том к серверу ноутбука.
- MiniKF теперь поддерживает тома ReadWriteMany (RWX)
Новые функции мониторинга и управления ресурсами
Вот что нового в отношении мониторинга и управления ресурсами:
- Возможность отслеживать последнюю активность серверов Notebook
- Настраиваемый способ автоматической остановки простаивающих серверов ноутбуков.
- Автоматический процесс сбора логов
Начало работы с Kubeflow через MiniKF
Теперь, когда вы увидели, что нового в MiniKF 1.4, давайте посмотрим, насколько просто начать работу. Сказать, что его легко установить — это одно, а показать его в действии — совсем другое.
Готово и работает на AWS
Вот простые шаги, которые необходимо выполнить, чтобы запустить Kubeflow на AWS через MiniKF.
- Найдите MiniKF в AWS Marketplace
- Развернуть экземпляр m5.2xlarge
- Следите за ходом установки, набрав «minikf» в командной строке.
- Войдите в центральную панель управления Kubeflow.
Узнайте больше в коротком видео ниже или найдите подробную инструкцию по установке здесь.
Готово и работает в Google Cloud
Как и в случае с AWS, настроить и запустить Google Cloud так же просто.
- Найдите MiniKF на GCP Marketplace
- Развернуть экземпляр n1-standard-8
- Следите за ходом установки, набрав «minikf» в командной строке.
- Войдите в центральную панель управления Kubeflow.
Посмотрите короткое видео ниже, чтобы узнать больше, или ознакомьтесь с подробными инструкциями по установке здесь.
Специальное предложение: разверните Kubeflow через MiniKF, и Arrikto покроет расходы на хостинг!
На момент написания этой статьи стоимость запуска экземпляра MiniKF на AWS составляет примерно 0,51 доллара США в час, а на GCP — примерно 0,57 доллара США в час.
До 31 марта 2022 года Arrikto предлагает покрыть ваши расходы, связанные с размещением MiniKF, возместив вам подарочную карту Amazon на 25 долларов. Этого должно быть достаточно для запуска экземпляра MiniKF в течение ~ 49 часов на AWS и ~ 43 часов на GCP.
Просто установите Kubeflow через MiniKF и нажмите ссылку «Подарочная карта» на центральной панели инструментов.
БЕСПЛАТНЫЙ семинар по Kubeflow и MLOps: забронируйте сегодня
Arrikto теперь предлагает 60-минутные виртуальные семинары Kubeflow для вашей команды по теме по вашему выбору — от вводных до продвинутых и конкретных тем. Забронируйте БЕСПЛАТНЫЙ мастер-класс сегодня!
Первоначально опубликовано на https://www.arrikto.com 22 февраля 2022 г.