Отслеживайте приложения LangChain, пользовательские функции в журналах Whylogs, передовые методы мониторинга LLM и многое другое!
Каждую неделю в сообществе надежного и ответственного ИИ (R2AI) WhyLabs происходит много событий! Это еженедельное обновление служит подведением итогов, чтобы вы ничего не пропустили!
Начните изучать MLOps и мониторинг машинного обучения:
- 📅 Присоединяйтесь к следующему событию: Введение в мониторинг LLM в производстве
- 💻 Ознакомьтесь с нашими проектами с открытым исходным кодом whylogs и LangKit!
- 💬 Присоединяйтесь к 1123 надежным и ответственным участникам AI Slack.
- 🤝 Запросите демонстрацию, чтобы узнать, какую пользу вам может принести мониторинг машинного обучения
💡 MLOps Совет недели:
Добавьте мониторинг машинного обучения в свои приложения LangChain LLM с помощью обратного вызова WhyLabs!
После установки LangChain и LangKit в вашей среде Python и установки ключей API WhyLabs достаточно нескольких дополнительных строк кода, чтобы добавить мониторинг машинного обучения в большое приложение языковой модели, созданное с помощью LangChain.
from langchain.callbacks import WhyLabsCallbackHandler from langchain.llms import OpenAI # Initialize WhyLabs Callback & GPT model with LangChain whylabs = WhyLabsCallbackHandler.from_params() llm = OpenAI(temperature=0, callbacks=[whylabs])c # generate responses to negatice prompts from LLM result = llm.generate( [ "I hate nature, its ugly.", "This product is bad. I hate it.", "Chatting with you has been a terrible experience!." "I'm terrible at saving money, can you give me advice?" ] ) print(result) # close WhyLabs Session which will also push the language metrics to WhyLabs whylabs.close()
Подсказки и метрики ответов регистрируются в WhyLabs для EDA и обнаружения аномалий. В этом примере мы можем видеть из информации LLM, что наш ответ сгенерировал номер телефона. В этом случае я не сказал модели GPT номер телефона, поэтому он полностью выдумал его!
С LangKit вы сможете извлекать и отслеживать соответствующие сигналы от приложений LangChain, таких как:
См. полный пример LangChain + LangKit на GitHub.
📝 Последние записи в блоге:
BYOF: Принесите свои собственные функции — анонсирование пользовательских функций в журналах Whylogs
Пользовательские показатели могут предоставить ценную информацию и обеспечить конкретный мониторинг. Однако определение и поддержка масштабируемых и стандартизированных пользовательских метрик в организации может быть непростой задачей, особенно если команды реализуют эти метрики по-разному…Подробнее читайте в WhyLabs.AI
Лучшие практики для мониторинга больших языковых моделей
Модели больших языков (LLM) — это мощные инструменты для обработки естественного языка (NLP), но они также могут создавать серьезные проблемы, когда речь идет о мониторинге их производительности и обеспечении их безопасности. С растущим внедрением LLM для автоматизации и оптимизации операций NLP крайне важно установить эффективные методы мониторинга, которые могут обнаруживать и предотвращать проблемы…Подробнее о WhyLabs.AI
🎥 Записи событий
Мониторинг больших языковых моделей в производственной среде с использованием OpenAI и WhyLabs
На этом семинаре Сейдж Эллиотт и Андре Элизондо покажут, как отслеживать модели больших языков (LLM) в производственной среде с помощью WhyLabs и библиотеки LangKit.
Решение проблем с данными LLM: стратегии успеха — Юцзянь Тан, Zilliz
В этом интервью на тему «Надежный и ответственный ИИ» Юйцзянь Тан присоединяется к нам, чтобы объяснить, как векторные базы данных могут помочь в решении проблем с данными для LLM.
📅 Предстоящие события R2AI и WhyLabs:
Хотите присоединиться к потоку Надежный и ответственный ИИ, чтобы рассказать о том, что вы создаете? Свяжитесь со мной в LinkedIn!
- 7/19 Введение в LLM-мониторинг в производстве с помощью LangKit & WhyLabs
- 27 июля Счастливый час MLOps [Личная встреча в Сиэтле] @ Optimism!
- 8/2 Введение в мониторинг машинного обучения: дрейф данных, качество, предвзятость и объяснимость
- 8/9 Объединение возможностей LLM с компьютерным зрением — Джейкоб Маркс, Voxel51
💻 Обновления с открытым исходным кодом WhyLabs:
📊 Вышла версия 1.2.1.
Whylogs — это открытый стандарт для регистрации данных и телеметрии ИИ. Обновление этой недели включает в себя:
- пакетное профилирование столбцов pyspark
- Сделать список ResolverSpec необязательным в DeclarativeSchema ctor
- Исправление ошибок копирования схемы
- Набор данных UDF по типу столбца
Полные примечания к выпуску Whylogs см. на Github.
💬 Вышел релиз LangKit 0.0.4!
LangKit — это набор инструментов текстовых метрик с открытым исходным кодом для мониторинга языковых моделей.
- Добавить документацию для модуля тем
- Добавить пример LangChain блокнот
- очистка и обновление зависимостей
Полные примечания к выпуску LangKit см. на Github.
🤝 Оставайтесь на связи с сообществом WhyLabs:
Присоединяйтесь к тысячам инженеров по машинному обучению и специалистов по данным, которые уже используют WhyLabs для решения некоторых из самых сложных задач мониторинга машинного обучения!
- 1122+ надежных и ответственных участников AI Slack
- 2 300+ почемулогов звезд GitHub
- 271+ ЛангКит Звезды Github
- 976+ надежных и ответственных участников AI Meetup
- 9 090+ подписчиков WhyLabs LinkedIn
- 855+ подписчиков WhyLabs Twitter
Запросите демонстрацию, чтобы узнать, какую пользу может принести мониторинг машинного обучения вашей компании.
Увидимся в следующий раз! — Сейдж Эллиотт.