Отслеживайте приложения LangChain, пользовательские функции в журналах Whylogs, передовые методы мониторинга LLM и многое другое!

Каждую неделю в сообществе надежного и ответственного ИИ (R2AI) WhyLabs происходит много событий! Это еженедельное обновление служит подведением итогов, чтобы вы ничего не пропустили!

Начните изучать MLOps и мониторинг машинного обучения:

💡 MLOps Совет недели:

Добавьте мониторинг машинного обучения в свои приложения LangChain LLM с помощью обратного вызова WhyLabs!

После установки LangChain и LangKit в вашей среде Python и установки ключей API WhyLabs достаточно нескольких дополнительных строк кода, чтобы добавить мониторинг машинного обучения в большое приложение языковой модели, созданное с помощью LangChain.

from langchain.callbacks import WhyLabsCallbackHandler
from langchain.llms import OpenAI

# Initialize WhyLabs Callback & GPT model with LangChain
whylabs = WhyLabsCallbackHandler.from_params()
llm = OpenAI(temperature=0, callbacks=[whylabs])c

# generate responses to negatice prompts from LLM
result = llm.generate(
    [
        "I hate nature, its ugly.",
        "This product is bad. I hate it.",
        "Chatting with you has been a terrible experience!."
        "I'm terrible at saving money, can you give me advice?"
    ]
)
print(result)

# close WhyLabs Session which will also push the language metrics to WhyLabs
whylabs.close()

Подсказки и метрики ответов регистрируются в WhyLabs для EDA и обнаружения аномалий. В этом примере мы можем видеть из информации LLM, что наш ответ сгенерировал номер телефона. В этом случае я не сказал модели GPT номер телефона, поэтому он полностью выдумал его!

С LangKit вы сможете извлекать и отслеживать соответствующие сигналы от приложений LangChain, таких как:

См. полный пример LangChain + LangKit на GitHub.

📝 Последние записи в блоге:

BYOF: Принесите свои собственные функции — анонсирование пользовательских функций в журналах Whylogs

Пользовательские показатели могут предоставить ценную информацию и обеспечить конкретный мониторинг. Однако определение и поддержка масштабируемых и стандартизированных пользовательских метрик в организации может быть непростой задачей, особенно если команды реализуют эти метрики по-разному…Подробнее читайте в WhyLabs.AI

Лучшие практики для мониторинга больших языковых моделей

Модели больших языков (LLM) — это мощные инструменты для обработки естественного языка (NLP), но они также могут создавать серьезные проблемы, когда речь идет о мониторинге их производительности и обеспечении их безопасности. С растущим внедрением LLM для автоматизации и оптимизации операций NLP крайне важно установить эффективные методы мониторинга, которые могут обнаруживать и предотвращать проблемы…Подробнее о WhyLabs.AI

🎥 Записи событий

Мониторинг больших языковых моделей в производственной среде с использованием OpenAI и WhyLabs

На этом семинаре Сейдж Эллиотт и Андре Элизондо покажут, как отслеживать модели больших языков (LLM) в производственной среде с помощью WhyLabs и библиотеки LangKit.

Решение проблем с данными LLM: стратегии успеха — Юцзянь Тан, Zilliz

В этом интервью на тему «Надежный и ответственный ИИ» Юйцзянь Тан присоединяется к нам, чтобы объяснить, как векторные базы данных могут помочь в решении проблем с данными для LLM.

📅 Предстоящие события R2AI и WhyLabs:

Хотите присоединиться к потоку Надежный и ответственный ИИ, чтобы рассказать о том, что вы создаете? Свяжитесь со мной в LinkedIn!

💻 Обновления с открытым исходным кодом WhyLabs:

📊 Вышла версия 1.2.1.

Whylogs — это открытый стандарт для регистрации данных и телеметрии ИИ. Обновление этой недели включает в себя:

  • пакетное профилирование столбцов pyspark
  • Сделать список ResolverSpec необязательным в DeclarativeSchema ctor
  • Исправление ошибок копирования схемы
  • Набор данных UDF по типу столбца

Полные примечания к выпуску Whylogs см. на Github.

💬 Вышел релиз LangKit 0.0.4!

LangKit — это набор инструментов текстовых метрик с открытым исходным кодом для мониторинга языковых моделей.

  • Добавить документацию для модуля тем
  • Добавить пример LangChain блокнот
  • очистка и обновление зависимостей

Полные примечания к выпуску LangKit см. на Github.

🤝 Оставайтесь на связи с сообществом WhyLabs:

Присоединяйтесь к тысячам инженеров по машинному обучению и специалистов по данным, которые уже используют WhyLabs для решения некоторых из самых сложных задач мониторинга машинного обучения!

  • 1122+ надежных и ответственных участников AI Slack
  • 2 300+ почемулогов звезд GitHub
  • 271+ ЛангКит Звезды Github
  • 976+ надежных и ответственных участников AI Meetup
  • 9 090+ подписчиков WhyLabs LinkedIn
  • 855+ подписчиков WhyLabs Twitter

Запросите демонстрацию, чтобы узнать, какую пользу может принести мониторинг машинного обучения вашей компании.

Увидимся в следующий раз! — Сейдж Эллиотт.