Создайте прочную основу для принятия решений на основе данных с помощью этих 10 основных концепций

Введение

Поскольку наука о данных становится все более важной областью во многих отраслях, важно понимать некоторые основные концепции, чтобы разобраться в огромном количестве данных, которые мы собираем. В этой статье мы рассмотрим 10 основных концепций науки о данных, о которых должен знать каждый новичок.

1. Визуализация данных

Визуализация данных является ключевой частью науки о данных, поскольку позволяет нам лучше понять отношения между различными переменными в наших данных. Создавая визуальное представление наших данных, мы можем быстро выявлять закономерности и тенденции, которые могут быть не сразу очевидны при просмотре необработанных данных.

Некоторые распространенные типы визуализации данных включают точечные диаграммы, линейные графики, гистограммы, гистограммы, диаграммы qq, сглаженные плотности, ящичные диаграммы, парные диаграммы и тепловые карты. Эти различные типы визуализации полезны для разных типов данных и могут помочь нам получить представление о различных аспектах наших данных.

Помимо того, что это инструмент для анализа данных, визуализация данных также используется в машинном обучении для предварительной обработки и анализа данных, выбора функций, построения модели, тестирования модели и оценки модели.

2. Выбросы

Выброс — это точка данных, которая значительно отличается от остальных данных в наборе данных. Выбросы могут возникать по нескольким причинам, включая неисправность датчиков, загрязнение экспериментов или человеческую ошибку при записи данных.

Выявлять выбросы важно, потому что они могут оказать существенное влияние на результаты нашего анализа. Если выброс — это просто плохие данные, то мы можем просто отбросить его. Однако если выброс указывает на реальное явление, то нам необходимо учитывать его в нашем анализе.

Одним из распространенных способов выявления выбросов является использование ящичковой диаграммы, которая позволяет нам визуализировать распределение наших данных и идентифицировать любые точки данных, выходящие за пределы нормального диапазона.

3. Вменение данных

Большинство наборов данных содержат ошибки, которые могут затруднить анализ данных. Один из способов справиться с отсутствующими данными — просто отбросить точку данных, но это может привести к потере ценной информации.

Другой подход заключается в использовании методов интерполяции для оценки недостающих значений из других точек данных в наборе данных. Одним из распространенных методов интерполяции является вменение среднего, при котором отсутствующее значение заменяется средним значением всего столбца признаков.

Важно соблюдать осторожность при использовании методов вменения данных, поскольку они могут внести систематическую ошибку в наш анализ. Мы всегда должны пытаться понять причины отсутствия данных и использовать соответствующие методы для их обработки.

4. Масштабирование данных

Масштабирование данных — важный шаг в подготовке наших данных для алгоритмов машинного обучения. Масштабирование наших данных может помочь улучшить качество и прогностическую силу наших моделей.

Масштабирование данных включает нормализацию или стандартизацию входных и выходных переменных с действительным знаком. Нормализация включает в себя масштабирование данных, чтобы иметь среднее значение 0 и стандартное отклонение 1, в то время как стандартизация включает масштабирование данных, чтобы иметь среднее значение 0 и дисперсию 1.

Для разных алгоритмов машинного обучения могут потребоваться разные типы масштабирования данных, поэтому важно понимать, какие методы подходят для нашего конкретного случая использования.

5. Анализ основных компонентов (PCA)

Большие наборы данных с сотнями или тысячами функций могут быть трудны для анализа, так как между различными функциями может быть избыточность или корреляция. Это может привести к переоснащению и плохой работе наших моделей.

Анализ основных компонентов (PCA) — это статистический метод, который используется для выделения признаков. PCA используется для преобразования исходного пространства признаков в пространство главного компонента, что позволяет нам уменьшить размерность нашего набора данных, сохраняя при этом наиболее важную информацию.

PCA особенно полезен для многомерных и коррелированных данных, поскольку он позволяет нам определить наиболее важные функции и удалить избыточность из нашего набора данных.

6. Линейный дискриминантный анализ (LDA)

Цель линейного дискриминантного анализа — найти подпространство признаков, которое оптимизирует разделимость классов и уменьшает размерность. Следовательно, LDA является контролируемым алгоритмом. Входными данными для LDA является обучающий набор данных с помеченной информацией о классе.

Первым шагом в LDA является вычисление средних значений векторов признаков по классам. Второй шаг заключается в вычислении матриц рассеяния между классами и внутри классов. Матрица рассеяния между классами измеряет расстояние между средними значениями разных классов, а матрица рассеяния внутри классов измеряет разброс данных внутри каждого класса. Третий шаг — решить проблему собственных значений матрицы S^(-1)B, где S и B — матрицы рассеяния внутри класса и между классами соответственно. Собственные векторы, соответствующие наибольшим собственным значениям, являются оптимальными линейными дискриминантами, определяющими новое подпространство.

LDA используется для уменьшения размерности данных и извлечения признаков. Это полезно для повышения точности классификации данных. LDA широко используется в области распознавания образов, компьютерного зрения и биоинформатики.

7. Разделение данных

В машинном обучении набор данных часто разбивается на наборы для обучения и тестирования. Модель обучается на обучающем наборе данных, а затем тестируется на тестовом наборе данных. Таким образом, тестовый набор данных действует как невидимый набор данных, который можно использовать для оценки ошибки обобщения (ошибки, ожидаемой при применении модели к реальному набору данных после развертывания модели).

Разделение данных — важная концепция машинного обучения, поскольку она помогает оценить производительность модели. Цель любой модели машинного обучения — хорошо обобщать новые, невидимые данные. Разделение данных также полезно для предотвращения переобучения, которое является распространенной проблемой в моделях машинного обучения. Переобучение происходит, когда модель слишком сложна и слишком хорошо соответствует обучающим данным, что приводит к снижению производительности на тестовых данных.

8. Контролируемое обучение

Это алгоритмы машинного обучения, которые выполняют обучение, изучая взаимосвязь между переменными признаков и известной целевой переменной. У контролируемого обучения есть две подкатегории, такие как непрерывные целевые переменные и дискретные целевые переменные.

В обучении с учителем цель состоит в том, чтобы изучить функцию отображения, которая отображает входные функции в выходную переменную. Входные функции также известны как независимые переменные или предикторы, а выходная переменная известна как зависимая переменная или переменная отклика. В обучении с учителем обучающие данные помечены, т. е. выходная переменная известна для каждой обучающей выборки. Цель состоит в том, чтобы изучить взаимосвязь между входными функциями и выходной переменной из помеченных обучающих данных. Затем изученную модель можно использовать для прогнозирования выходной переменной для новых входных значений.

9. Обучение без учителя

В неконтролируемом обучении цель состоит в том, чтобы идентифицировать закономерности или структуру данных без необходимости в помеченной целевой переменной. Этот тип обучения используется, когда у нас нет предварительных знаний о данных и мы не знаем, какие шаблоны или структуры могут существовать в данных. Алгоритмы обучения без учителя можно использовать для выполнения таких задач, как кластеризация, обнаружение аномалий и уменьшение размерности.

Кластеризация — это процесс группировки похожих точек данных таким образом, что точки данных в одной группе (или кластере) больше похожи друг на друга, чем на точки в других кластерах. Кластеризация K-средних — это популярный алгоритм, используемый для кластеризации. В этом алгоритме мы сначала случайным образом назначаем точки данных определенному количеству кластеров. Затем мы вычисляем центроид каждого кластера и переназначаем точки данных ближайшему центроиду. Этот процесс продолжается до тех пор, пока центроиды больше не меняются или не будет достигнуто определенное количество итераций.

Обнаружение аномалий используется для выявления точек данных, которые значительно отличаются от других точек данных в наборе данных. Эти точки данных называются аномалиями или выбросами. Обнаружение аномалий используется в различных областях, таких как обнаружение мошенничества, обнаружение вторжений и медицинская диагностика. Одним из популярных алгоритмов, используемых для обнаружения аномалий, является алгоритм изолированного леса.

Уменьшение размерности используется для уменьшения количества объектов в наборе данных при сохранении большей части релевантной информации. Это делается путем выявления наиболее важных функций и отбрасывания остальных. Анализ главных компонентов (PCA) — это популярный алгоритм, используемый для уменьшения размерности. В PCA мы определяем основные компоненты набора данных, то есть направления, в которых данные изменяются больше всего.

10. Обучение с подкреплением

Обучение с подкреплением — это тип машинного обучения, при котором агент учится вести себя в окружающей среде, выполняя действия и получая вознаграждение или наказание. Цель агента — максимизировать вознаграждение, которое он получает с течением времени. Обучение с подкреплением используется в различных приложениях, таких как игры, робототехника и рекомендательные системы.

При обучении с подкреплением агент взаимодействует с окружающей средой, совершая действия и получая вознаграждение или наказание в зависимости от своих действий. Агент учится выбирать наилучшее действие на основе получаемого вознаграждения. Агент использует политику, которая представляет собой сопоставление состояний с действиями, чтобы решить, какое действие предпринять в данном состоянии.

Цель агента — максимизировать совокупное вознаграждение, которое он получает с течением времени. Это делается путем изучения функции ценности или Q-функции, которая представляет собой функцию, которая сопоставляет состояния и действия с ожидаемыми наградами. Агент обновляет свою функцию ценности в зависимости от получаемых вознаграждений и переходов, которые он совершает из одного состояния в другое.

Алгоритмы обучения с подкреплением можно разделить на две категории: основанные на моделях и без моделей. В обучении с подкреплением на основе моделей у агента есть модель среды, которую он использует для прогнозирования следующего состояния и вознаграждения с учетом текущего состояния и действия. В безмодельном обучении с подкреплением у агента нет модели среды, и он учится методом проб и ошибок.

Одним из популярных алгоритмов, используемых в обучении с подкреплением, является Q-обучение. Q-обучение — это алгоритм без моделей, который изучает функцию действия-ценности. Функция «действие-значение» сопоставляет пару «состояние-действие» с ожидаемым кумулятивным вознаграждением, если агент выполняет это действие в этом состоянии и после этого следует оптимальной политике. Алгоритм Q-обучения обновляет функцию «действие-ценность» в зависимости от получаемых вознаграждений и переходов, которые он совершает.

Заключение

В заключение, наука о данных — это быстро развивающаяся область, которая революционизирует то, как мы собираем, обрабатываем и анализируем данные. Он сочетает в себе методы статистики, математики, информатики и предметной области для извлечения информации из сложных и разнообразных источников данных. В этой статье мы рассмотрели десять основных концепций науки о данных, о которых должен знать каждый новичок. К ним относятся визуализация данных, выбросы, вменение данных, масштабирование данных, анализ основных компонентов, линейный дискриминантный анализ, разделение данных, обучение с учителем, обучение без учителя и обучение с подкреплением. Поняв эти концепции, новички могут получить прочную основу в науке о данных и начать изучать огромные возможности, которые предлагает эта область.