Первое, чему вас учат на любом курсе по машинному обучению или науке о данных, в линейной регрессии используется градиентный спуск (ох!! универсальный закон). Но если вы работали над R и знаменитой функцией «lm», вы бы заметили, что вам не нужно указывать печально известный параметр «эта» скорости обучения. Хм… давайте разбираться!!
Откройте Rstudio и получите доступ к справке по функции «lm» (?lm)
кв?? QR ?? (Правда автор думал, что сможет скрыть это маленькими буквами)
Вы видели это уравнение раньше?
это уравнение приближения наименьших квадратов. Если вы никогда не видели этого, обратитесь к материалам Академии Ханов ниже. (Совет:смотрите, даже если не понимаете. И дождитесь второй части этого контента :-P)
Если это запутало вас, не волнуйтесь, просто помните, что уравнение дает вам приблизительные веса или коэффициенты для вашей модели линейной регрессии.
y=mx+c (в видео b — это y, а m — это x) (не обращайте внимания, если это все еще сбивает с толку :-))
Хорошо !! По крайней мере, теперь мы знаем, что можем делать линейную регрессию без градиентного спуска и не беспокоясь об «эта».
Но !! Вам не кажется, что приведенное выше уравнение слишком сложное. Транспонировать X и умножить на себя, затем инвертировать и т. д.… ЦП: Я НЕНАВИЖУ ТЕБЯ!!
Есть ли способ упростить его? Yaass, разложение QR!!
Посмотрите ниже содержание, чтобы увидеть, как это упрощено.
Ну, я знаю, вы ожидали, что здесь будет какой-то код, чтобы вы могли поиграть.
Я не разочарую вас, если вы вернетесь к части 2. Где мы увидим более простое объяснение и еще один подход, который намного проще и интуитивно понятен, чем QR-факторизация для линейной регрессии.
И угадайте, что с КОДОМ !!
Спойлер:новый подход включает псевдообратную модель Мура-Пенроуза.
Совет для интервью. Скажите миру, что «lm» не использует градиентный спуск, и вы это знаете!!
Эти сообщения в блоге не предназначены для использования в качестве руководства, я думаю, что есть более качественный контент, доступный в другом месте. Вместо этого я либо освещаю менее известные идеи, либо представляю новые интересные идеи в области машинного обучения, которые вы можете обсудить в свое чаепитие!!
Также ознакомьтесь с deepdive (пакет для глубокого обучения, созданный автором этой публикации)
