Освоение основ секционирования данных для оптимальной производительности модели
Введение
Представьте себе, что вы лепите шедевр из куска мрамора. Вы не начинаете просто работать, надеясь на лучшее. Вы начинаете с грубой придания ему формы, уточнения деталей и, наконец, нанесения последних штрихов. Подобно этому творческому процессу, задача построения модели машинного обучения также требует ряда тщательно спланированных шагов.
Как однажды сказал знаменитый художник Микеланджело:
«Скульптура внутри мраморного блока уже готова, прежде чем я приступлю к работе. Оно уже здесь; Мне остается только отсечь лишний материал».
Подобно Микеланджело, обнаружившему Давида из каменной глыбы, мы должны выточить нашу модель машинного обучения из грубой массы данных. Этот процесс долбления заключается не только в забивании молотком и лепке; речь идет о разделении нашего исходного материала на три критические части: набор поездов, набор проверки и набор тестов.
Готовы раскрыть своего внутреннего художника? Вот что мы рассмотрим:
- Набор поездов: черновая обработка — создание широких штрихов модели.
- Набор проверки: Детализация — доработка и настройка до совершенства.
- Тестовый набор: Последние штрихи — оценка финального шедевра.
- Распространенные ошибки. Чего нельзя делать с долотом!
- Инструменты и методы: кисти и молотки науки о данных.
Давайте лепить что-нибудь красивое!
Понимание трех наборов
Набор поездов: грубая обработка
Здесь вы делаете первые надрезы в мраморном блоке, придавая ему грубую форму, напоминающую ваше окончательное видение. Набор поездов помогает вашей модели понять общую форму того, что вы пытаетесь создать.
Набор для проверки: детализация
Когда у вас есть приблизительная форма, вы переходите к детализации. Набор для проверки поможет вам настроить и уточнить детали, гарантируя, что ваша скульптура или модель…
