Запишетесь на полный курс Машинного обучения на Python по адресу [email protected] Правдоподобие выборки - вероятность получить (среди всех возможных выборок) именно такие входные данные, которые имеются. Фактически, если параметры независимые, это произведение функции вероятности или плотности вероятности для каждого параметра выборки принять его значение в выборке. Например, если у нас есть выборка из 10 учащихся, то функция правдоподобия выборки будет описывать вероятности, что в выборке 0 девушек, 1 девушка, 2 девушки - и т.д. Максимизация правдоподобия Важным практическим использованием правдоподобия выборки является максимизация правдоподобия для фактического значения имеющейся выборки: поскольку событие такой выборки случилось (вероятность его 1), то с помощью функции правдоподобия можно оценить неизвестные параметры априорно известного закона распределения случайной величины. Для удобства работы с частными производными, которые позволяют находить максимум функции, используют логарифм функции правдоподобия: произведение заменяется суммой. Линейная регрессия Для линейной зависимости неизвестной величины от известных параметров применение метода максимального правдоподобия сводится к методу наименьших квадратов. Использование же Байесовского подхода (максимизация апостериорной вероятности) позволяет получить и L2-регуляризацию. Бинарная классификация Важное следствие из метода максимизации правдоподобия заключается в вычислении математических ожиданий событий просто как доли этих событий во всех выборке (среднего арифметического). Например, если у нас в 10 учащихся 6 девушек, то оценкой доли девушек (например, для предсказания пола следующих студентов) будет именно 0,6 (т.е., скорее всего, следующий студент будет девушкой). Экспоненциальное распределение Это будет хорошо работать и для предсказания увеличивающихся интервалов между событиями - если принимаем, что вероятность от времени падает по экспоненциальному закону. Например, на курс записывается 1 человек в день, но иногда приходят и 2 человека, и 5. А в какие-то дни никто не записывается. Тогда с хорошей точностью число новых учащихся будет описываться экспоненциальным распределением со средним значением 1. Метод ближайших соседей Метод максимального правдоподобия положен в основу метода ближайших соседей в задачах классификации: мы ожидаем получить класс неизвестного объекта таким, какой он у большинства соседей. Наивный Байес Улучшенный вариант такого подхода используется и в модели наивного Байеса, в которой применяется метод максимизации апостериорной плотности - т.е. берем во внимание предыдущие значения неизвестной величины, и на основе предыдущей истории и фактических значений выборки уже дает классификационный ответ. Подробнее о практических применениях метода максимального правдоподобия поговорим в соответствующих уроках.
