машинное обучение

Машинное обучение – это направление в науке, а с недавних пор и в технологиях, которое решает задачу обучения компьютера. Важно заметить, что не предполагается никакого полноценного обучения, которое можно было бы сравнить с обучением человека. Машинное знание, которое сформировалось в процессе обучения не может принимать по-настоящему интеллектуальных решений, как это может сделать человек. И, несмотря на это, в последнее время потребность в машинном обучении резко выросла. Машинное обучение выходит из сферы только математиков и алгоритмистов, и все глубже проникает в мир IT бизнеса, а затем и в мир простых обывателей. Технологии машинного обучения приносят человеку огромную пользу, и в скором времени каждый человек так или иначе будет ими пользоваться.
Машинной обучение активно применяется в таких сферах, как:
1. IT-сфера: разработка приложений (распознавание речи, обнаружение спама).
2. Рекламные компании (предсказание увеличения или уменьшения аудитории).
3. Маркетинговые исследования.
4. Медицинская диагностика (анализируя истории болезней пациентов, можно обнаруживать незаметные для человека связи и устанавливать неизвестные ранее симптомы опасных заболеваний).
Целью данной работы является изучение машинного обучения.
Для достижения поставленной цели, требуется решить следующие задачи:
1. Описать машинное обучение, выделить методы и алгоритмы.
2. Определить для чего используется машинное обучение.
3. Изучить применение прикладной статистики в машинном обучении.
4. Изучить спецификации в машинном обучении.

1 Что такое машинное обучениеМашинное обучение (МО), а именно так переводится этот термин, является ветвью искусственного интеллекта. Более детальнее – это методика анализа данных, которые позволяют машине/роботу/аналитической системе самостоятельного обучаться посредством решения массива сходных задач.
Если упростить, то технология машинного обучения – это поиск закономерностей в массиве представленной информации и выбор наилучшего решения без участия человека.
Принцип МО хорошо был продемонстрирован компанией Google в ролике «Google's DeepMind AI Just Taught Itself To Walk».
Аналитической системе дали задание добраться из одной точки в другую, используя двуногую и четырехногую модель. При этом не показали, как выглядит ходьба и перемещение на четырех конечностях. Машина путем перебора массива данных, совершая ошибки и пробуя заново, нашла оптимальные варианты движения для двух моделей.
Выделяют 2 типа машинного обучения:
1. Индуктивное или по прецедентам, которое основано на выявлении эмпирических закономерностей во входных данных;
2. Дедуктивное, которое предполагает формализацию знаний экспертов и их перенос в цифровую форму в виде базы знаний.
Дедуктивный тип принято относить к области экспертных систем, поэтому общий термин «машинное обучение» означает обучение по прецедентам. Прецеденты или обучающая выборка – это наборы входных объектов и соответствующих им результатов. При этом не существует четкой формулы, которая аналитически описывает зависимость между результатами и входами. Например, какая погода будет завтра, если на протяжении недели дни были морозные, солнечные, с низкой влажностью воздуха, без ветра и осадков? При этом следует учесть еще множество параметров: географические координаты, рельеф местности, движение теплых и холодных фронтов воздуха и пр. Необходимо построить алгоритм, который выдаст достаточно точный результат для любого возможного входа. Точность результатов регулируется оценочным функционалом качества. Таким образом, решение формируется эмпирически, на основе анализа накопленного опыта. При этом обучаемая система должна быть способна к обобщению – адекватному отклику на данные, выходящие за пределы имеющейся обучающей выборки. На практике входные данные могут быть неполными, неточными и разнородными. Поэтому существует множество методов машинного обучения [2]. Можно сказать, что машинное обучение реализует подход Case Based Reasoning (CBR) — метод решения проблем рассуждением по аналогии, путем предположения на основе подобных случаев (прецедентов).
2 Существующие алгоритмы машинного обученияМашинное обучение – это класс методов автоматического создания прогнозных моделей на основе данных. Алгоритмы машинного обучения превращают набор данных в модель. Какой алгоритм работает лучше всего (контролируемый, неконтролируемый, классификация, регрессия и т. д.), зависит от типа решаемой задачи, доступных вычислительных ресурсов и характера данных.
Алгоритмы обычно напрямую говорят компьютеру, что делать. Например, алгоритмы сортировки преобразуют неупорядоченные данные в данные, упорядоченные по некоторым критериям, часто в числовом или алфавитном порядке одного или нескольких полей данных.
Выделяют 3 вида классического Machine Learning:
1. С учителем (supervised learning), когда необходимо найти функциональную зависимость результатов от входов и построить алгоритм, на входе принимающий описание объекта и на выходе выдающий ответ. Функционал качества, как правило, определяется через среднюю ошибку ответов алгоритма по всем объектам выборки. К обучению с учителем относятся задачи классификации, регрессии, ранжирования и прогнозирования.
2. Без учителя (unsupervised learning), когда ответы не задаются, и нужно искать зависимости между объектами. Сюда входят задачи кластеризации, поиска ассоциативных правил, фильтрации выбросов, построения доверительной области, сокращения размерности и заполнения пропущенных значений.
3. Глубокое обучение (Deep learning). Глубокое машинное обучение – это обязательно анализ «Больших данных» - Big Data. То есть одним компьютером, одной программой переработать столько информации просто невозможно. Поэтому используются нейронные сети. Суть такого обучения в том, что огромное поле информации разделяется на небольшие сегменты данных, обработка которых делегируется другим устройствам. Например, один процессор только собирает информацию по задаче и передает дальше, четыре других процессора анализируют собранные данные и передают результаты дальше. Следующие в цепочке процессоры ищут решения.
К неклассическим, но весьма популярным методам относят обучение с подкреплением, в частности, генетические алгоритмы, и искусственные нейронные сети. В качестве входных объектов выступают пары «ситуация, принятое решение», а ответами являются значения функционала качества, который характеризует правильность принятых решений (реакцию среды). Эти методы успешно применяются для формирования инвестиционных стратегий, автоматического управления технологическими процессами, самообучения роботов и других подобных задач.
Ниже на рисунке 1 показана классификация наиболее часто используемых методов Machine Learning.
Алгоритмы машинного обучения можно описать как обучение целевой функции f, которая наилучшим образом соотносит входные переменные X и выходную переменную Y: Y = f(X).
Неизвестно, что из себя представляет функция f. Если было бы известно, то можно было бы использовать её напрямую, а не пытаться обучить с помощью различных алгоритмов.
Наиболее распространённой задачей в машинном обучении является предсказание значений Y для новых значений X. Это называется прогностическим моделированием, и цель – сделать как можно более точное предсказание.
Далее будут рассмотрены самые популярные алгоритмы машинного обучения.
Рисунок SEQ Рисунок \* ARABIC 1 – Наиболее часто используемые методы машинного обучения
2.1 Линейная регрессияЛинейная регрессия – один из наиболее известных и понятных алгоритмов в статистике и машинном обучении.
Прогностическое моделирование в первую очередь касается минимизации ошибки модели или, другими словами, как можно более точного прогнозирования.
Линейную регрессию можно представить в виде уравнения, которое описывает прямую, наиболее точно показывающую взаимосвязь между входными переменными X и выходными переменными Y. Для составления этого уравнения нужно найти определённые коэффициенты B для входных переменных.

Рисунок SEQ Рисунок \* ARABIC 2 – Линейная регрессия
Например: Y = B0+ B1 * XЗная X, необходимо найти Y, и цель линейной регрессии заключается в поиске значений коэффициентов B0 и B1.
Для оценки регрессионной модели используются различные методы вроде линейной алгебры или метода наименьших квадратов.
2.2 Логистическая регрессияЛогистическая регрессия – ещё один алгоритм, пришедший в машинное обучение прямиком из статистики. Её хорошо использовать для задач бинарной классификации (это задачи, в которых на выходе мы получаем один из двух классов).
Логистическая регрессия похожа на линейную тем, что в ней тоже требуется найти значения коэффициентов для входных переменных. Разница заключается в том, что выходное значение преобразуется с помощью нелинейной или логистической функции.
Логистическая функция выглядит как большая буква S и преобразовывает любое значение в число в пределах от 0 до 1. Это весьма полезно, так как можно применить правило к выходу логистической функции для привязки к 0 и 1 (например, если результат функции меньше 0.5, то на выходе получаем 1) и предсказания класса. Пример логистической функции представлен на рисунке 3.
Рисунок SEQ Рисунок \* ARABIC 3 – Логистическая регрессия
Благодаря тому, как обучается модель, предсказания логистической регрессии можно использовать для отображения вероятности принадлежности образца к классу 0 или 1. Это полезно в тех случаях, когда нужно иметь больше обоснований для прогнозирования.
2.3 Линейный дискриминантный анализ (LDA)Логистическая регрессия используется, когда нужно отнести образец к одному из двух классов. Если классов больше, чем два, то лучше использовать алгоритм LDA (Linear discriminant analysis).
Представление LDA довольно простое. Оно состоит из статистических свойств данных, рассчитанных для каждого класса. Для каждой входной переменной это включает:
1. Среднее значение для каждого класса;
2. Дисперсию, рассчитанную по всем классам.
Рисунок SEQ Рисунок \* ARABIC 4 – Линейный дискриминантный анализ
Предсказания производятся путём вычисления дискриминантного значения для каждого класса и выбора класса с наибольшим значением. Предполагается, что данные имеют нормальное распределение, поэтому перед началом работы рекомендуется удалить из данных аномальные значения. Это простой и эффективный алгоритм для задач классификации.
2.4 Деревья принятия решенийДерево решений можно представить в виде двоичного дерева, знакомого многим по алгоритмам и структурам данных. Каждый узел представляет собой входную переменную и точку разделения для этой переменной (при условии, что переменная – число).

Рисунок SEQ Рисунок \* ARABIC 5 – Деревья принятия решений
2.5 Наивный Байесовский классификаторНаивный Байес – простой, но удивительно эффективный алгоритм.
Модель состоит из двух типов вероятностей, которые рассчитываются с помощью тренировочных данных:
1. Вероятность каждого класса.
2. Условная вероятность для каждого класса при каждом значении x.
После расчёта вероятностной модели её можно использовать для предсказания с новыми данными при помощи теоремы Байеса. Если в наличии вещественные данные, то, предполагая нормальное распределение, рассчитать эти вероятности не составляет особой сложности.
Рисунок SEQ Рисунок \* ARABIC 6 – Наивный Байесовский классификатор
Наивный Байес называется наивным, потому что алгоритм предполагает, что каждая входная переменная независимая. Это сильное предположение, которое не соответствует реальным данным. Тем не менее данный алгоритм весьма эффективен для целого ряда сложных задач вроде классификации спама или распознавания рукописных цифр.
2.6 K-ближайших соседей (KNN)К-ближайших соседей – очень простой и весьма эффективный алгоритм. Модель KNN (K-nearest neighbors) представлена всем набором тренировочных данных.
Предсказание для новой точки делается путём поиска K ближайших соседей в наборе данных и суммирования выходной переменной для этих K экземпляров.
Вопрос лишь в том, как определить сходство между экземплярами данных. Если все признаки имеют один и тот же масштаб (например, сантиметры), то самый простой способ заключается в использовании евклидова расстояния – числа, которое можно рассчитать на основе различий с каждой входной переменной.