Процесс Data Mining. Построение и использование модели

Уделим внимание оставшимся этапам процесса Data Mining, а именно:

  • построению модели;
  • проверке и оценке моделей;
  • выбору модели;
  • применению модели;
  • коррекцию и обновлению модели
Ключевым словом в названии всех этих этапов является понятие "модель". В связи с этим необходимо уделить некоторое время определениям понятий "модель" и "моделирование".
Моделирование

В широком смысле слова моделирование - это научная дисциплина, цель которой - изучение методов построения и использования моделей для познания реального мира.

Моделирование
- единственный к настоящему времени систематизированный способ увидеть варианты будущего и определить потенциальные последствия альтернативных решений, что позволяет их объективно сравнивать.

Моделирование - достаточно популярный и эффективный метод исследования данных, который является основой анализа данных.

Существует огромное количество ситуаций, когда экспериментировать в реальной жизни не представляется возможным. В этих случаях как раз и применяется моделирование.

Моделирование как процесс представляет собой построение модели и изучение ее свойств, которые подобны наиболее важным, с точки зрения аналитика, свойствам исследуемых объектов.

Таким образом, при помощи моделирования изучаются свойства объектов путем исследования соответствующих свойств построенных моделей.
Моделирование есть метод, процесс и научная дисциплина.

Моделирование широко применяется при использовании методов Data Mining.

Путем использования моделей Data Mining осуществляется анализ данных. С помощи моделей Data Mining обнаруживается полезная, ранее неизвестная, доступная интерпретации информация, используемая для принятия решений.
Модель представляет собой упрощенное представление о реальном объекте, процессе или явлении.

Преимуществом использования моделей при исследованиях является простота модели в сравнении с исследуемым объектом. При этом модели позволяют выделить в объекте наиболее существенные факторы с точки зрения цели исследования, и не отвлекаться на маловажные детали.

Из последнего замечания следует, что модель обладает свойством неполноты, поскольку является по своему определению абстрактной.

Приведем простой пример. Пусть имеется база данных клиентов фирмы, содержащая информацию о доходах клиента, семейном положении, предпочтениях и т.д. На основании этой информации нужно определить, является ли определенный клиент потенциальным покупателем нового товара фирмы.

Строя модель, мы предполагаем, что выбор клиента будет определяться характеристиками, которые имеются в базе данных (и мы считаем их существенными для данной задачи). Однако на решение клиента могут оказывать влияние ряд других факторов (например, мода, влияние рекламы, появление на рынке аналогичных товаров других производителей). Эти факторы являются неучтенными. Следовательно, в процессе использования модели ее структура должна совершенствоваться путем уточнения факторов.
Виды моделей

Построенные модели могут иметь различную сложность. Сложность построенной модели зависит от используемых методов, а также от сложности объекта, который анализируется.

Под сложным объектом понимается объект сложной структуры, который характеризуется большим количеством входных переменных, изменчивостью внутренней структуры и внешних факторов, нелинейностью взаимосвязей и др.

Классификация типов моделей в зависимости от характерных свойств, присущих изучаемому объекту или системе, такова:

  • динамические (системы, изменяющиеся во времени) и статические;
  • стохастические и детерминированные;
  • непрерывные и дискретные;
  • линейные и нелинейные;
  • статистические; экспертные; модели, основанные на методах Data Mining;
  • прогнозирующие (классификационные) и описательные.
Собраться вместе есть начало. Держаться вместе есть прогресс. Работать вместе есть успех.

Основа сообщества была сформирована из активных участников обсуждений в твиттер аккаунтах в 2017-м году.

Главная цель сообщества — обмен мнениями и опытом посредством открытых дисскусий, статей, помощи в разработке торговых стратегий, исследований, и регулярных встреч.
100% partner-owned private investment management firm
Research Algorithmic Group
г.Тюмень,ул. 50лет Октября 8Б
+7 (3452) 57-82-40
BVI | Russia
----------------
post@ragve.ru