Об аналитике на простом примере

В этой статье хотелось бы на простых примерах рассказать вам о разных уровнях аналитики. Конечно же любой человек, так или иначе, занимается анализом данных и является аналитиком. Когда мы покупаем продукты в магазине, когда рассматриваем различные варианты поездки в отпуск, когда покупаем машину или квартиру, мы собираем и оцениваем, иногда, довольно большие объёмы информации, на основании которой проводим анализ и вырабатываем то или иное решение. Так и в бизнесе, любая компания собирает, генерирует и использует в своей деятельности просто гигантские объёмы данных, которые нужно систематизировать, хранить, оберегать от несанкционированного доступа, ибо эта информация может иметь серьёзные последствия для деятельности компании, как положительные, так и отрицательные. Разобраться во всём потоке этой информации напрямую, не имея инструментов, довольно сложно. И любой здравомыслящий человек начинает искать и применять те или иные инструменты для анализа. 

Я вижу несколько уровней зрелости при применении подобных инструментов. И давайте сразу назовём эти уровни, но в несколько неожиданном формате. Я выделяю «школьную» аналитику, аналитику «ВУЗа» и зрелую аналитику, на уровне «аспирантуры» или даже «научно-исследовательского института». Человек ведь не сразу начинает проводить анализ на уровне «ВУЗа», например. Надо сначала научиться вообще аналитике, и мы начинаем эту аналитику с «Первого класса», когда для анализа данных используем ручку и бумагу, простой пример – сравнение цен в магазинах, мы собираем информацию о цене на какой-то товар, записываем её в блокнот, обогащаем дополнительными данными по срокам поставке, удалённости магазина, графике работы и т.п., и уже на основании всей этой информации принимаем решение. Такая аналитика «начальной школы» может иметь разные степени сложности, но обычный человек пользуется именно такими методами анализа, класс от класса усложняя задачи для анализа с использованием мультифакторных источников данных. 

Уже класса с «пятого» нам перестаёт хватать бумаги и ручки, и мы начинаем использовать, например, компьютер и электронные таблицы. Я думаю, многие, для выполнения задач по расчёту каких-либо параметров, использовали электронные таблицы Microsoft Excel. Да, это уже существенный прогресс, мы можем обрабатывать гораздо большие объёмы информации, использовать различные формулы в расчётах, и методы автоматической обработки информации. В «шестом»-«седьмом» классе мы познаём сводные таблицы, это даёт нам возможность для сопоставления различных источников с сведением необходимой информации из них в отдельный отчёт. К сожалению, табличный формат данных, как бы мы его не «разукрашивали», не даёт возможности «выхватывания» необходимой информации «на лету», только взглянув на таблицу. Поэтому в «восьмом»-«девятом» классе мы начинаем использовать различные визуализации, которые как раз дают нам эту возможность. Согласитесь, есть две большие разницы в этом примере: 

Ну и в конце «средней школы» есть возможность привнести в аналитику немного программирования – использование Visual Basic даёт нам больше возможностей для обработки данных для более глубокого анализа, а возможность публикации данных на сервисе отчётов позволяет делиться этой информацией с необходимыми участниками анализа и использования данных в бизнес-процессах организации. 

И вот мы перешли в «ВУЗ», как и в любом высшем учебном заведении мы на «первом курсе» повторяем и углубляем изучение материалов «последних классов» школы. И вот, мы уже начинаем использовать полноценные BI (Бизнес-Аналитика, от анг. Business Intelligence) системы. И в данном случае Intelligence, которое переводится в т.ч. как «разведка», это правильный термин. Именно «разведкой», глубоким исследованием данных, занимается аналитик в данном случае, это не только удобный формат отображения информации, но и возможность для поиска инсайтов, взаимосвязей разных наборов и источников данных, иногда не связанных между собой с первого взгляда, но тем не менее имеющих влияние друг на друга. 

С каждым новым «курсом» усиливаются возможности для аналитики, мы начинаем применять средства автоматического сбора данных, используем различные API, коннекторы, парсеры и другие средства для того, чтобы связать все необходимые нам источники в единую «фабрику данных», в «озеро данных», из которого мы будем черпать информацию для анализа, и возвращать обратно, в обработанном, понятном для других средств анализа, для нижестоящих систем автоматизации виде. Как итог, финалом этого этапа «обучения», будет использование аналитических сервисов, которые умеют решать все вышесказанные задачи, а аналитику требуется делать именно то, для чего он эти сервисы использует – анализировать, вырабатывать решения и иметь механизм для контроля за качеством решения и его исполнением. 

Но на этом движение к вершинам аналитики не заканчивается, ибо далее, на уровне «аспирантуры» и «научно-исследовательского института» нам открываются возможности предиктивной и прескриптивной аналитики. Опять немного отвлечёмся на термины, предиктивная аналитика иначе форкастинг или, по-русски, прогноз, это метод анализа данных, который приводит к появлению информации о будущих данных, которых у нас ещё нет, о результатах того, что ещё не свершилось. В свою очередь прескриптивная аналитика — это технология выработки решения на основании анализа данных в автоматическом режиме, минуя человека. Формируется некий список задач в решении, «скрипт», который передаётся для исполнения человеку, программному обеспечению, машине или механизму. Конечно же и у предиктивной и у прескриптивной аналитики есть свои уровни «образования» и сложности.  

Обычно предиктивная аналитика производится с помощью методов машинного обучения. Конечно же, всё это лишь теория вероятностей, и мы не сможем предугадать результат в будущем со 100% качеством. Методами BI определяются связи в имеющихся данных, степень влияния тех или иных данных друг на друга, на основании этих исследований создаётся модель данных, и уже методом машинного обучения на 70% данных производится обучение, а на 30% - сверка. Когда результат сверки совпадает с результатом, полученным методом машинного обучения на необходимую нам величину, мы можем уже выходить за пределы имеющихся данных и делать прогноз. Обычно для улучшения качества прогнозирования используют дополнительные источники данных, с помощью которых обогащается модель. Оптимальным считается результат за 95+% «попадания» прогноза в фактические значения. Для достижения результата в 99+% или даже в 99.9+% может потребоваться очень большое количество итераций с поиском данных для обогащения модели и с обучением этой модели. Тем не менее в некоторых областях хозяйственной деятельности это возможно. 

В свою очередь прескриптивная аналитика, базирующаяся на классической аналитике, и иногда на предиктивной аналитике, позволяет исключить человека из цепочки анализа данных и принятия решения. Всё это приводит к тому, что повышается не только качество принимаемых решений, но и скорость их выполнения, качество контроля за принимаемыми решениями. Прескриптивная аналитика может состоять из цепочек – аналитика-предиктивная аналитика-прескриптивная аналитика и снова аналитика и так далее. Сложность решаемой задачи в данном случае имеет прямое влияние на эту цепочку. В некоторых простых бизнес-процессах, например связанных с контролем каких-то климатических параметров, система «понимает» входящие параметры, вырабатывает «скрипт» для выполнения и передаёт его на уровень исполнения. Как пример – понижается температура в помещении ниже установленного уровня, система отслеживает эти значения с помощью датчиков, и при достижении пороговых значений даёт команду на нагревательные приборы для повышения температуры воздуха в помещении. Прексриптивная аналитика внутри бизнес-процессов довольно сложная, но выполнимая задача. Конечно же, на определённом уровне «обучения». 

И всё же я считаю, что высший уровень аналитики – это сам человек, его мозг, который придумал всё вышесказанное для облегчения выполнения поставленных задач, снижения ошибок при их выполнении и повышения скорости принятия решений. Благодаря «лени» человека, мы и пользуемся этими благами, называемыми «аналитикой»! Так будем учиться, расти, познавать новое, но не забывать о том, что явилось первопричиной задачи «аналитики» - сам человек, его благополучие, здоровье, и вообще существование. 

(С) Елин Александр Сергеевич, генеральный директор ООО АЛАН-ИТ