data analysis что это такое
Анализ данных — основы и терминология
В этой статье я бы хотел обсудить базовые принципы построения практического проекта по (т. н. «интеллектуальному») анализу данных, а также зафиксировать необходимую терминологию, в том числе русскоязычную.
Анализ данных — это область математики и информатики, занимающаяся построением и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных; процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений.
Говоря чуть более простым языком, я бы предложил понимать под анализом данных совокупность методов и приложений, связанных с алгоритмами обработки данных и не имеющих четко зафиксированного ответа на каждый входящий объект. Это будет отличать их от классических алгоритмов, например реализующих сортировку или словарь. От конкретной реализации классического алгоритма зависит время его выполнения и объем занимаемой памяти, но ожидаемый результат его применения строго зафиксирован. В противоположность этому мы ожидаем от нейросети, распознающей цифры, ответа 8 при входящей картинке, изображающей рукописную восьмерку, но не можем требовать этого результата. Более того, любая (в разумном смысле этого слова) нейросеть будет иногда ошибаться на тех или иных вариантах корректных входных данных. Будем называть такую постановку задачи и применяющиеся при ее решении методы и алгоритмы недетерминистическими (или нечеткими) в отличии от классических (детерминистических, четких).
Алгоритмы и эвристики
Описанную задачу распознавания цифр можно решать пытаясь самостоятельно подобрать функцию, реализующую соответствующее отображение. Получится, скорее всего, не очень быстро и не очень хорошо. С другой стороны, можно прибегнуть к методам машинного обучения, то есть воспользоваться вручную размеченной выборкой (или, в других случаях, теми или иными историческими данными) для автоматического подбора решающей функции. Таким образом, здесь и далее (обобщенным) алгоритмом машинного обучения я буду называть алгоритм, так или иначе на основе данных формирующий недетерминистический алгоритм, решающий ту или иную задачу. (Недетерминистичность полученного алгоритма нужна для того, чтобы под определение не подпадал справочник, использующий предварительно подгруженные данные или внешний API).
Таким образом, машинное обучение является наиболее распространенным и мощным (но, тем не менее, не единственным) методом анализа данных. К сожалению, алгоритмов машинного обучения, хорошо обрабатывающих данные более или менее произвольной природы люди пока не изобрели и поэтому специалисту приходится самостоятельно заниматься предобработкой данных для приведения их в пригодный для применения алгоритма вид. В большинстве случаев такая предобработка называется фичеселектом (англ. feature selection) или препроцессингом. Дело в том, что большинство алгоритмов машинного обучения принимают на вход наборы чисел фиксированной длины (для математиков — точки в 
). Однако сейчас также широко используются разнообразные алгоритмы на основе нейронных сетей, которые умеют принимать на вход не только наборы чисел, но и объекты, имеющие некоторые дополнительные, главным образом геометрические, свойства, такие как изображения (алгоритм учитывает не только значения пикселей, но и их взаимное расположение), аудио, видео и тексты. Тем не менее, некоторая предобработка как правило происходит и в этих случаях, так что можно считать, что для них фичеселект заменяется подбором удачного препроцессинга.
Алгоритмом машинного обучения с учителем (в узком смысле этого слова) можно назвать алгоритм (для математиков — отображение), который берет на вход набор точек в (еще называются примерами или samples) 
и меток (значений, которые мы пытаемся предсказать) 
, а на выходе дает алгоритм (=функцию) 
, уже сопоставляющий конкретное значение 
любому входу 
, принадлежащему пространству примеров. Например, в случае упомянутой выше нейросети, распознающей цифры, с помощью специальной процедуры на основе обучающей выборки устанавливаются значения, соответствующие связям между нейронами, и с их помощью на этапе применения вычисляется то или иное предсказание для каждого нового примера. Кстати, совокупность примеров и меток называется обучающей выборкой.
Список эффективных алгоритмов машинного обучения с учителем (в узком смысле) строго ограничен и почти не пополняется несмотря на активные исследования в этой области. Однако для правильного применения этих алгоритмов требуется опыт и подготовка. Вопросы эффективного сведения практической задачи к задаче анализа данных, подбора списка фичей или препроцессинга, модели и ее параметров, а также грамотного внедрения непросты и сами по себе, не говоря уже о работе над ними в совокупности.
Общая схема решения задачи анализа данных при использовании метода машинного обучения выглядит таким образом:
Цепочку «препроцессинг — модель машинного обучения — постпроцессинг» удобно выделять в единую сущность. Часто такая цепочка остается неизменной и лишь регулярно дообучается на новопоступивших данных. В некоторых случаях, особенно на ранних этапах развития проекта, ее содержимое заменяется более или менее сложной эвристикой, не зависящей напрямую от данных. Бывают и более хитрые случаи. Заведем для такой цепочки (и возможных ее вариантов) отдельный термин и будем называть мета-моделью (meta-model). В случае эвристики она редуцируется до следующей схемы:
Эвристика — это просто вручную подобранная функция, не использующая продвинутых методов, и, как правило, не дающая хорошего результата, но приемлемая в определенных случаях, например на ранних стадиях развития проекта.
Задачи машинного обучения с учителем
В зависимости от постановки, задачи машинного обучения делят на задачи классификации, регрессии и логистической регрессии.
Классификация — постановка задачи при которой требуется определить, какому классу из некоторого четко заданного списка относится входящий объект. Типичным и популярным примером является уже упоминавшееся выше распознавание цифр, в ней каждому изображению нужно сопоставить один из 10 классов, соответствующий изображенной цифре.
Регрессия — постановка задачи, при которой требуется предсказать некоторую количественную характеристику объекта, например цену или возраст.
Логистическая регрессия сочетает свойства перечисленных выше двух постановок задач. В ней задаются совершившиеся события на объектах, а требуется предсказать их вероятности на новых объектах. Типичным примером такой задачи является задача предсказания вероятности перехода пользователя по рекомендательной ссылке или рекламному объявлению.
Выбор метрики и валидационная процедура
Метрика качества предсказания (нечеткого) алгоритма — это способ оценить качество его работы, сравнить результат его применения с действительным ответом. Более математично — это функция, берущая на вход список предсказаний 
и список случившихся ответов 
, а возвращающая число соответствующее качеству предсказания. Например в случае задачи классификации самым простым и популярным вариантом является количество несовпадений 
, а в случае задачи регрессии — среднеквадратичное отклонение 
. Однако в ряде случаев из практических соображений необходимо использовать менее стандартные метрики качества.
Прежде чем внедрять алгоритм в работающий и взаимодействующий с реальными пользователями продукт (или передавать его заказчику), хорошо бы оценить, насколько хорошо этот алгоритм работает. Для этого используется следующий механизм, называемый валидационной процедурой. Имеющаяся в распоряжении размеченная выборка разделяется на две части — обучающую и валидационную. Обучение алгоритма происходит на обучающей выборке, а оценка его качества (или валидация) — на валидационной. В том случае, если мы пока не используем алгоритм машинного обучения, а подбираем эвристику, можно считать, что вся размеченная выборка, на которой мы оцениваем качество работы алгоритма является валидационной, а обучающая выборка пуста — состоит из 0 элементов.
Типичный цикл развития проекта
В самых общих чертах цикл развития проекта по анализу данных выглядит следующим образом.
Заключение
На этом пока все, следующий раз мы обсудим какие конкретно алгоритмы применяются для решения задач классификации, регрессии и логистической регрессии, а о том, как сделать базовое исследование задачи и подготовить его результат для использования прикладным программистом уже можно почитать здесь.
Как правило выбравший путь дата сайентиста использует сложные аналитические программы, применяет в своей работе машинное обучение и статистические методы для подготовки данных в предписывающем моделировании.
Преобладающее большинство специалистов, по данным HH, (75%) требуется в Москве.
Распределение заплаты специалистов показана на графике ниже. Каждый второй специалист получает 105 000 рублей. Что даже для Москвы является не такой уж плохой зарплатой.
Преобладающее большинство (67%) дата сайентистов требуется в IT и телеком индустрию
Запросов по поиску аналитика данных на HH намного больше (1061 открытых вакансий) и распространенны они более равномерно, чем “научный сотрудник”.
Зарплата аналитикам намного меньше, чем Data Scientist: практически половина аналитиков получает всего 65000 рублей. Каждый третий 130000.
В Москве ищут 58% всех бизнес аналитиков.
Заработная плата бизнес аналитика еще меньше, чем у предыдущих категорий аналитиков.
Доля бизнес аналитиков в маркетингу намного выше, чем в предыдущих вакансиях. Три четверти вакантных зарплат не дотягивают по уровню до нижней планки дата сайентиста.
Очень странно, как по мне, слабое проникновение аналитиков в банковскую сферу.
На данный момент это все выводы, которые мне бы хотелось озвучить в рамках этого обзора. Ждите второй части с более глубоким анализом рынка аналитики.
Всем добра и успешных стартов.
Не до конца уловил различия между аналитиком и сайнтистом, такое ощуещение что аналитик это просто джуниор.
И от статьи ожидал более конкретных данных с примерами, а не обзор рынка вакансий.
Я обязательно ее (статью) доработаю.
Опечатка
инноваторов преобладает нал другими
Спасибо. К сожалению я не могу исправить. Только первые три дня текст доступен для редактирования.
Вчера вечером, умный и красный банк списал 99 рублей. В описании было указано, что списание производится за пользование услуги Альфа-чек, за услуги уведомления.
Чем занимаются аналитики данных и как начать работать в этой области?
«Человек, который напрямую влияет на решения бизнеса»
Данные собирают все — от магазинов и ресторанов до компаний-монополистов и приложений с миллионной аудиторией. Аналитик данных помогает сделать так, чтобы собранная информация приносила пользу бизнесу. Мы выяснили, какие задачи вместе с экспертами решает такой специалист и почему ему нужно разбираться в бизнес-процессах не хуже владельца компании.
Кто такой аналитик данных
Аналитик данных (или дата-аналитик) — это специалист, который собирает, обрабатывает, изучает и интерпретирует данные. Его работа помогает принимать решения в бизнесе, управлении и науке. Обычно такие специалисты работают в компаниях, которые практикуют data-driven подход — ориентируются на данные и их анализ при принятии решений. Курс «Аналитик данных» Яндекс.Практикума рассчитан именно на это направление.
«Любой продукт, у которого есть аудитория, собирает данные. Аналитика есть в телекоме, банках, играх, консалтинге. Если сильно обобщить, то можно сказать так: там, где есть возможность сохранять данные о продукте и поведении пользователя, рано или поздно должен появиться аналитик», — говорит Анна Чувилина, автор и менеджер программы «Аналитик данных».
Аналитик данных — важный участник бизнеса, потому что обеспечивает уверенность в принятии решений. Создавать новый продукт очень дорого, а ошибка при внедрении новой функции может стоить компании репутации и прибыли. Дата-аналитики проводят А/B-тесты и строят модели, чтобы проверить, как пользователи или клиенты реагируют на нововведения, и оценить перспективы того или иного проекта. Это дешевле и снижает риски бизнеса. Чтобы делать свою работу хорошо, аналитик должен видеть бизнес-процессы. Поэтому важно, чтобы он мог влиять на процесс принятия решения, основываясь на результатах своих исследований. Иначе работа такого специалиста теряет ценность.
Задачи аналитика данных
Хороший аналитик данных — не просто математик с навыками программиста. Он понимает бизнес-процессы и хорошо знает продукт. Такой специалист разбирается, на чем зарабатывает конкретный бизнес. В результате его работы компания может получать больше прибыли и делать своих пользователей счастливее. Сильный аналитик данных прежде чем взяться за работу всегда спрашивает руководителя о том, какую задачу хочет решить бизнес.
Кроме программных инструментов аналитику данных важно развивать — метапрофессиональные умения, которые помогают делать работу лучше. Это способность налаживать общение с коллегами и партнерами, умение решать проблемы и выходить из конфликтных ситуаций с наименьшими потерями, сильный эмоциональный интеллект. Такие навыки больше связаны с личностью человека, чем с его профессиональным уровнем. Но их тоже можно формировать и развивать.
«Важно не путать дата-саентиста и дата-аналитика. Первый — это программист, знающий определенный набор языков и алгоритмов. Он решает поставленную техническую задачу. А дата-аналитик ставит эту задачу и переводит результат на язык бизнеса. Для этого нужно развивать гибкие навыки: работа с требованиями, визуализация данных, переговоры. То есть понимать самому и уметь объяснить, что дает бизнесу ваша аналитика. Изучить программы недостаточно — нужно критически подходить к задаче», — говорит Алексей Колоколов, эксперт по BI и визуализации данных.
Для каждого бизнеса задачи будут свои, а порядок действий общий. Аналитик данных работает так:
Типичные задачи, с которыми приходят к дата-аналитику:
Статистика позволяет сделать общие выводы по конкретному вопросу. А аналитика данных — исследовать тему со всех сторон, сравнить решения, найти аномалии или инсайты, сопоставить события по множеству параметров. Это открывает новые возможности для бизнеса.
Дата-аналитик может исследовать внутренние данные компании или обратиться к внешним источникам. Анализ открытых данных позволяет отслеживать важные социальные и культурные тренды.
«Дата-аналитик может глубже исследовать проблему. Например, в наших данных по ДТП в России есть доля водителей, которые нарушили правила ОСАГО. Зная эту долю и то, как она менялась в разные годы, мы можем делать выводы о социально-экономической ситуации в регионе — видим тенденцию, когда водители перестают покупать полисы, потому что у них нет денег.
Из того же датасета мы вытаскивали информацию про скрывшихся водителей. Оказалось, что в Омской области 20% водителей покидают место ДТП. Получив эту информацию, мы можем задавать дополнительные вопросы: почему так происходит, что это за социальные и культурные процессы», — рассказывает Сергей Устинов, аналитик данных и проджект-менеджер.
Как начать строить карьеру
Стереотипы в сфере аналитики данных не работают — неважно, гуманитарное или техническое образование получил дата-аналитик.
«У меня нет технического образования, я учился на факультете госуправления. А Python изучал на курсе биоинформатики для биологов. На мой взгляд, этот язык больше всего подходит для старта, база навыков работы с ним приобретается за два-три месяца. Затем стоит изучать профильные библиотеки для сбора и анализа данных. Чем больше ты знаешь библиотек, тем более качественная аналитика тебе доступна», — говорит Сергей Устинов.
Компании не рассчитывают, что начинающий аналитик данных будет уметь сразу всё. Они готовы обучать и направлять молодого специалиста. Главное — интерес к решению бизнес-задач. Правильно сформулированный перед исследованием вопрос важнее, чем большой опыт работы с программными инструментами.
«Программирование и математику можно выучить. А софтскиллы — нарабатываются опытом и практикой. Поэтому дата-аналитику полезны хакатоны и чемпионаты с решением практических задач. Он увереннее чувствует себя, прокачивая стиль мышления, ориентированный на решение конкретных бизнес-задач», — говорит Анна Чувилина.
Начинающих специалистов в сфере ИТ охотнее всего берут на позиции, связанные с анализом данных: доля вакансий для кандидатов с опытом работы меньше года здесь на четверть выше, чем в целом по рынку.
Работодатели ждут, что начинающий специалист:
Аналитику данных нужно понимать, что такое статистика и гипотеза. Серьезная математика не пригодится, главное ориентироваться в понятиях. В зависимости от запроса компании могут понадобиться навыки работы с Яндекс.Метрикой или Google Analytics. Опытные программисты с сильной математикой, которые не готовы думать в терминах задач бизнеса, закрывают себе путь в профессию аналитика данных.
«Джуниор вырастает в крутого специалиста, решая реальные кейсы. Потому что насмотренность определяет твой уровень: важно, сколько раз жизнь ставила тебя в ситуацию, когда нужно принимать решение. Развиваться в том, как владеешь инструментами, тоже важно. Но и решение реальных задач помогает аналитику данных расти», — говорит Анна Чувилина.
Кто такой аналитик данных?
Именно аналитика данных видит скрытые закономерности и отвечает на самые важные вопросы бизнеса: «Можно ли дать человеку кредит?», «Кнопка какого цвета лучше работает?», «Где открыть новую палатку с шаурмой?» И не только. Рассказываем главное о сферах применения, зарплатах, навыках и карьерных перспективах такого специалиста вместе с руководителем отдела аналитики SkillFactory Артемом Боровым.
Чем занимается аналитик данных?
Аналитик данных (или Data Analyst) — это специалист по анализу больших данных: он собирает их, обрабатывает и делает выводы. На основании его отчетов в компаниях принимают важные решения.
Например, в онлайн-торговле можно проанализировать, как клиенты используют промокоды и какой контент больше всего интересен посетителям сайта, и на основе этого решать, какие площадки для продвижения использовать. В крупных сетевых магазинах, опираясь на выводы аналитиков, оптимизируют логистику и работу с потоком покупателей.
Что такое большие данные
Эта гигантские объемы информации, которые можно собрать и проанализировать только автоматизированным способом.
Предположим, каждый вечер после работы вы играете с собакой. Однажды вы заметили, что пес неприлично громко лает, бегая за мячом. При этом за резиновой игрушкой он гонится с такой же радостью, но молча. Несколько дней вы тестируете гипотезу: проверяете, действительно ли такую реакцию вызывает только мяч? Возможно, ведете дневник наблюдения, отмечая уровень шума по всем игрушкам. Убедившись в своей правоте, вы решаете играть с собакой в мяч только днем или в выходные. Отношения с соседями спасены.
Читайте также: Big Data: что это и где применяется
Эти данные — «маленькие», их легко собрать и посчитать вручную, даже в уме. Большие данные — это терабайты разрозненной информации, которую надо собрать по кусочкам, обработать и перевести на «человеческий язык». Например, компания по производству игрушек для животных может анализировать привычки сотен тысяч собак, чтобы выпустить для них новый идеальный продукт.
Каким компаниям нужны аналитики данных?
Большие данные — ключевой ресурс для бизнеса: их используют в IT, ритейле, финансах, здравоохранении, игровой индустрии, киберспорте, телекоме, маркетинге. Самые крутые и современные компании называют себя Data-Driven. Они принимают стратегические решения на основе данных.
Вот три ситуации, в которых бизнесу может пригодиться специалист по анализу больших данных:
Незавершенные покупки. В интернет-магазине пользователи добавляют в корзину товары, но потом уходят с сайта, не оформив заказ. Специалист по анализу данных сначала выясняет, на каком этапе пользователь теряет интерес. Например, уходит с сайта, когда видит сложную форму для регистрации. Затем предлагает и проверяет гипотезы, которые помогут удержать клиента и довести до нужного магазину результата (оформление заказа).
«Плохие» долги. В банке хотят свести к минимуму количество клиентов, которые не возвращают кредиты. Аналитик изучает, какие характеристики клиента указывают на то, будет ли он вовремя вносить платежи. На этом основании клиенту будет одобрен или не одобрен кредит.
Проверка эффективности дизайн-решения. Создатели приложения для знакомств хотят понять, как пользователи реагируют на цвет кнопки. Аналитику данных предстоит протестировать два прототипа: часть пользователей видит вариант с синей кнопкой, другая часть — с красной. В итоге он помогает дизайнеру интерфейса решить, какого цвета кнопка лучше сработает.
Еще благодаря качественному анализу данных можно:
Всё это помогает компании узнать о себе больше, увеличить прибыль и сократить издержки.
Какие знания и навыки нужны аналитику данных?
Вот стартовый пакет для начинающего специалиста:
В зависимости от направления могут добавляться специфические инструменты. Например, веб-аналитику нужны знания Яндекс.Метрики и Google Analytics.
Какие специализации бывают у аналитика данных?
В профессии аналитик данных есть классическое для IT деление на джуниор-, мидл- и синьор-аналитиков. Но, имея базовые знания по работе с данными, можно применять их в других направлениях. Вот несколько специализаций.
Продуктовый аналитик нужен, если необходимо развивать продукт на основе метрик и анализа данных. Продуктовый аналитик глубоко погружается в тематику, проводит тесты и исследования, чтобы понять, какие функции пользуются популярностью, а какие — нет, какие проблемы возникают у пользователей при использовании продукта.
Маркетинговый аналитик помогает привлечь клиентов через рекламу, оптимизировать затраты, опираясь на анализ данных по пользовательскому поведению и кликам.
BI-аналитик проектирует системы для анализа и хранения данных, тестирует гипотезы и автоматизирует отчетность. Он помогает бизнесу моделировать различные ситуации, делать правильные выводы и распределять ресурсы между отделами.
Востребованность профессии
В июне 2021 года на сайте hh.ru было более 13 тысяч вакансий для аналитика данных.
Данные накапливаются с огромной скоростью. В 2018 году аналитическая компания IDC прогнозировала: за пять лет, в период с 2015 по 2020 год, объем цифровых данных в мире вырастет в два раза и составит 40 зеттабайт (один зеттабайт равен миллиону миллионов гигабайт) — но фактически накопление информации идет еще быстрее: в 2020 году объем информации уже достиг 59 зеттабайт. По оценкам Ассоциации больших данных, рынок Big Data в России ежегодно растет на 12%.
Для работы с таким количеством данных компаниям нужны специалисты. В 2019 году вакансий в области анализа данных стало больше в 9,6 раза, чем в 2015 году.
Сколько зарабатывает аналитик данных?
Мы проанализировали открытые вакансии на HH.ru и Хабр Карьера. Разброс зарплат оказался довольно большим. Что ожидаемо — он зависит от опыта и города, в котором работает аналитик. Стажеру в Перми предлагают 25 тыс. рублей, а аналитик данных в московском офисе международной компании зарабатывает 200 тыс. рублей.
Средние зарплаты получились такими:
Стажеры и junior-специалисты получают от 60 тыс. рублей. В 8% вакансий указана сумма ниже, но в основном они предлагают частичную занятость.
Руководители отделов и синьор-аналитики получают от 170 тыс. рублей. В некоторых вакансиях предлагают больше 250 тыс. рублей в месяц, но для них нужен опыт больше пяти лет в аналитике и большой пул компетенций.
В регионах ситуация иная. Максимальная зарплата, на которую можно рассчитывать, — 100 тыс. рублей. Но многие работают удаленно в своем городе, получая «столичную» зарплату. На сайте hh.ru удаленные вакансии для аналитиков данных составляют 15% от общего количества.
В каких случаях становятся аналитиками данных?
67% специалистов приходят в эту профессию из других сфер: маркетинга, науки и даже госслужбы. Аналитиками данных становятся, когда:
С чего начать?
Если вы понимаете, что специалист по анализу данных — это профессия вашей мечты, стоит подробнее изучить путь, который придется проделать.
Для начала обучения вам достаточно изучить Excel: знать, что такое сводные таблицы и как работают функции. Полезно также подтянуть знания по статистике, SQL и Python. Это можно сделать с помощью бесплатных курсов или тренажеров.
Профессия «Аналитик данных»
Освойте перспективную профессию с нуля: научитесь собирать и организовывать данные, делать выводы на основе их анализа и помогать бизнесу работать эффективнее.
Промокод “BLOG” +5% скидки
Полезные ссылки
Образование при этом не имеет значения — начать разбираться в профессии можно с любым бэкграундом. Хороший пример — истории выпускников SkillFactory.