FineBI: Обработка данных для начинающих пользователей

Меня зовут Александр, я руководитель центра поддержки и обучения BI-решений в GlowByte, и сегодня хочу поделиться с вами небольшим гайдом по обработке данных в FineBI. Этот материал будет полезен начинающим BI-разработчикам.

Данная статья состоит из четырех уроков, которые помогут вам ближе познакомиться с функциями редактирования данных в FineBI. Если после прочтения вы захотите разобраться со всеми особенностями платформы, закрепить базовые знания и прокачать навыки создания сложных визуализаций, приглашаю на наши курсы.

Рассмотрим детальнее на примере функций «Split Rows and Columns» и «Convert Rows and Columns» и данных, которые содержат результаты экзаменов китайских студентов. Для этого запустим FineBI и создадим новый «Analysis Subject».

Первоначальная структура данных:

Используя функции «Split Field» и «Row to column», разделим колонку «Результаты экзамена» на колонки с оценками по соответствующим экзаменам.

Шаг 1: Разбиваем столбец «Результаты» по словам:

Шаг 2: Разбиваем получившийся после split столбец по 2 символа:

Данные после обработки:

1.2 Удаление дублей

При анализе данных вопрос качества всегда является наиболее острым, а повторяющиеся строки — самой распространенной проблемой. При удалении этих строк мы можем столкнуться с двумя сценариями развития логики вычислений.

В первом случае абсолютно неважно, какую из строк мы сохраним, поскольку это никак не повлияет на анализ. К примеру, в ряду «А, А, А» мы можем оставить любую А. В этом случае для оптимизации процесса можно использовать функцию «Delete Duplicate Row» (удалить повторяющиеся строки).

Во втором случае необходимо оставить конкретную строку. Например, в ситуации, когда студенты пересдавали экзамен и на каждого студента будет два набора данных, а при анализе нам нужно будет оставить тот, где содержатся последние записи. В ситуации, когда из «А, В, С» нужно оставить именно А, мы должны применить функцию «Delete Duplicate Row» так, чтобы сохранить первую строку. Для этого сначала отсортируем данные функцией «Sort», а затем удалим строки функцией «Delete Duplicate Row».

Для проверки дублей в данных вы также мы можете использовать функционал фильтрации в заголовках.

1.3. Работа со значением null

Одним из наиболее проблемных моментов при анализе данные является наличие в таблице значений null.

Когда у нас большие объемы данных и «null» встречается редко, это может не сильно повлиять на наши вычисления суммы или среднего значения. В таких случаях мы можем просто проигнорировать эти значения.

Но если в процессе обработки данных некоторые значения «null» следует исключить как нежелательные данные целиком, мы можем использовать удобный фильтр в заголовке таблицы для быстрого исключения пустых значений.

Выше показан простой сценарий обработки, но в реальной жизни, возможно, вам придется столкнуться с ситуациями, когда значение «null» важно для сохранения логики вычислений.

Рассмотрим эту ситуацию на примере нашего датасета с данными по успеваемости студентов. Вероятно, один из учеников пропустил занятие по болезни, поэтому в системе отсутствует запись о его оценке по одному из экзаменов — мы не можем не учитывать его, поэтому не можем просто удалить его данные из базы.

Нам стоит очень внимательно относиться к подобным ситуациям, чтобы при дальнейших расчетах выборочно выставлять фильтры. Для этого в FineBI можно использовать функцию «Formula Column» (добавить столбец с вычисляемым значением по формуле) или же более удобную: «Condition Tag Column» (добавить столбец со значением по условию).

Теперь давайте представим, что в одной из таблиц стало больше колонок, например добавилась колонка с общей оценкой успеваемости. Перед тем, как мы подробно рассмотрим функцию «Join», изучим еще одну похожую функцию «Column from Other Tables» (добавить колонку из другой таблицы).

Вам наверняка уже знакомы «Vlookup» и «Sumif» из Excel. Как вы уже могли догадаться, эта функция позволяет агрегировать (Sumif) или искать соответствующие измерения из других таблиц и объединять их с текущей таблицей (Vlookup).

Любителям SQL функции left join и right join знакомы, пожалуй, очень даже хорошо, поэтому, используя функцию «объединить слева и справа» при редактировании данных в BI, можете смело руководствоваться логикой SQL.

Для тех, кто привык работать с SQL и знаком с операторами типа left join, right join и т. д., функция «Join» в редакторе данных FineBI может быть более интуитивно понятной. Эта функция ведет себя аналогично SQL-операторам и может быть легко освоена теми, кто уже знаком с базовыми принципами SQL.

Затем с помощью функции «Summary Column» мы можем легко рассчитать сумму.

Функция «Condition Tag Column» помогает решать самые проблемные для аналитиков вопросы, связанные с условием IF. Так, нам не нужно прописывать 7−8 уровней условия IF — от нас требуется лишь настроить некоторые условия вручную, чтобы присвоить данным разные значения.

4.2. Добавление и удаление шагов обработки данных

FineBI позволяет беспрепятственно добавлять или удалять некоторые шаги обработки данных. Благодаря этой возможности мы можем отфильтровать важные данные, а затем удалить некоторые шаги обработки, которые вызывают сомнения. Тем самым мы можем методом проб и ошибок посмотреть, как будут изменяться данные. Это похоже на то, как когда-то в школе мы много раз проверяли, верно ли решено уравнение.