4. Обработка данных 4.1. Процесс обработки данных
- Обработка и очистка данных
Поскольку от производственных отделов/цехов поступает огромный объем информации, то в соответствии с обозначенным подходом к анализу мы обрабатываем исходные данные с помощью систем KETTEL, SSIS и KAFKA и сводим в таблицы. Ввиду большого объема данных мы не использовали FineBI, так как тестовый формат не поддерживает подобное использование.
- Преобразование и защита данных
После обработки подробной информации о модели кондиционера, объемах производства, затратах рабочего времени, явке на работу и работе оборудования данные были преобразованы, зашифрованы и сведены в Excel таблицы.
- Краткое описание упорядочения связей между таблицами
Таблицы, в которых содержится информация о сырье: Согласно форме производственного заказа DIMPRODUCTIONORDER анализируется большое количество партий
→ в таблице с данными для партий продукции MLOТ содержатся данные о модели оборудования, согласно модели подбирается вид нужного сырья ВОМ
→ TTCIBOM001610. Согласно ВОМ происходит поиск необходимых материалов
→ в форме укомплектованности TTDINV114610 проверяется наличие материалов
→ в CURRENT_STORAGE уточняется наличие материалов в данный момент на складе (форма поступления/отпуска материалов отражает перемещение материалов между цехами, где в данном случае за основу принимается сборка, все, что не относится к обороту материалов, не описывается)
→ согласно коду нужных материалов производится поиск основной информации о материалах в DIMITEM
→ согласно основной информации о материалах запрашивается информация о группах, к которым они принадлежат DimMaterielGroup
→ информация о поставщике материалов DIMENTERPRISE.
DIMPRODUCTIONORDER→MLOT→TTCIBOM001610→TTDINV114610→ CURRENT_STORAGE→DIMITEM→DimMaterielGroup→DIMENTERPRISE.Связи между таблицами данных учета выхода на работу:Таблица с данными о штате DIM_HR_USRA01
→ в таблице с данными о структуре компании DIM_HR_ORGANIZATION количество штатных сотрудников делится по каждому отделу
→ в DimDate уточняется ежедневная информация о штате в каждом цехе и отделе
→ в ID_RECORD проверяется информация о количестве сотрудников, которые ежедневно выходят на работу
→ в FORMTABLE_MAIN_282_DT1 ежедневно отражаются данные о сотрудниках, которые находятся отпуске, командировке и отсутствуют на работе
→ в JK_WXCQ ежедневно отражается количество временных сотрудников и сотрудников на аутсорсинге.
Таблица с данными об увольнениях DIM_HR_RETA01
→ в DIM_HR_ORGANIZATION можно узнать количество уволившихся сотрудников в каждом отделе и цехе → в DimDate производится поиск по дате.
DIM_HR_USRA01→DIM_HR_ORGANIZATION→DimDate→ ID_RECORD→ FORMTABLE_MAIN_282_DT1 → JK_WXCQТаблицы с данными о качестве: Данные об браке в качестве, вызванных неисправностью оборудования FACT_MachineFault
→ в DimDate производится поиск по дате
Данные о проблемах качествах при приеме и инспекции FACT_ZK_CheckOut
→ в DimDate производится поиск по дате
Данные о причине остановке линий TTINRT110610
→ в DimDate производится поиск по дате
FACT_MachineFault→DimDate
FACT_ZK_CheckOut→DimDate
TTINRT110610→DimDate
Таблицы с данными о работе оборудования:Информация о работе оборудования ZS_MACHINE
→ в G_ZS_FINSHEDPRODUCTIONORDER отражена информация об объеме производства согласно типам оборудования
→ в DimDate производится поиск по дате
→ в G_ZS_MODULAR отражена информация о ежедневной работе оборудования.
ZS_MACHINE→G_ZS_FINSHEDPRODUCTIONORDER→DimDate→G_ZS_MODULARТаблицы с данными по объемам производства: Данные о ежедневной производительности каждой смены в монтажном цехе FACT_ALLPRODUCTION_ZZ
→ в DIMITEM отражена основная информация об объемах производства
→ в DIMPRODUCTHOUR содержится информация о затратах рабочего времени на производство готовой продукции
→ в DimDate производится поиск по годам, месяцам, неделям и дням.
FACT_ALLPRODUCTION_ZZ→DIMITEM→DIMPRODUCTHOUR→DimDate