Основная задача анализа систем измерения – это проверить, может ли то, чем мы измеряем предоставлять нам достоверные данные. Эта задача может решаться как в рамках проектов по операционному совершенствованию, таких как проекты Зеленых и Черных Поясов LSS, либо как отдельные задачи в рамках бизнес-процессов.
Существуют 2 категории данных – непрерывные и дискретные, соответственно так же существует и 2 типа систем измерения, измеряющих эти данные – для переменных (приборы, которые выдают непрерывные данные) и атрибутивные (производящие дискретные значения). Как и с типами данных, существует значительная разница в количестве информации, поставляемой каждым из 2-х типов приборов и различными методами измерения. Тип измерительного прибора определяет метод исследования, который будет использован для оценки этого измерительного прибора.
Допустим, что есть несколько источников, которые предоставляют статистические данные (не лабораторные данные, а фиксированные факты), назовем их системами измерения. Задача -опередить, какой из источников дает более достоверную информацию.
Чтобы выполнить анализ достоверности системы измерения, первое, что необходимо сделать – это понять какой тип данных предоставляет выбранный источник — дискретные или непрерывные, т.к. для каждого типа данных существует свой метод расчета.
Далее необходимо найти альтернативный способ измерения тех же данных, например, взять ручные измерения, измерения клиента, другую базу данных, данные другого подразделения и т.д. Пример: произошла остановка оборудования на ремонт, чтоб оценить время простоя можно взять статистические данные, а как альтернативу засечь время остановки вручную.
Поиск альтернативного способа измерения — это первая ступень в алгоритме анализа систем измерения для любого вида данных.
Последующие методы анализа данных различны для непрерывных и дискретных значений. Для упрощения понимания алгоритм расчета представлен на рисунке 1:
Рис 1. Дорожная карта выбора метода анализа системы измерения
Рассмотрим подробнее методы анализа для каждого вида данных, с помощью Minitab.
Содержание
Анализ для непрерывных данных.
Непрерывные данные в непроизводственных процессах могут представлять из себя длительность выполнения операции, суммы, указанные в финансовых документах, уровень складских запасов и т.д. Задача проверить качество данных такого типа часто встречается в рамках проектов DMAIC, поэтому компания BMGI разработала данный алгоритм. Он подразумевает, что мы можем найти альтернативный источник данных для тех же измерений. Это может быть ручная запись, данные у клиента, две внутренние базы данных и т. д. Шаги процесса АСИ:
- Определить основной и альтернативный источники измерений данных.
- Сделать выборку
- Посчитать разницу в измерениях между двумя источниками данных.
- Оценить стандартное отклонение разницы
- Сделать Выводы
При выборке делаем минимум 30 измерений в каждом из источников. Данные берутся по всему диапазону измерений — от минимального к максимальному значениям.
Для расчёта разницы в измерениях между двумя источниками данных необходимо сравнить 2 источника по среднему значению: просчитать сдвиг (Bias) и линейность (Linearity) в Minitab (инструмент Gage Linearity Study). В случае если показатели сдвига или линейности выходят за допустимые значения, необходимо найти ошибку и ввести поправочные коэффициенты.
Для Оценки стандартного отклонение разницы мы рассчитываем сигму измерений основного источника и сигму разницы между основным и альтернативным источниками. Стандартное отклонение рассчитывается по формуле:
Сигма Разницы/Сигма Измерений *100%. Допустимое стандартное отклонение — не более 10%. Если значение превышает порог — оно неприемлемо, необходимо выяснить, какой из источников дает верные данные и использовать только его.
В случае превышения пороговой величины необходимо выбрать тот из источников, который дает верные данные и использовать только его.
Пример анализа непрерывных данных
Менеджер подразделения не уверен, что время ожидания в очереди на погрузку карьерных самосвалов регистрируется точно в минутах. Его задача – провести анализ Системы Измерения времени на доставку.
1 Источники данных
Он сделал выгрузку из системы для 50 ожиданий (System 1), а также отследил эти ожидания вручную и записал данные в System 2.
2 Сделать выборку
Он сделал вручную 50 измерений и для них выгрузил значения из базы данных. Данные на рисунке 2. 1 ряд – 1 случай ожидания (ID Number)
Рис 2. Данные для АСИ по непрерывным данным
3 Разница в измерениях
Для визуализации разницы был построен график отклонений по данным анализируемых систем (Рисунок 3). Построение графика производится посредством инструмента Time Series Plot. По полученным в Time Series Plot результатам видно, что отклонение между системами существует.
Рис 3. График временных рядов для сравнения двух систем.
Чтобы посчитать отклонение основного источника, т.е. автоматизированной системы учета, необходимо воспользоваться инструментом анализа Graphical Summary.
Путь в Minitab: Stat>Basic Statistics>Graphical Summary. Ввод данных показан на рисунке 4
Рис 4. Graphical Summary в Minitab
Как видно на рисунке 4, инструмент Graphical Summary дает нам стандартное отклонение основного источника 9.285, принимается 9,2.
Расчет отклонения процесса = 6*StDev=6*9.2=55.2
4 Оценить стандартное отклонение разницы
Для проверки линейности и сдвига необходимо запустить инструмент Gage Linearity and Bias Study.
Путь в Minitab: Stat> Quality tools> Gage Study> Gage Linearity and Bias Study, Ввод данных показан на рисунке 5.
Рис 5. Gage Linearity в Minitab
В открывшееся окно вносятся идентификационные номера, данные, которые предоставила нам система 1, данные, которые менеджер измерил вручную и указывается отклонение основного процесса — 55,2.
После внесения данных программа выстраивает график сдвига и линейности данных систем, которые представлены на Рисунке 5.
По графику видно, что constant или сдвиг составляет 0,722, что совершенно не значимо, т.е. можно сказать, что сдвига нет.
Отклонения по линейности (Slope) составляет — 0,05, значение P—value =0, что означает, что оно является значимым. Отклонение линейности говорит о том, что существует некая погрешность в измерениях c увеличением количества данных. При проведении расчета мы можем учитывать полученное значение отклонения, как поправочный коэффициент.
Под графиком отклонений справа расположена столбчатая диаграмма, которая показывает процент погрешности по линейности и сдвигу. Сумма этих погрешностей не должна превышать 10% процентов. В данном примере сумма отклонений 7%, что является допустимым.
5 Сделать выводы:
При построении графика получено отклонение по линейности данных. Разница между двумя системами измерения растёт на 0.05 единицы на каждую единицу в Системе 1, Необходима корректировка по среднему через линейные поправочные коэффициенты. Сдвиг незначителен. Отклонения разницы по сдвигу и линейности в сумме составляют порядка 7% – это приемлемо.
Менеджер может доверять системе измерений и в будущем, например в рамках проекта DMAIC, использовать Систему 1 в качестве единственного источника данных, без ручной проверки.
Дискретные данные.
Дискретные данные в непроизводственных процессах могут представлять из себя коды операций, коды аварийных остановов, типы звонков в центры обслуживания клиентов, атрибуты клиентов (адрес, имя, место работы) и т.д.
Задача проверить качество данных такого типа также часто встречается в рамках проектов DMAIC, что послужило для BMGI поводом для разработки данный алгоритма. Он подразумевает, что мы можем найти альтернативный источник данных для тех же измерений. Это может быть ручная запись, данные у клиента, две внутренние базы данных и т.д. Шаги процесса:
- Определить основной и альтернативный источники измерений данных.
- Взять выборку из 1 000 измерений
- Сравнить данные и посчитать % несоответствий
- Сравнить процент дефектных измерений
- Сделать Выводы
В данном методе учитывается процент дефектных измерений, поэтому измерения должны быть долгосрочными. При расчёте % несоответствий нужно для каждой системы посчитать процент брака и отдельно посчитать процент несовпадений между двумя системами.
Далее эти несовпадения между альтернативной и основной системой нужно представить в относительных процентах к дефектам в основной системе измерений. Допустимый относительный процент несоответствия- 10%. Если значение превышает порог — оно неприемлемо, требуются действия по корректировке и устранению ошибок.
Пример анализа дискретных данных
Клиентский Менеджер Том работает над проблемой поздней доставки кредитных карт клиентам банка. Как выяснил менеджер одной из причин, влияющих на доставку кредитных карт, являются ошибки в адресах клиентов. Адреса, на которые рассылают карты не верны, соответственно, клиенты не могут получить карты.
- Определить источники
Есть основная база данных, также была выявлена альтернативная база данных с адресами клиентов.
- Сделать выборку
Банковский сотрудник сделал выгрузку из системы для результатов проверки 1000 адресов, а также сделал сверку тех же 1000 адресов по альтернативной базе данных. Данные на рисунке 6. 1 ряд – 1 клиент (ID Number). В столбце Source 1 и Source 2 1 означает корректная информация, 0 – ошибка.
- Сравнить данные и посчитать % несоответствий
В столбце Match? 1 означает совпадение результатов двух источниках, 0 — означает не совпадает
Рисунок 6. Данные для АСИ по дискретным данным
Для визуализации используем инструмент Pareto Chart. На рисунке 7 отражены данные для Системы 1 и Системы 2
Рисунок 7. Анализ Парето для доли неверных адресов в основной и альтернативной системе.
Проанализировав диаграммы, видим, что программа определяет процент несоответствия адресов в первой системе 4,1%, во второй системе в районе 4,6%.
- Сравнить проценты неверных измерений
Расчет процента несоответствия между двумя источниками. Расчет осуществляется инструментом One-Sample Proportion.
Путь в Minitab: Stat> Basic Statistics> One Proportion
На рисунке 8 показан ввод данных для анализа и результаты анализа.
Рисунок 8. Анализ пропорций
Программа рассчитывает проценты и вероятность правильности почтового адреса по 2-мисточникам, а также процент несоответствий. Доля брака в основном источнике — 4,1 (система 1). Доля несоответствия между двумя источниками равна приблизительно 0,7%.
Относительный процент несоответствий рассчитывается по формуле: (Доля несоответствий между источниками)/(доля брака в основном источнике)*100% = (0.007/0.041)*100=17%.
- Практические выводы
Относительный процент несоответствий 17%, что является больше допустимого значения в 10%. Необходимо выяснить, какой источник ближе к реальности, и пользоваться им.
Ключевые Выводы
Важно помнить, что использование достоверной системы измерения позволяет существенно сократить операционные затраты на реализацию проектов. Для всех систем измерения, чем меньше процент отклонения или ошибки, тем лучше.
Для получения более точных и достоверных данных этот метод можно использовать в следующих процессах с непрерывными данными:
- Точность расчета складских запасов (например, проверка склада 2 командами аудиторов).
- Инвентаризация (кол-во, сроки хранения)
- Сравнение сроков поставки и закупки.
- Длительность ремонтов
- Отчеты в бумажном виде
- Данные в двух и более системах (непрерывные)
Метод анализа систем измерений дискретных данных может применяться в следующих областях:
- Типы ремонтов
- Типы причин поломок, остановок
- Инвентаризация (номенклатура складов).
- Данные в двух и более системах (дискретные).
Данные методы проверки качества данных входят в обновленную стандартную программу обучения Зеленых и Черных Поясов Lean Six Sigma (LSS) от компании BMGI.