Производственный эксперимент: как сравнить два режима без выдуманной точности

Сравнивайте два режима так: заранее назовите показатель и практически значимую разницу, чередуйте запуски, а не гоните один режим длинным блоком, и делайте вывод только тогда, когда разница между режимами больше разброса внутри каждого из них и повторяемости вашего измерительного средства. Если разница меньше — у вас нет результата, есть только повод собрать больше данных или сузить влияние посторонних факторов.

Сначала определите показатель и что именно должно измениться

Без одного основного показателя сравнивать нечего. Выберите то, ради чего затевается переключение: размер, твёрдость, температура, расход энергии, доля брака. Запишите его и единицы измерения до первого запуска, иначе после смены легко подобрать удобный критерий под уже полученный результат.

Дальше решите, что важнее: среднее значение, разброс или граничная величина. Если задача — держать размер в допуске, одного среднего мало. Режим со средним по центру поля допуска, но с широким размахом будет давать выход за границу чаще, чем режим со средним ближе к краю, но кучными точками.

Когда цель — производительность, фиксируйте качество на том же уровне. Ускорение цикла, после которого выросла доля брака, не выигрыш, а перенос затрат. Сформулируйте заранее, какую разницу считаете практически значимой: например, снижение размаха размера на 0,05 мм или рост доли годных на несколько процентных пунктов. Порог берётся из требований к продукции или внутренних норм, а не из удобства.

Разделите эффект режима и внешние изменения

Главная ошибка — запустить неделю один режим, потом неделю другой. За это время сменится партия сырья, придёт другой оператор, изменится температура в цехе, и вы не отличите эффект режима от этих сдвигов. Чередуйте режимы короткими блоками: сегодня A, завтра B, послезавтра снова A. Тогда внешние изменения распределятся по обоим режимам примерно поровну.

Держите одинаковыми всё, что можете: партию материала, оператора, настройки оборудования, время суток. Различия, которые остались, записывайте по каждому циклу — номер партии, кто работал, температура, влажность, параметры наладки. Без этих записей потом невозможно объяснить, почему точки разошлись.

Отдельно отметьте переходные циклы после переключения. Первые изделия могут быть холодными, с остатками предыдущего материала или с нестабильным стартом. Их можно исключить из расчёта, но не молча: запишите, сколько точек отброшено и почему. Если отбросить половину данных, вывод снова становится шатким.

Соберите данные, которых хватит для разброса

Одна деталь или один цикл ничего не доказывают. Пять–десять точек на режим позволяют заметить грубую разницу, но тонкую так не поймать. Сколько нужно наблюдений, зависит от разброса процесса и от разницы, которую вы хотите увидеть: чем шире разброс и меньше ожидаемая разница, тем больше точек требуется.

Сравнивайте не только средние. Два режима могут дать одинаковое среднее при разном размахе и разных выбросах. Для производства часто важнее верхняя или нижняя граница: именно она определяет, сколько изделий уйдёт в брак. Поэтому считайте и среднее, и размах, и стандартное отклонение — стандартное отклонение показывает типичный разброс точек вокруг среднего в тех же единицах, что и сам показатель.

Стройте точки в порядке запуска, а не только сводите в общую кучу. Тренд внутри блока — признак прогрева, износа инструмента или накопления чего-то в процессе. Такой тренд может маскироваться под разницу режимов.

Сверьте разницу с повторяемостью измерений

Повторяемость — это разброс результатов при многократном измерении одного и того же образца одним и тем же средством. Оцените её для своего показателя: измерьте один образец несколько раз и посмотрите, насколько расходятся показания. Если штангенциркуль даёт ±0,1 мм, а режимы отличаются на 0,05 мм, разницу вы не увидите — она утонет в погрешности инструмента.

В таком случае нужен более точный инструмент или больше данных, а не более смелая формулировка. Увеличение числа наблюдений уменьшает случайную составляющую среднего, но не устраняет систематическую погрешность средства измерения. Если прибор систематически занижает, хоть сто точек соберите — вывод будет неверным.

Проверьте также, не влияет ли порядок запуска. Первые изделия после переключения могут быть нетипичными, и если их аккуратно распределить по обоим режимам, разница сгладится. Это ещё один довод за чередование, а не за длинные блоки.

Пример хода сравнения и граница вывода

Допустим, сравниваете два режима термообработки по твёрдости. Режим A: десять деталей, средняя твёрдость 52 HRC, разброс от 50 до 54. Режим B: десять деталей, средняя 53 HRC, разброс от 49 до 56. Средние отличаются на 1 HRC, но разброс внутри каждого режима шире этой разницы.

По таким данным нельзя утверждать, что режим B даёт более высокую твёрдость. Разница между средними меньше, чем естественный разброс внутри группы, поэтому она может быть случайной. Вывод «B лучше» здесь не обоснован, даже если средняя цифра выглядит привлекательнее.

Следующий шаг — сузить посторонние факторы: одна партия сырья, один оператор, одинаковый нагрев, больше наблюдений на режим. Если после этого разброс уменьшится, а разница сохранится, вывод станет обоснованным. Если разброс останется широким, значит, режим не главный источник колебаний, и менять его рано.

Окончательно выбор решает отношение практически значимой разницы к разбросу, который вы реально видите на своём оборудовании. Узнать его можно только одним способом: провести серию чередующихся запусков на своей партии и своём инструменте, а затем сравнить разницу средних с размахом и повторяемостью измерений.