Как проверить данные датчиков с ИИ: дубли, пропуски и неправильные единицы

Как это связано с реальным мониторингом

В кейсе BlueScope, разобранном в обзоре производственных применений, предупреждения связаны с конкретными активами и последующей проверкой. Для такого процесса важно не только увидеть изменение, но и понимать происхождение измерений. Это не доказательство, что любое предупреждение в вашем CSV является неисправностью.

Для учебной проверки ниже используется стандартный модуль Python csv: он читает строки и поля, а правила качества задаются отдельно. Чтение файла и установление инженерного смысла — разные операции. Документация Python csv.

Шаг 1. Опишите источник и ожидаемую частоту

Запишите систему выгрузки, оборудование, датчик, период, часовой пояс и ожидаемый шаг. Важно знать, должны ли измерения приходить каждую минуту или только при изменении значения. Во втором случае отсутствие строки не обязательно является пропуском.

Попросите владельца системы объяснить поле качества и специальные значения. 0, пустая ячейка, NaN и код ошибки могут означать разные вещи. Нельзя определять их смысл по тому, что удобнее для графика.

Сохраните исходник без изменений. Для очистки используйте копию, а исправления записывайте в журнал с номером исходной строки.

Шаг 2. Сформируйте ключ измерения

Обычно времени недостаточно. Добавьте ID оборудования, ID датчика и, если нужно, канал или направление. Два разных агрегата могут законно иметь запись в одну секунду.

Если в источнике предусмотрен уникальный ID события, сохраните его. Проверьте, повторяет ли выгрузка последние строки предыдущего файла: при регулярном объединении это частый источник технических дублей.

Одинаковый ключ с одинаковым значением и качеством можно отметить как точный дубль. Одинаковый ключ с разными значениями — конфликт, который нельзя разрешать случайным выбором первой строки.

Шаг 3. Разберите учебный файл

В CSV примера записаны семь строк. Для датчика T-1 агрегата A ожидается минутная запись с 09:00 до 09:05 включительно. У агрегата B другая запись и другой контекст.

Для 158 °F преобразование в Цельсии: (158 − 32) × 5 / 9 = 70 °C. Это допустимо, потому что единица явно указана. По одному похожему значению нельзя угадывать, какая шкала использовалась.

Шаг 4. Проверьте время по каждой серии

Сортируйте по времени внутри пары оборудования и датчика. Убедитесь, что часовой пояс одинаковый и отметки действительно относятся к моменту измерения, а не к моменту загрузки на сервер.

У учебной серии A/T-1 после исключения точного дубля есть пять разных времён из шести ожидаемых. В одном из них качество плохое, поэтому пригодных наблюдений четыре. Доля пригодных измерений в заданной сетке — 4 / 6 ≈ 66,7%.

Это не доля «исправного оборудования». Показатель описывает только пригодность данных. Для источника с событийной записью такой знаменатель без согласованной частоты был бы неверным.

Оригинальная визуализация вымышленных измерений. Пропуск и плохое качество показаны раздельно.

Шаг 5. Дайте модели задание без права молча исправлять

Проверь приложенный CSV. Ключ: asset_id + sensor_id + timestamp.
Для A/T-1 ожидается шаг 1 минута с 09:00 до 09:05 +03:00.
Найди точные дубли и конфликты ключей отдельно.
Покажи отсутствующие времена и строки с quality не OK.
Преобразуй °F в °C только там, где единица указана явно.
Сохрани исходное значение, единицу и формулу преобразования.
Не заполняй пропуски, не превращай NO_SIGNAL в измеренный ноль.
Верни таблицу исключений и воспроизводимый код проверки.

Проверьте ответ по пяти заранее известным находкам. Если система пропустила технический ноль или смешала агрегаты, исправьте процесс прежде, чем просить найти аномалии.

Для повторяемого контроля можно использовать готовый учебный скрипт. Он предназначен для приложенной схемы и делает явными ключи, фильтры и знаменатель; для другого источника правила нужно адаптировать.

Шаг 6. Решите, что делать с исключениями

Точный дубль можно исключить из аналитической копии после подтверждения. Конфликт значений оставляют в очереди разбора. Разрыв сохраняют разрывом, пока нет основания для восстановления.

Если для рисунка применяется интерполяция, подпишите её как расчётную линию. Не подставляйте интерполированные точки в последующее обучение как реальные наблюдения без отдельного признака. Иначе качество будет выглядеть лучше, чем оно есть.

Смену единицы и калибровки отмечайте событием. Даже корректный пересчёт масштаба не отменяет возможное изменение датчика или методики.

Шаг 7. Составьте паспорт качества

В паспорте укажите период, серии, ожидаемую частоту, исходные строки, уникальные ключи, конфликты, пропуски, пригодность и выполненные преобразования. Добавьте версию правил и ссылку на неизменённый оригинал.

Для примера: семь исходных строк; один точный дубль; серия A/T-1 — шесть ожидаемых минут, четыре пригодных измерения; один отсутствующий момент; одна запись плохого качества; одно подтверждённое преобразование °F в °C. Серия B рассматривается отдельно.

Только после этой проверки переходите к графикам и сравнению режимов. Уберите из отчёта вывод «оборудование исправно», если данные просто не поступили.

Как применять проверку регулярно

Поставьте проверку перед каждым отчётом. При изменении заголовков, единиц или частоты система должна явно сообщать об изменении схемы. Не продолжайте старый расчёт на новых полях автоматически.

Сохраняйте число исключений и время их разбора. Снижение ошибок данных может оказаться более полезным первым результатом проекта, чем сложная модель прогнозирования отказов.

Частые вопросы