Следующий этап – построение калибровочной модели, которая должна установить зависимость между этими признаками и известными концентрациями элементов в опорных пробах, а затем использовать найденную зависимость для анализа образцов неизвестного состава. Но здесь возникает следующая проблема: универсального математического алгоритма, одинаково хорошо описывающего все зависимости в реальных многокомпонентных рудах и продуктах обогащения, нет. Разные модели по-разному работают с нелинейностью, коррелирующими признаками, изменением матрицы и ограниченным объемом калибровочной выборки.
Поэтому в разрабатываемом программном комплексе расчет выполняется параллельно с помощью четырех моделей: нейронной сети MLP, PLS-регрессии, градиентного бустинга и Lasso. Затем их прогнозы объединяются с помощью мета-модели.
Созданный программный комплекс предназначен для автоматизации количественного рентгенофлуоресцентного анализа (РФА) продуктов обогащения руд. Система направлена на повышение точности определения концентраций элементов в условиях выраженных матричных эффектов (поглощение, вторичное возбуждение, наложение линий) за счет учета физических законов формирования спектра и совместного применения нескольких вычислительных моделей.
Комплекс реализует сквозной цикл аналитической работы и объединяет следующие функциональные блоки:
- Аппаратный входной контроль: автоматическая отбраковка поврежденных спектров по живому времени, порогу мертвого времени и минимальной сумме отсчетов детектора.
- Интерактивная разметка и импорт: поддержка миграции данных из уже существующих программ для калибровки. Ручная разметка аналитических окон (ROI) на спектре и автоматическая привязка характеристических линий химических элементов.
- Генерация и отбор физических признаков: математический расчет спектральных отношений, парных произведений и лог-преобразований с пуассоновской аугментацией и рандомизированным отбором информативных параметров.
- Калибровка по четырем моделям со стекингом: синхронный расчет по четырем независимым алгоритмам (нейросеть MLP, PLS-регрессия, градиентный бустинг, Lasso) и объединение их прогнозов через взвешенную модель.
- Модуль перекрестной диагностики: K-Fold валидация для вычисления несмещенной погрешности и автоматический аудит расхождений с химией.
- Экспресс-анализ и потоковый мониторинг: обработка серий файлов со спектрометра и непрерывное слежение за каталогами измерений с автоматическим ведением суточных журналов.
Совместный расчет по четырем калибровочным моделям
Связь между концентрацией элемента Ci и вектором измеренных интенсивностей I=(I1,…,In)T описывается уравнениями фундаментальных параметров (метод Шермана). Ниже приведена их упрощенная алгебраическая форма — без явного интегрирования по спектру возбуждающего излучения, — удобная для построения обучающих признаков модели:
Первое слагаемое описывает первичную флуоресценцию элемента i, ослабленную поглощением в матрице (коэффициенты μij); второе, аддитивное слагаемое Δenh(C)≥0 — вторичную флуоресценцию (эффект усиления), возникающую, когда излучение соседних элементов дополнительно возбуждает элемент i. Именно поэтому оно прибавляется к сигналу, а не входит в знаменатель.
Обратная задача аналитической химии Ci=fi(I) представляет собой систему нелинейных уравнений с перекрестными связями. Различные математические методы аппроксимируют эту функцию в принципиально разных базисах:
Нейросеть (MLP Keras). Аппроксимация нелинейностей
Оператор: минимизирующий функцию потерь Хьюбера Lδ на логарифме концентраций ln(Ci+ε).
Практический смысл: Нейросеть способна аппроксимировать сложные искривленные зависимости без явного задания их аналитической формы. В реальной руде на сигнал целевого металла одновременно влияют сразу 4–6 сопутствующих элементов (например, железо, сера и кремний вместе поглощают излучение меди). Сеть учится связывать влияние всех компонентов воедино, не требуя ручного упрощения формулы взаимодействий; точность такой аппроксимации при этом ограничена объемом и представительностью обучающей выборки стандартных образцов.
PLS-регрессия. Регуляризация коллинеарности
Оператор: Факторизация матриц признаков и отклика в ортогональные латентные базисы: X=TPT+E, Y=UQT+F с максимизацией взаимной ковариации cov(Xw,Yq).
Практический смысл: При аппаратурном наложении спектральных линий (например, пик меди перекрывает аналитическую линию цинка) сигналы в соседних окнах спектрометра жестко коррелируют между собой. В таких условиях классическая линейная регрессия по МНК становится неустойчивой: из-за взаимной зависимости признаков калибровочные коэффициенты начинают хаотично колебаться и могут принимать физически бессмысленные отрицательные значения. Алгоритм PLS преобразует массив коррелирующих каналов в несколько взаимно независимых (ортогональных) компонент, что позволяет корректно разделить вклад мешающих элементов и сохранить устойчивость расчета концентраций.
Градиентный бустинг (GBR). Кусочно-постоянные скачки
Оператор: Аддитивный ансамбль решающих деревьев: , обучаемых по антиградиенту функции потерь.
Практический смысл: При смене минералогического состава руды (например, при переходе от сульфидной зоны к окисленной или карбонатной) поглощающая способность матрицы изменяется ступенчато. Гладкие непрерывные формулы на таких резких границах сглаживают реальный скачок или дают волнообразную погрешность. Градиентный бустинг основан на решающих деревьях с пороговыми условиями («больше/меньше порога»), что позволяет алгоритму естественным образом разделять пробы по типам руд и точно рассчитывать концентрацию без сбоев на границах технологических сортов.
Линейная модель (Lasso). Разреженный L1-базис
Оператор: с отбором параметров через субградиентный спуск.
Практический смысл: Модель опирается на прямую пропорциональную связь между интенсивностью излучения и концентрацией определяемого элемента. Алгоритм Lasso автоматически отсеивает второстепенные комбинаторные поправки и фоновый шум, оставляя в формуле только ведущую аналитическую линию. Строгая линейность делает поведение модели за пределами диапазона калибровки более предсказуемым, без резких нелинейных выбросов, характерных для более сложных моделей – хотя сама по себе линейность не гарантирует исключение нефизичных (например, отрицательных) значений; для этого нужны дополнительные ограничения на выходе.
Мета-стекинг (Неотрицательная Ridge-регрессия)
Вектор итогового прогноза формируется минимизацией среднеквадратичной ошибки на независимой валидационной выборке: где
Дисперсия взвешенной суммы Var(∑wmy^m)=wTΣw, как правило не превышает дисперсию лучшей из отдельных моделей (minmσ2m) и обычно оказывается ниже, поскольку ковариационная матрица остатков Σ отражает частично некоррелированные ошибки алгоритмов разной природы (ρjk < 1). Строгое неравенство гарантируется в идеализированном случае (независимые ошибки, точно оцененная Σ); на практике выигрыш зависит от объема валидационной выборки и силы регуляризации α.
Оценка устойчивости калибровки методом кросс-валидации (K-Fold)
При градуировке РФА-спектрометров высокий коэффициент корреляции на обучающих стандартных образцах часто маскирует скрытые инструментальные и вещественные погрешности. Если калибровка переобучена на специфическую минералогию нескольких стандартов, то при анализе реальной технологической пробы со смещенным соотношением рудных минералов или иной плотностью упаковки порошка погрешность может резко возрасти.
Модуль K-Fold диагностики исключает ручную подгонку и проверяет, сохраняет ли калибровка физическую точность на независимых данных:
Инженерно-физическое назначение K-Fold анализа:
- Оценка реальной воспроизводимости: Массив калибровочных спектров разбивается на 5 равных непересекающихся групп. Четыре группы используются для обучения (с пуассоновской аугментацией для учета квантовых флуктуаций счета), а пятая служит независимым контролем. Цикл повторяется 5 раз со сменой групп, что дает объективное значение среднеквадратичной погрешности (RMSE, %) в условиях, приближенных к заводским.
- Контроль стабильности математического базиса: Разброс значений R2 по отдельным фолдам показывает чувствительность калибровки к вариациям матричного состава. Низкая дисперсия метрик служит косвенным свидетельством того, что отобранные спектральные признаки отражают фундаментальные физические процессы (поглощение и возбуждение), а не случайный аппаратный шум конкретных измерений.
- Выявление брака пробоподготовки и химического анализа: Программа автоматически сопоставляет показания со стандартным химическим анализом и находит образцы с относительным расхождением более 10%. Такие спектры экспортируются в файл KFold_Detailed_Report.xlsx с фиксацией величины отклонения. Это позволяет выявлять физические дефекты проб (неоднородность истирания, разрыв защитной майларовой пленки, трещины в таблетке, окисление поверхности) либо ошибки мокрого химического анализа стандартных образцов.
Режимы промышленной эксплуатации
|
Режим |
Технический алгоритм |
Назначение в технологическом цикле |
|
Интерактивная разметка и импорт |
Определение наклона энергетической шкалы (канал E=k⋅канал+b), интерактивная разметка границ ROI с автоматической привязкой аналитических линий (Kα,Kβ,Lα,Lβ) по справочным базам данных. Импорт архивных параметров из файлов windows.ini и Sop*.ini. |
Быстрая постановка новых методик анализа и перенастройка спектрометра под новые технологические продукты без ручной правки конфигураций. |
|
Пакетный экспресс-анализ |
Пакетное чтение файлов .mca с автоматическим контролем аппаратных параметров (отсечка измерений с мертвым временем детектора более 90% и интегральным счетом менее 50 отсчетов) и параллельным расчетом концентраций по четырем моделям. |
Лабораторный контроль сменных проб, аттестация партий готовых концентратов и оперативная разбраковка геологических проб. |
|
Потоковый мониторинг технологической линии |
Фоновый опрос каталога спектрометра с заданным интервалом, автоматическое распознавание свежих измерений, расчет процентного содержания компонентов и архивация в суточные журналы. |
Включение спектрометра в контур АСУ ТП обогатительной фабрики для непрерывного контроля металлургического баланса и оперативной регулировки подачи флотационных реагентов. |
Таким образом, использование нескольких моделей связано не с желанием сделать расчет математически сложнее, а с особенностями самой задачи РФА.
Спектр многокомпонентного материала содержит одновременно линейные и нелинейные зависимости, коррелирующие сигналы, спектральные наложения и матричные эффекты. Один математический алгоритм рассматривает эти зависимости с определенной стороны, тогда как ансамбль позволяет объединить несколько различных способов их описания.
Но построить ансамбль недостаточно. Необходимо проверить, сохраняется ли полученная калибровка на данных, которые модель не использовала при обучении. Поэтому кросс-валидация становится не отдельной статистической процедурой, а следующим обязательным этапом построения и проверки калибровочной модели.
В следующих публикациях продолжим разбирать, как оценивается качество полученной калибровки, как выявляются проблемные образцы и каким образом математическая модель переходит от этапа обучения к обработке реальных измерений.