Анализ и интерпретация результатов машинного моделирования

Рассмотримпростой корреляционный анализ, т. е. метод определения взаимосвязи между двумя переменными.

Обозначим их х и у. Независимо от способа получения выборки имеются два предварительных шага для определения существования и степени линейной зависимости между х и у. Первый шаг заключается в графическом отображении точек (х_i,у_i) на плоскости (х,у) — т. е. в построениидиаграммы рассеяния. Анализируя диаграмму рассеяния, можно решить, допустимо ли предположение о линейной зависимости между х и у (рис.16.1.).

Если r_xy не равен нулю, то на втором шаге вычисляется его точное значение.

Чем больше по абсолютному значению r_xy, тем сильнее линейная зависимость между переменными. При |r_xy|=1 имеет место функциональная линейная зависимость между х и у вида y=b+b₁х, причем если r_xy = +1, то говорят о положительной корреляции, т.е. большие значения одной величины соответствуют большим значениям другой; при r_xy =-1 имеет место отрицательная корреляция; при 0<r_xy<1 вероятна либо линейная корреляция с рассеянием (рис.16.1., б), либо нелинейная корреляция (рис.16.1., г).

При анализе результатов ИМ необходимо иметь в виду, что если даже удалось установить тесную зависимость между двумя переменными, это еще не является прямым доказательством их причинно-следственной связи. Возможно, имеет место стохастическая зависимость, обусловленная, например, коррелированностью псевдослучайных чисел, используемых в имитационной модели.

Поэтому результаты корреляционного анализа целесообразно уточнить, проведя регрессионный анализ.

Рис. 16.1. Графическое отображение корреляции переменных

Величины b и b₁, являются неизвестными параметрами, а е_i — случайные ошибки испытаний.

Цель регрессионного анализа — найти наилучшие в статистическом смысле оценки параметров b и b₁ (величину b₁ обычно называюткоэффициентом регрессии).

Источник

Анализ и интерпретация результатов машинного моделирования

Возможность фиксации при моделировании системы S на ЭВМ значений переменных (параметров) и их статистическая обработка для получения интересующих экспериментатора характеристик позволяют провести объективный анализ связей между этими величинами. Для решения этой задачи существуют различные методы, зависящие от целей исследования и вида получаемых при моделировании характеристик. Рассмотрим особенности использования методов корреляционного, регрессионного и дисперсионного анализа для результатов моделирования систем [7, 11, 18, 21, 25, 46].

Корреляционный анализ результатов моделирования. С помощью корреляционного анализа исследователь может установить, насколько тесна связь между двумя (или более) случайными величинами, наблюдаемыми и фиксируемыми при моделировании конкретной системы S. Корреляционный анализ результатов моделирования сводится к оценке разброса значений относительно среднего значения у, т. е. к оценке силы корреляционной связи. Существование этих связей и их тесноту можно для схемы корреляционного анализа выразить при наличии линейной связи между исследуемыми величинами и нормальности их совместного распределения с помощью коэффициента корреляции

т. е. второй смешанный центральный момент делится на произведение средних квадратичных отклонений, чтобы иметь безразмерную величину, инвариантную относительно единиц измерения рассматриваемых случайных переменных.

Пример 7.1. Пусть результаты моделирования получены при N реализациях, а коэффициент корреляции

Очевидно, что данное соотношение требует минимальных затрат машинной памяти на обработку результатов моделирования. Получаемый при этом коэффициент корреляции При сделанных предположениях свидетельствует о взаимной независимости случайных переменных исследуемых при моделировании (рис. 7.1, а). При имеет место функциональная (т. е. нестохастическая) линейная зависимость вида причем если то говорят о положительной корреляции, т. е. большие значения одной случайной величины соответствуют большим значениям другой (рис. 7.1, б). Случай соответствует либо наличию линейной корреляции с рассеянием (рис. 7.1, в), либо наличию нелинейной корреляции результатов моделирования (рис 7.1, г).

Рис. 7.1. Различные случаи корреляции переменных

Для того чтобы оценить точность полученной при обработке результатов моделирования системы S оценки целесообразно ввести в рассмотрение коэффициент причем приближенно подчиняется гауссовскому распределению со средним значением и дисперсией:

Из-за влияния числа реализаций при моделировании N на оценку коэффициента корреляции необходимо убедиться в том, что действительно отражает наличие статистически значимой корреляционной зависимости между исследуемыми переменными модели Мы. Это можно сделать проверкой гипотезы Если гипотеза при анализе отвергается, то корреляционную зависимость признают статистически значимой. Очевидно, что выборочное распределение введенного в рассмотрение коэффициента при является гауссовским с нулевым средним и дисперсией Следовательно, область принятия гипотезы определяется неравенством

где подчиняется нормированному гауссовскому распределению. Если лежит вне приведенного интервала, то это означает наличие корреляционной зависимости между переменными модели на уровне значимости у.

При анализе результатов моделирования системы S важно отметить то обстоятельство, что даже если удалось установить тесную зависимость между двумя переменными, то отсюда еще непосредственно не следует их причинно-следственная взаимообусловленность. Возможна ситуация, когда случайные стохастически зависимы, хотя причинно они являются для системы S независимыми. При статистическом моделировании наличие такой зависимости может иметь место, например, из-за коррелированности последовательностей псевдослучайных чисел, яспользуемых для имитации событий, положенных в основу вычисления значений

Таким образом, корреляционный анализ устанавливает связь между исследуемыми случайными переменными машинной модели

и оценивает тесноту этой связи. Однако в дополнение к этому желательно располагать моделью зависимости, полученной после обработки результатов моделирования.

Регрессионный анализ результатов моделирования. Регрессионный анализ дает возможность построить модель, наилучшим образом соответствующую набору данных, полученных в ходе машинного эксперимента с системой S. Под наилучшим соответствием понимается минимизированная функция ошибки, являющаяся разностью между прогнозируемой моделью и данными эксперимента. Такой функцией ошибки при регрессионном анализе служит сумма квадратов ошибок.

Пример 7.2. Рассмотрим особенности регрессионного анализа результатов моделирования при построении линейной регрессионной модели. На рис. 7.2, а показаны точки полученные в машинном эксперименте с моделью Мы системы S.

Делаем предположение, что модель результатов машинного эксперимента графически может быть представлена в виде прямой линии

где — величина, предсказываемая регрессионной моделью.

Рис. 7.2. Построение линейной регрессионной модели

Требуется получить такие значения коэффициентов при которых сумма квадратов ошибок является минимальной. На рисунке ошибка для каждой экспериментальной точки определяется как расстояние по вертикали от этой точки до линии регрессии

Обозначим Тогда выражение для ошибок будет иметь вид а функция ошибки

Для получения при которых функция является минимальной, применяются обычные методы математического анализа. Условием минимума является

Решая систему этих двух линейных алгебраических уравнений, можно получить значения . В матричном представлении эти уравнения имеют вид

Решая это уравнение, получаем

где N — число реализаций при моделировании системы.

Соотношения для вычисления требуют минимального объема памяти ЭВМ для обработки результатов моделирования. Обычно мерой ошибки регрессионной модели служит среднее квадратичное отклонение

Для нормально распределенных процессов приблизительно 67% точек находится в пределах одного отклонения от линии регрессии и 95% — в пределах (трубки А и В соответственно на рис. 7.2, 6). Для проверки точности оценок регрессионной модели могут быть использованы, например, критерии Фишера (-распределение) и Стьюдента (-распределение). Аналогично могут быть оценены коэффициенты уравнения регрессии и для случая нелинейной аппроксимации.

Дисперсионный анализ результатов моделирования. При обработке и анализе результатов моделирования часто возникает задача сравнения средних выборок. Если в результате такой проверки окажется, что математическое ожидание совокупностей случайных переменных отличается незначительно, то статистический материал, полученный в результате моделирования, можно считать однородным (в случае равенства двух первых моментов). Это дает возможность объединить все совокупности в одну и позволяет существенно увеличить информацию о свойствах исследуемой модели а следовательно, и системы S. Попарное использование для этих целей критериев Смирнова и Стьюдента для проверки нулевой гипотезы затруднено в связи с наличием большого числа выборок при моделировании системы. Поэтому для этой цели используется дисперсионный анализ.

Пример 7.3. Рассмотрим решение задачи дисперсионного анализа при обработке результатов моделирования системы в следующей постановке. Пусть генеральные совокупности случайной величины имеют нормальное распределение и одинаковую дисперсию Необходимо по выборочным средним значениям при некотором уровне значимости у проверить нулевую гипотезу о равенстве математических ожиданий. Выявим влияние на результаты моделирования только одного фактора, рассмотрим однофакторный дисперсионный анализ.

Допустим, изучаемый фактор х привел к выборке значений неслучайной

величины У следующего вида: где к — количество уровней фактора х. Влияние фактора будем оценивать неслучайной величиной называемой факторной дисперсией:

где у — среднее арифметическое значение величины

Если генеральная дисперсия известна, то для оценки случайности разброса наблюдений необходимо сравнить с выборочной дисперсией используя критерий Фишера (-распределение). Если эмпирическое значение попадает в критическую область, то влияние фактора х считается значимым, а разброс значений х — неслучайным. Если генеральная дисперсия до проведения машинного эксперимента с моделью неизвестна, то необходимо при моделировании найти ее оценку.

Пусть серия наблюдений на уровне имеет вид где — число повторных наблюдений на уровне. Тогда на уровне феднее значение наблюдений

а среднее значение наблюдений по всем уровням

Общая выборочная дисперсия всех наблюдений

При этом разброс значений у определяется суммарным влиянием случайных причин и фактора х. Задача дисперсионного анализа состоит в том, чтобы разложить общую дисперсию на составляющие, связанные со случайными и неслучайными причинами.

Оценка генеральной дисперсии, связанной со случайными факторами,

а оценка факторной дисперсии

Учитывая, что факторная дисперсия наиболее заметна при анализе средних значений на уровне фактора, а остаточная дисперсия (дисперсия случайности) для средних значений в раз меньше, чем для отдельных измерений, найдем более точную оценку выборочной дисперсии

Умножив обе части этого выражения на получим в правой части выборочную дисперсию имеющую степень свободы. Влияние фактора х будет значимым, если при заданном у выполняется неравенство В противном случае влиянием фактора х на результаты моделирования можно пренебречь и

считать нулевую гипотезу о равенстве средних значений на различных уровнях справедливой.

Таким образом, дисперсионный анализ позволяет вместо проверки нулевой гипотезы о равенстве средних значений выборок проводить при обработке результатов моделирования проверку нулевой гипотезы о тождественности выборочной и генеральной дисперсий.

Возможны и другие подходы к анализу и интерпретации результатов моделирования, но при этом необходимо помнить, что их эффективность существенно зависит от вида и свойств конкретной моделируемой системы S.

Источник

Интерпретация результатов машинного обучения

Модели машинного обучения считаются «черными ящиками». Это не означает, что мы не можем получить от них точный прогноз, мы не можем понятно объяснить или понять логику их работы.

Четкое математическое определение интерпретируемости в машинном обучении отсутствует. Есть несколько определений:

• Интерпретируемость — это степень, в которой человек может понять причину решения (Миллер (2017)).

• Интерпретируемость — это степень, в которой человек может последовательно предсказывать результат модели. Чем выше интерпретируемость модели машинного обучения, тем легче кому-то понять, почему были приняты определенные решения или прогнозы. Модель лучше интерпретируется, чем другая модель, если ее решения легче понять человеку, чем решения другой модели.

• Интерпретируемость — это способность объяснить ее действие или показать его в понятном человеку виде.

Модель оказывает определенное влияние на последующие принятия решений, например, в системах поддержки принятия врачебных решений (СППВР). Очевидно, что интерпретируемость для СППВР будет гораздо важнее, чем для тех моделей, которые используются для прогнозирования результата классификации вин.

«Проблема заключается в том, что всего одна метрика, такая как точность классификации, является недостаточным описанием большинства реальных задач.» (Доши-Велес и Ким) 2017.

Для понимания и интерпретация работы модели нам потребуются:

• Определить наиболее важные признаки (feature importance) в модели.
• Для конкретного прогноза модели влияние каждого отдельного признака на конкретный прогноз.
• Влияние каждого признака на большое количество возможных прогнозов.

Рассмотрим несколько методов, которые помогают извлекать вышеперечисленные особенности из модели.

Permutation Importance

Какие признаки модель считает важными? Какие признаки оказывают наибольшее влияние? Эта концепция называется важностью признаков (feature importance), а Permutation Importance – это метод, широко используемый для вычисления важности признаков. Он помогает нам увидеть, в какой момент модель выдает неожиданные результаты или работает корректно.

Permutation importance отличается:

• Его быстро посчитать;
• Широко применяется и легко понимается;
• Используется вместе с метриками, которые обычно используются.

Допустим, у нас есть датасет. Мы хотим предсказать рост человека в 18 лет, используя данные, которые о нем имеются в 12 лет. Проведя случайное переупорядочивание одного столбца, получим выходные прогнозы менее точными, так как полученные данные больше не соответствуют чему-либо в нашем датасете.

Точность модели особенно страдает, если мы перемешиваем столбец, на который модель сильно опиралась для прогнозов. В этом случае перетасовка «роста в 12 лет» вызвала бы непредсказуемые прогнозы. Если бы вместо этого, мы перетасовали «размер носок», то предсказания не пострадали бы так сильно.

Процесс выявления важности признаков выглядит следующим образом:

1. Получаем обученную модель на «нормальных» данных, вычисляем для нее метрики, в том числе и значение функции потерь.
2. Переставляем значения в одном столбце, прогнозируем с использованием полученного набора данных. Используем эти прогнозы и истинные целевые значения, чтобы вычислить, насколько функция потерь ухудшилась от перетасовки. Это ухудшение производительности измеряет важность переменной, которую только что перемешали.
3. Возвращаем данные к исходным значениям и повторяем шаг 2 со следующим столбцом в наборе данных, пока вычисляется важность каждого столбца.

Для вычисления permutation importance есть несколько готовых библиотек, рассмотрим примеры работы с ними.

Библиотека SkLearn

SkLearn — самый распространенный выбор для решения задач классического машинного обучения. Классы в модуле sklearn.feature_selection (https://scikit-learn.org/stable/modules/feature_selection.html#rfe) могут использоваться для выбора признаков / уменьшения размерности на выборочных наборах, либо для улучшения показателей точности оценщиков, либо для повышения их производительности на очень многомерных наборах данных.

Так, библиотека sklearn и метод рекурсивного отбора признаков , были использованы в модели прогнозирования возникновения ампутации нижних конечностей у пациентов с сахарным диабетом 2 типа в течение 5 лет. Изначально были использованы 99 возможных признаков объективных и лабораторных данных пациентов с сахарным диабетом 2 типа. С помощью этого метода оценивалось различное количество N признаков и их влияние на точность предсказания. В итоге были выбраны только 20 признаков (триглицериды, прием препаратов: периферические альфа-адреноблокаторы, сульфонилмочевины, ингибиторы альфа-глюкозидазы, ингибиторы абсорбции холестерина, пероральные антикоагулянты, повышение микро или макроальбуминурия в течение последних 2 лет, ГЛЖ по ЭКГ или эхокардиограмме за последние 2 года, табакокурение, наличие ретинопатии), при которых модель достигает наибольшей точности AUC =0.809.

Библиотека ELI5

ELI5 – это библиотека в Python, которая позволяет визуализировать различные модели машинного обучения с помощью унифицированного API (https://github.com/TeamHG-Memex/eli5). Имеет встроенную поддержку для нескольких ML-фреймворков и обеспечивает способы интерпретации модели черного ящика.

Рассмотрим модель, которая предсказывает как играет футбольная команда и сможет ли она пол награду “Man of the Game” или нет, на основе определенных параметров.

(Здесь val_X,val_y обозначают соответственно наборы валидации)

Визуализаторы используются для обнаружения функций или целей, которые могут повлиять на последующую подгонку.

В следующем примере рассматриваются функции Rank1D и Rank2D для оценки отдельных функций и пар функций с помощью различных показателей, которые оценивают функции по шкале [-1, 1] или [0, 1].

При одномерном ранжировании функций [Rank1D] используется алгоритм ранжирования, который учитывает только одну функцию за 1 раз.

Значимость каждого из 23 признаков отображена на следующем рисунке, чем больше значение, тем важнее признак.

При двумерном ранжировании функций [Rank 2D] используется алгоритм ранжирования, который одновременно учитывает пары функций. Для этого удобно использовать корреляцию по Пирсону, которая показывает связь двух признаков между собой. Чем больше число, тем сильнее коррелированы признаки.

Partial Dependence Plots – PDP

График частичной зависимости (PDP или график PD) показывает краевой эффект одного или двух признаков на прогнозируемый результат модели машинного обучения (J. H. Friedman 2001). График частичной зависимости может показать, является ли отношение между целью и признаком линейным, монотонным или более сложным. Например, при применении к модели линейной регрессии графики частичной зависимости всегда показывают линейную зависимость.

Для классификации, где модель машинного обучения выводит вероятности, график частичной зависимости отображает вероятность для определенного класса, заданного различными значениями для признаков. Простым способом для отображения с несколькими классами, является рисование одной линии или графика для каждого класса. График частичной зависимости является глобальным методом: Метод рассматривает все экземпляры и даёт утверждение о глобальной взаимосвязи признака с предсказанным результатом.

На данном графике Ось Y отражает изменение прогноза вследствие того, что было предсказано в исходном или в крайнем левом значении. Синяя область обозначает интервал доверия. «Goal Scored» мы видим, что забитый гол увеличивает вероятность получения награды ‘Лучший игрок’, но через некоторое время происходит насыщение.

Библиотека SHAP

SHAP (SHapley Additive explanation) — метод помогает разбить на части прогноз, чтобы выявить значение каждого признака. Он основан на Векторе Шепли, принципе, используемом в теории игр для определения, насколько каждый игрок при совместной игре способствует ее успешному исходу (https://medium.com/civis-analytics/demystifying-black-box-models-with-shap-value-analysis-3e20b536fc80).

SHAP – значения показывают, насколько данный конкретный признак изменил предсказание по сравнению при базовом значении этого признака. Допустим, мы хотели узнать, каким был бы прогноз, если бы команда забила 3 гола, вместо фиксированного базового количества.

Признаки, продвигающие прогноз выше, показаны красным цветом, а те, что понижают его точность – ниже.

Агрегирование множества SHAP-значений поможет сформировать более детальное представление о модели. Чтобы получить представление о том, какие признаки наиболее важны для модели, мы можем построить SHAP – значения для каждого признака и для каждой выборки. Сводный график показывает, какие признаки являются наиболее важными, а также их диапазон влияния на датасет.

Для каждой точки цвет показывает, является ли этот объект сильно значимым или слабо значимым для этой строки датасета; Горизонтальное расположение показывает, привело ли влияние значения этого признака к более точному прогнозу или нет.

Значения упорядочены сверху вниз, вверху являются наиболее важными признаками, а значения в направлении к низу имеют наименьшее значение.

Первое число в каждой строке показывает, насколько снизилась производительность модели при случайной перетасовке (в данном случае с использованием "точности" в качестве метрики производительности). Существует некоторая случайность в точном изменении производительности от перетасовки столбца. Мы измеряем количество случайности в нашем вычислении важности перестановки, повторяя процесс с несколькими перестановками. Число после ± измеряет изменение производительности от одной перестановки к следующей. Иногда отображаются отрицательные значения импорта перестановок. В этих случаях прогнозы по перетасованным (или шумным) данным оказались более точными, чем реальные данные. Это происходит, когда функция не имела значения (должна была иметь значение, близкое к 0), но случайный шанс привел к тому, что прогнозы по перетасованным данным были более точными. Это чаще встречается с небольшими наборами данных, как в этом примере, потому что есть больше места для удачи/шанса. Некоторые веса отрицательны. Это связано с тем, что в этих случаях прогнозы по перетасованным данным оказались более точными, чем реальные данные.

Библиотека Yellowbrick

Yellowbrick https://www.scikit-yb.org/en/latest/ предназначена для визуализии признаков и расширяет Scikit-Learn API, чтобы упростить выбор модели и настройку гиперпараметров. Под капотом использует Matplotlib.

Библиотека LIME

LIME (локально интерпретируемое объяснение, не зависящее от устройства модели) — это библиотека Python, которая пытается найти интерпретируемую модель, предоставляя точные локальные объяснения https://github.com/marcotcr/lime.

Lime поддерживает объяснения для индивидуальных прогнозов широкого круга классификаторов. Встроена поддержка scikit-learn.

Ниже приведен пример одного такого объяснения проблемы классификации текста.

Вывод LIME представляет собой список объяснений, отражающих вклад каждой функции в прогноз выборки данных. Это обеспечивает локальную интерпретируемость, а также позволяет определить, какие изменения характеристик окажут наибольшее влияние на прогноз.

Библиотека MXLtend

Библиотека MLxtend содержит ряд вспомогательных функций для машинного обучения. Например, для StackingClassifier и VotingClassifier, эволюции модели, извлечения признаков, для разработки и для визуализации данных. С помощью MLxtend и сравним границы решения VotingClassifier и входящих в его состав классификаторов:

Заключение

Интерпретируемость модели важна не меньше, чем качество модели. Для того, чтобы добиться признания, крайне важно, чтобы системы машинного обучения могли предоставить понятные объяснения своих решений. Приведены основные библиотеки под Python для интерпретации модели, которые используют специалисты компании "К-Скай" при создании предиктивных моделей и управления рисками в здравоохранении.

Источник

Интерпретация моделей машинного обучения

Независимо от конечной цели ваших решений по науке о данных конечный пользователь всегда будет отдавать предпочтение решениям, которые можно интерпретировать и понять. Более того, будучи специалистом по данным, вы всегда извлекаете выгоду из интерпретируемости вашей модели для проверки и улучшения вашей работы. В этом посте я попытаюсь объяснить важность интерпретируемости в машинном обучении и обсудить некоторые простые действия и структуры, с которыми вы можете поэкспериментировать.

Почему интерпретируемость в машинном обучении важна?

В традиционной статистике мы строим и проверяем гипотезы, исследуя данные в целом. Мы строим модели для построения правил, которые мы можем включить в наши ментальные модели процессов. Например, маркетинговая фирма может построить модель, которая сопоставляет данные маркетинговой кампании с финансовыми данными, чтобы определить, что составляет эффективную маркетинговую кампанию.
Это нисходящий подход к науке о данных, и интерпретируемость является ключевой, поскольку он является краеугольным камнем определяемых правил и процессов. Поскольку корреляция часто не равна причинно-следственной связи, необходимо твердое понимание модели, когда речь идет о принятии решений и их объяснении.

В рамках восходящего подхода к науке о данных мы делегируем части бизнес-процесса моделям машинного обучения. Кроме того, совершенно новые бизнес-идеи возможны благодаря машинному обучению. Наука снизу вверх обычно соответствует автоматизации ручных и трудоемких задач. Фирма-производитель может, например, установить датчики на свои машины и выполнить профилактическое обслуживание. В результате инженеры по техническому обслуживанию могут работать более эффективно, и им не нужно выполнять дорогостоящие периодические проверки. Интерпретируемость модели необходима для проверки того, что то, что делает модель, соответствует тому, что вы ожидаете, и это позволяет завоевать доверие пользователей и облегчить переход от ручных к автоматизированным процессам.

Как специалист по обработке данных, вы часто заботитесь о тонкой настройке моделей для достижения оптимальной производительности. Наука о данных часто описывается следующим образом: «при наличии данных X с метками y найдите модель с минимальной ошибкой». Хотя умение обучать эффективные модели является критическим навыком для исследователя данных, важно уметь смотреть на картину в целом. Интерпретируемость данных и моделей машинного обучения является одним из тех аспектов, которые имеют решающее значение для практической «полезности» конвейера данных и обеспечивают соответствие модели той проблеме, которую вы хотите решить. Хотя при создании моделей легко потерять себя, экспериментируя с самыми современными методами, способность правильно интерпретировать полученные результаты является важной частью процесса обработки данных.

Почему важно провести углубленный анализ ваших моделей?

Есть несколько причин, чтобы сосредоточиться на интерпретируемости модели как ученый данных. Хотя между ними есть частичное совпадение, они отражают различные мотивы интерпретации:

Выявить и смягчить предвзятость.

Смещение потенциально присутствует в любом наборе данных, и ученый, работающий с данными, должен определить и попытаться исправить это. Размеры наборов данных могут быть ограничены, и они могут не быть представимыми для всего населения, или процесс сбора данных мог не учитывать потенциальные искажения. Смещения часто становятся очевидными только после тщательного анализа данных или когда анализируется связь между предсказаниями модели и входными данными модели. Если вы хотите узнать больше о различных типах смещения, я настоятельно рекомендую видео ниже. Обратите внимание, что не существует единого решения для устранения предвзятости, но критический шаг к интерпретируемости, осознавая потенциальную предвзятость.

Другими примерами смещения являются следующие:

например векторы word2vec содержатгендерные предубежденияиз-за пристрастий, которые присутствуют в корпусах, на которых они были обучены. Когда вы тренируете модель с этими встраиваниями слов, рекрутер, ищущий «технические профили», оставит женские резюме в нижней части стопки.

например Когда вы тренируете модель обнаружения объекта в небольшом, созданном вручную наборе данных, часто случается, что ширина изображений слишком ограничена. Для того, чтобы избежать модели, которая подходит только для шумных и неважных элементов в данных, требуется большое разнообразие изображений объектов в разных средах, разных условиях молнии и разных ракурсах.

В большинстве задач вы работаете с набором данных, который является лишь приблизительным представлением проблемы, которую вы пытаетесь решить, и модель машинного обучения обычно не может охватить всю сложность реальной задачи. Интерпретируемая модель помогает вам понимать и учитывать факторы, которые (не) включены в модель, и учитывать контекст проблемы при выполнении действий, основанных на предсказаниях модели.

Улучшение обобщения и производительности.

Высокая интерпретируемость обычно приводит к модели, которая лучше обобщается. Интерпретируемость заключается не в понимании каждой детали модели для всех точек данных. Сочетание достоверных данных, модели и понимания проблемы необходимо для решения, которое работает лучше.

В таких отраслях, как финансы и здравоохранение, важно проверять процесс принятия решений и обеспечивать, например, его принятие. не дискриминационные или нарушающие какие-либо законы. С ростом регулирования защиты данных и конфиденциальности, такого как GDPR, интерпретируемость становится еще более важной. Кроме того, в медицинских приложениях или в автомобилях с самостоятельным вождением один неверный прогноз может оказать существенное влияние, и возможность «проверки» модели имеет решающее значение. Следовательно, система должна быть в состоянии объяснить, как она достигла данной рекомендации.

Интерпретация ваших моделей

Распространенная цитата о интерпретируемости модели заключается в том, что с увеличением сложности модели интерпретируемость модели снижается по меньшей мере так же быстро. Важность функции — это базовый (и часто бесплатный) подход к интерпретации вашей модели. Даже для моделей черного ящика, таких как глубокое обучение, существуют методы для улучшения интерпретируемости. Наконец, будет обсуждаться структура LIME, которая служит набором инструментов для анализа моделей.

Важность функции

• Обобщенные линейные модели

Обобщенные линейные модели (GLM-х) все основаны на следующем принципе:
если вы берете линейную комбинацию ваших функцийИксс весами моделивеси передать результат через функцию сквошаеВы можете использовать его для прогнозирования широкого спектра переменных ответа. Наиболее распространенными приложениями для GLM являются регрессия (линейная регрессия), классификация (логистическая регрессия) или моделирование пуассоновских процессов (пуассоновская регрессия). Веса, полученные после обучения, являются прямым показателем важности функций и обеспечивают очень конкретную интерпретацию внутренних элементов модели.

например при построении текстового классификатора вы можете нанести на график наиболее важные элементы и проверить, не перегружает ли модель шум. Если наиболее важные слова не соответствуют вашей интуиции (например, имена или стоп-слова), это, вероятно, означает, что модель соответствует шуму в наборе данных и не будет хорошо работать с новыми данными.

Даже нелинейные модели, такие как древовидные модели (например, Случайный лес), также позволяют получать информацию о важности функции. В Random Forest важность функций предоставляется бесплатно при обучении модели, поэтому это отличный способ проверить первоначальные гипотезы и определить, «что» изучает модель. Веса в подходах, основанных на ядре, таких как SVM, часто не очень хороший показатель важности функций. Преимущество методов ядра заключается в том, что вы можете захватывать нелинейные отношения между переменными, проецируя функции в пространство ядра. С другой стороны, просто рассмотрение весов как важности функции не делает справедливым взаимодействие функций.

Модели глубокого обучения известны своей непонятностью из-за большого количества параметров и сложного подхода к извлечению и объединению функций. Поскольку этот класс моделей способен обеспечить самые современные характеристики по многим задачам, многие исследования сосредоточены на увязке предсказаний модели с входными данными.

Особенно при переходе к еще более сложным системам, которые обрабатывают текстовые и графические данные, становится трудно интерпретировать то, что на самом деле изучает модель. В настоящее время основное внимание в исследованиях уделяется прежде всего связыванию и сопоставлению результатов или прогнозов с входными данными. Хотя это довольно просто в контексте линейной модели, это все еще нерешенная проблема для сетей глубокого обучения. Два основных подхода основаны либо на градиенте, либо на внимании

— В методах на основе градиента градиенты целевого концепта, рассчитанные в обратном проходе, используются для создания карты, которая выделяет важные области на входе для прогнозирования целевого концепта. Это обычно применяется в контексте компьютерного зрения.

Методы, основанные на внимании, обычно используются с последовательными данными (например, текстовыми данными). В дополнение к обычным весам сети, тренируются веса внимания, которые действуют как «входные врата». Эти веса внимания определяют, сколько каждого из различных элементов в конечном сетевом выводе. Помимо интерпретируемости, внимание в контексте, например, текстовый ответ на вопросы также приводит к лучшим результатам, поскольку сеть способна «сфокусировать» свое внимание.

ЛАЙМ

Лаймявляется более общей структурой, целью которой является сделать предсказания «любой» модели машинного обучения более интерпретируемыми.

Чтобы оставаться независимым от модели, LIME работает путем локального изменения входных данных для модели. Таким образом, вместо того, чтобы пытаться понять всю модель в одно и то же время, конкретный входной экземпляр изменяется и отслеживается влияние на прогнозы. В контексте классификации текста это означает, что некоторые слова, например, заменить, чтобы определить, какие элементы входных данных влияют на прогнозы.

Если у вас есть какие-либо вопросы по интерпретируемости в машинном обучении, я буду рад прочитать их в комментариях. Следуй за мной посреднийилищебетесли вы хотите получать обновления на мои сообщения в блоге!

Источник