您当前的位置:首页 > IT编程 > python
| C语言 | Java | VB | VC | python | Android | TensorFlow | C++ | oracle | 学术与代码 | cnn卷积神经网络 | gnn | 图像修复 | Keras | 数据集 | Neo4j | 自然语言处理 | 深度学习 | 医学CAD | 医学影像 | 超参数 | pointnet | pytorch | 异常检测 | Transformers | 情感分类 | 知识图谱 |

自学教程:python机器学习Github已达8.9Kstars模型解释器LIME

51自学网 2022-02-21 10:47:38
  python
这篇教程python机器学习Github已达8.9Kstars模型解释器LIME写得很实用,希望能帮到您。

简单的模型例如线性回归,LR等模型非常易于解释,但在实际应用中的效果却远远低于复杂的梯度提升树模型以及神经网络等模型。

现在大部分互联网公司的建模都是基于梯度提升树或者神经网络模型等复杂模型,遗憾的是,这些模型虽然效果好,但是我们却较难对其进行很好地解释,这也是目前一直困扰着大家的一个重要问题,现在大家也越来越加关注模型的解释性。

本文介绍一种解释机器学习模型输出的方法LIME。它可以认为是SHARP的升级版,Github链接:https://github.com/marcotcr/lime,有所收获多多支持

LIME

LIME(Local Interpretable Model-agnostic Explanations)支持的模型包括:

  • 结构化模型的解释;
  • 文本分类器的解释;
  • 图像分类器的解释;

LIME被用作解释机器学习模型的解释,通过LIME我们可以知道为什么模型会这样进行预测。

本文我们就重点观测一下LIME是如何对预测结果进行解释的。

代 码

此处我们使用winequality-white数据集,并且将quality<=5设置为0,其它的值转变为1.

# !pip install limeimport pandas as pdfrom xgboost import XGBClassifierimport shapimport numpy as npfrom sklearn.model_selection import train_test_split
df = pd.read_csv('./data/winequality-white.csv',sep = ';')df['quality'] = df['quality'].apply(lambda x: 0 if x <= 5 else 1)df.head()

在这里插入图片描述

# 训练集测试集分割X = df.drop('quality', axis=1)y = df['quality'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)# 模型训练model = XGBClassifier(n_estimators = 100, random_state=42)model.fit(X_train, y_train)score = model.score(X_test, y_test)score

The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. 0.832653061224489

对单个样本进行预测解释

下面的图中表明了单个样本的预测值中各个特征的贡献。

import limefrom lime import lime_tabularexplainer = lime_tabular.LimeTabularExplainer(    training_data=np.array(X_train),    feature_names=X_train.columns,    class_names=['bad', 'good'],    mode='classification')

模型有84%的置信度是坏的wine,而其中alcohol,totals ulfur dioxide是最重要的。

在这里插入图片描述

import limefrom lime import lime_tabularexplainer = lime_tabular.LimeTabularExplainer(    training_data=np.array(X_train),    feature_names=X_train.columns,    class_names=['bad', 'good'],    mode='classification')

模型有59%的置信度是坏的wine,而其中alcohol,chlorides, density, citric acid是最重要的预测参考因素。

在这里插入图片描述

exp = explainer.explain_instance(data_row=X_test.iloc[1], predict_fn=model.predict_proba)exp.show_in_notebook(show_table=True)

适用问题

LIME可以认为是SHARP的升级版,它通过预测结果解释机器学习模型很简单。它为我们提供了一个很好的方式来向非技术人员解释地下发生了什么。您不必担心数据可视化,因为LIME库会为您处理数据可视化。

参考链接

https://www.kaggle.com/piyushagni5/white-wine-quality
LIME: How to Interpret Machine Learning Models With Python
https://github.com/marcotcr/lime
https://mp.weixin.qq.com/s/47omhEeHqJdQTtciLIN2Hw

以上就是Github已达8.9Kstars的最佳模型解释器LIME的详细内容,更多关于模型解释器LIME的资料请关注51zixue.net其它相关文章!


Python实现Word的读写改操作
python&nbsp;turtle绘图命令及案例
万事OK自学网:51自学网_软件自学网_CAD自学网自学excel、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。