python机器学习-数据科学

1. 统计数据
2. 编程技巧
3. 批判性思考
4. 人工智能、机器学习和深度学习知识
5. 数学
6. 精通 Python、R、SAS 和 Scala
7. 沟通
8. 数据整理
9. 数据可视化
10. 理解分析函数的能力
11. 使用 SQL 的经验
12. 处理非结构化数据的能力

数据科学组件

现在，我们将讨论数据科学的一些关键组成部分，它们是

1. 数据（及其各种类型）

原始数据集是数据科学的基础，它可以是各种类型的数据，如结构化数据（主要以表格形式）和非结构化数据（图像、视频、电子邮件、PDF 文件等）。

2. 编程（Python 和 R）

数据管理和分析是通过计算机编程完成的。在数据科学领域，两种编程语言最受欢迎：Python 和 R。

3. 统计和概率

数据被操纵以从中提取信息。数据科学的数学基础是统计学和概率。如果没有清楚的统计和概率知识，很可能会误解数据并得出不正确的结论。这就是统计和概率在数据科学中发挥关键作用的原因。

4. 机器学习

作为数据科学家，您每天都会使用机器学习算法，例如回归和分类方法。对于数据科学家来说，了解机器学习是他们工作的一部分非常重要，这样他们才能从可用数据中预测有价值的见解。

5. 大数据

在当今世界，原始数据与原油相比，我们从原油中提取成品油的方式，通过应用数据科学，我们可以从原始数据中提取不同类型的信息。数据科学家用来处理大数据的不同工具有 Java、Hadoop、R、Pig、Apache Spark 等。

什么是数据科学过程？

数据科学过程是数据科学的生命周期。它由一组按时间顺序排列的步骤组成。此过程分为 6 个子部分，如下所示：

1. 数据发现

它包括从各种来源发现数据的方法，这些来源可以是非结构化格式（如视频或图像）或结构化格式（如文本文件），也可以来自关系数据库系统。

2. 数据准备

它包括将不同的数据转换为通用格式，以便无缝地使用它。此过程涉及收集干净的数据子集并插入合适的默认值，还可能涉及更复杂的方法，例如通过建模识别缺失值等。

3. 模型规划

在这里，您将确定绘制变量之间关系的方法和技术。这些关系将为您将在下一阶段实施的算法奠定基础。

4. 模型搭建

在此阶段，您将开发用于训练和测试目的的数据集。您将考虑您现有的工具是否足以运行模型，或者是否需要更强大的环境（如快速并行处理）。您将分析各种学习技术（如分类、关联和聚类）以构建模型。

5. 优化

在此阶段，您将交付最终报告、简报、代码和技术文档。此外，有时也会在实时生产环境中实施试点项目。这将使您在全面部署之前清楚地了解小规模的性能和其他相关限制。

6. 沟通结果

在最后一个阶段，您确定所有关键发现，与利益相关者沟通并根据第 1 阶段制定的标准确定项目的结果是成功还是失败。

Python 实现数据科学

到现在为止，你们都已经获得了很多关于这个概念的理论知识。现在让我们看看我们如何使用 python 实现这个概念。

在这里，我使用的是泰坦尼克号数据，你可以从kaggle下载泰坦尼克号.csv。我为此使用了 Google Colab，您可以为此使用 Jupyter Notebook 或任何其他工具。

1. 将数据加载到 Google Colab

向Google Colab上传数据集有3种方式，以下是我觉得比较简单的方式，其他2种方式大家可以搜索使用。

我使用 Google Colab，原因如下：

1. 与 Jupyter Notebook 不同，我不需要安装任何库
2. 作为一个 Web 应用程序，处理速度很高（因为我们获得了使用 GPU 和 TPU 的优势）
3. 此外，我们能够在具有低 RAM 和系统功能的系统上执行机器学习（我认为最重要的）

from google.colab import files  
uploaded = files.upload()  

单击上传并选择您要上传的文件，在我的例子中是“titanic.csv”。之后，它将开始自动上传。

2. 准备 Notebook (Google Colab)

在这里，我们将设置 notebook/Google Colab 的环境。然后我们将导入所有必需的 Python 库。

from IPython.core.display import HTML  
HTML(""" 
<style> 
.output_png { 
    display: table-cell; 
    text-align: center; 
    vertical-align: middle; 
} 
</style> 
""");  
%matplotlib inline  
  
import warnings  
warnings.filterwarnings('ignore')  
warnings.filterwarnings('ignore', category=DeprecationWarning)  
  
import pandas as pd  
pd.options.display.max_columns = 100  
  
from matplotlib import pyplot as plt  
import numpy as np  
  
import seaborn as sns  
  
import pylab as plot  
params = {   
    'axes.labelsize': "large",  
    'xtick.labelsize': 'x-large',  
    'legend.fontsize': 20,  
    'figure.dpi': 150,  
    'figure.figsize': [25, 7]  
}  
plot.rcParams.update(params)  

3. 加载数据集

我们将使用pandas 来加载数据集。

data = pd.read_csv('titanic.csv')  

4. 打印数据的形状或大小

data.shape  

输出

由于我使用的是 891 行 12 列的 CSV 文件，因此我将获得输出为 (891,12)

5.打印数据的前5行 

print(data.head())  

输出

6. 获得数据集的高级描述 

data.describe()  

输出

上面的输出给我们的印象是年龄列中缺少 177，因为年龄的计数值与其他列的计数值不匹配。所以要补充的是，我们执行以下操作：

data['Age'] = data['Age'].fillna(data['Age'].median())  

现在，如果我们执行 data.describe()，我们会得到以下输出：

7. 数据可视化

在这个主题下，我们将可视化并尝试理解数据集。

7.1. 性和生存机会的可视化

data['Died'] = 1 - data['Survived']  
data.groupby('Sex').agg('sum')[['Survived', 'Died']].plot(kind='bar', figsize=(3, 3),  
stacked=True, colors=['g', 'r']);  

输出

我们可以将上述数字的比率可视化为：

data.groupby('Sex').agg('mean')[['Survived', 'Died']].plot(kind='bar', figsize=(3, 3),   
stacked=True, colors=['g', 'r']);  

输出

7.2. 年龄变量与男性和女性的相关性的可视化 

fig = plt.figure(figsize=(3, 3))  
sns.violinplot(x='Sex', y='Age',   
hue='Survived', data=data, split=True,  
palette={0: "r", 1: "g"});

输出

所以，从上面我们推断，女性比男性存活得更多

7.3. 票价与生存机会关系的可视化

figure = plt.figure(figsize=(5, 3))  
plt.hist([data[data['Survived'] == 1]['Fare'], data[data['Survived'] == 0]['Fare']],   
         stacked=True, color = ['g','r'],  
         bins = 50, label = ['Survived','Dead'])  
plt.xlabel('Fare')  
plt.ylabel('Number of passengers')  
plt.legend();  

输出

7.4. 票价、年龄和生存机会之间关系的可视化

plt.figure(figsize=(25, 7))  
ax = plt.subplot()  
  
ax.scatter(data[data['Survived'] == 1]['Age'], data[data['Survived'] == 1]['Fare'],   
           c='green', s=data[data['Survived'] == 1]['Fare'])  
ax.scatter(data[data['Survived'] == 0]['Age'], data[data['Survived'] == 0]['Fare'],   
           c='red', s=data[data['Survived'] == 0]['Fare']);  

输出

我们可以观察到不同的集群：

1. x=20 和 x=45 之间的大绿点：票价最高的成人
2. x=10 和 x=45 之间的小红点，船上下层的成年人
3. x=0 和 x=7 之间的小点：这些是孩子

7.5. 票价与舱位关系的可视化

fig = plt.figure(figsize=(5, 3))  
sns.violinplot(x='Embarked', y='Fare', hue='Survived', data=data, split=True, palette={0: "r", 1: "g"}); 

输出

从上面的可视化中，我们可以推断出支付最高或设置在 C 中的乘客存活的时间最多

Python 数据处理

在这里，我们将清理数据，使其为机器学习算法的工作做好准备，即填充缺失值，查看数据是否连续，查看数据是否需要进行任何修改？

data.describe()  

输出

从上面的数据，我们得到的印象是乘客的最小年龄是 0.42 岁，即 5 个月。这很可疑，据消息称，我们船上有一个两个月大的婴儿，即最低年龄应该是0.19岁。

同样在“fare”字段中，我们发现一些值为 (0,0)。这要么意味着这些乘客免费旅行，要么数据丢失。

那么，让我们首先检查数据中的任何单元格是否为空？

data.count()  

输出

因此，从上面的输出可以清楚地看出，我们在“embarked”、“age”和“cabin”列中缺少一些数据或相应的单元格为空。

那么，现在该怎么办。要么我们必须删除缺少数据的列，要么我们必须填补缺失的地方。现在，我将告诉你我如何减少缺失值的数量。

填补缺失值的三种方式

1. 用 numpy.NaN 替换值为 ‘0’ 的每个单元格

data = data.replace(0, np.NaN)  
print(data.isnull().sum())  

输出

因此，我们可以看到在某种程度上我们能够清理数据，但有些数据已损坏。所以让我们尝试另一种方式，看看结果

2.用列均值替换每个缺失值

data.fillna(data.mean(), inplace=True)  
# count the number of NaN values in each column  
print(data.isnull().sum())  

输出

在这里，我们看到我们能够纠正“age”并且没有任何损坏。但是我们没能纠正“cabin”和“embarked”。所以现在让我们尝试另一种方式。

3. 用零替换每个 numpy.NaN 值

data = data.replace(np.NaN, 0)  
# count the number of NaN values in each column  
print(data.isnull().sum())  

输出

因此，通过使用它，我能够实现“无空”情况。

注意：但是替换我已经实现的缺失值很可能会导致数据丢失或可能会改变数据的含义。

结论

在本章中，我们学习了数据科学。

在下一章中，我们将学习机器学习及其一些常用术语。