📜  机器学习生命周期

📅  最后修改于: 2020-09-26 14:10:26             🧑  作者: Mango

机器学习生命周期

机器学习使计算机系统无需明确编程即可自动学习。但是机器学习系统如何工作?因此,可以用机器学习的生命周期来描述它。机器学习生命周期是构建高效机器学习项目的循环过程。生命周期的主要目的是找到问题或项目的解决方案。

机器学习生命周期涉及以下七个主要步骤:

  • 收集数据
  • 资料准备
  • 数据整理
  • 分析数据
  • 训练模型
  • 测试模型
  • 部署方式

整个过程中最重要的事情是了解问题并了解问题的目的。因此,在开始生命周期之前,我们需要了解问题,因为好的结果取决于对问题的更好理解。

在完整的生命周期过程中,为了解决问题,我们创建了一个称为“模型”的机器学习系统,并通过提供“培训”来创建此模型。但是要训练模型,我们需要数据,因此,生命周期始于收集数据。

1.收集数据:

数据收集是机器学习生命周期的第一步。此步骤的目标是识别并获取所有与数据相关的问题。

在此步骤中,我们需要标识不同的数据源,因为可以从各种源中收集数据,例如文件,数据库,Internet或移动设备。这是生命周期中最重要的步骤之一。所收集数据的数量和质量将决定输出的效率。数据越多,预测就越准确。

此步骤包括以下任务:

  • 识别各种数据源
  • 收集数据
  • 整合从不同来源获得的数据

通过执行上述任务,我们获得了一组连贯的数据,也称为数据集。它将在以后的步骤中使用。

2.数据准备

收集数据后,我们需要为进一步的步骤做准备。数据准备是我们将数据放入合适的位置并准备将其用于我们的机器学习培训的步骤。

在此步骤中,首先,我们将所有数据放在一起,然后随机化数据顺序。

此步骤可以进一步分为两个过程:

  • 数据探索:
    它用于了解我们必须使用的数据的性质。我们需要了解数据的特征,格式和质量。
    更好地理解数据可以产生有效的结果。在这里,我们找到相关性,总体趋势和离群值。
  • 数据预处理:
    现在,下一步是对数据进行预处理以进行分析。

3.数据整理

数据整理是清除原始数据并将其转换为可用格式的过程。这是清理数据,选择要使用的变量并以适当的格式转换数据以使其更适合下一步分析的过程。这是整个过程中最重要的步骤之一。需要清理数据以解决质量问题。

我们收集的数据不一定总是可以使用的,因为某些数据可能没有用。在实际的应用程序中,收集的数据可能会有各种问题,包括:

  • 缺失值
  • 资料重复
  • 无效数据
  • 噪声

因此,我们使用各种过滤技术来清理数据。

必须检测并消除上述问题,因为这会对结果的质量产生负面影响。

4.数据分析

现在,已清理和准备好的数据将传递到分析步骤。此步骤涉及:

  • 分析技术的选择
  • 建筑模型
  • 查看结果

此步骤的目的是建立一个机器学习模型,以使用各种分析技术来分析数据并检查结果。首先确定问题的类型,然后选择机器学习技术,例如分类,回归,聚类分析,关联等,然后使用准备好的数据构建模型并评估模型。

因此,在这一步中,我们获取数据并使用机器学习算法来构建模型。

5.训练模型

现在,下一步是训练模型,在这一步中,我们训练模型以提高其性能,以更好地解决问题。

我们使用数据集使用各种机器学习算法来训练模型。需要训练模型,以便它可以理解各种模式,规则和功能。

6.测试模型

一旦我们的机器学习模型已经在给定的数据集上进行训练,那么我们就可以测试模型。在这一步中,我们通过提供测试数据集来检查模型的准确性。

测试模型可以根据项目或问题的需求确定模型的百分比准确性。

7.部署

机器学习生命周期的最后一步是部署,我们在实际系统中部署模型。

如果上面准备的模型可以按照我们的要求以可接受的速度产生准确的结果,则可以在实际系统中部署该模型。但是在部署项目之前,我们将检查它是否使用可用数据来提高其性能。部署阶段类似于为项目制作最终报告。