📜  ML-线性回归与逻辑回归

📅  最后修改于: 2020-09-28 05:52:10             🧑  作者: Mango

线性回归与逻辑回归

线性回归和逻辑回归是受监督学习技术的两种著名的机器学习算法。由于这两种算法本质上都是受监督的,因此这些算法使用标记的数据集进行预测。但是它们之间的主要区别在于它们的使用方式。线性回归用于解决回归问题,而逻辑回归用于解决分类问题。两种算法的描述以及差异表在下面给出。

线性回归:

  • 线性回归是监督学习技术下最简单的机器学习算法之一,用于解决回归问题。
  • 它用于在自变量的帮助下预测连续因变量。
  • 线性回归的目标是找到可以正确预测连续因变量输出的最佳拟合线。
  • 如果将单个自变量用于预测,则称为简单线性回归;如果有两个以上自变量,则将这种回归称为多重线性回归。
  • 通过找到最佳拟合线,算法建立了因变量和自变量之间的关系。并且该关系应该是线性的。
  • 线性回归的输出应仅是连续值,例如价格,年龄,薪水等。因变量和自变量之间的关系如下图所示:

在上图中,因变量在Y轴(薪水)上,自变量在x轴(经验)上。回归线可以写成:

其中,a0和a1是系数,而ε是误差项。

逻辑回归:

  • 逻辑回归是监督学习技术下最受欢迎的机器学习算法之一。
  • 它既可以用于分类问题,也可以用于回归问题,但主要用于分类问题。
  • 逻辑回归用于在自变量的帮助下预测分类因变量。
  • Logistic回归问题的输出只能在0和1之间。
  • 在需要两类之间的概率的情况下,可以使用逻辑回归。例如今天是否下雨,0或1,对还是错等等。
  • Logistic回归基于最大似然估计的概念。根据此估计,观察到的数据应该是最有可能的。
  • 在逻辑回归中,我们将输入的加权和通过激活函数传递,该函数可以映射介于0和1之间的值。这种激活函数称为Sigmoid 函数 ,获得的曲线称为Sigmoid曲线或S曲线。考虑下图:

  • Logistic回归方程为:

线性回归和逻辑回归之间的区别:

Linear Regression Logistic Regression
Linear regression is used to predict the continuous dependent variable using a given set of independent variables. Logistic Regression is used to predict the categorical dependent variable using a given set of independent variables.
Linear Regression is used for solving Regression problem. Logistic regression is used for solving Classification problems.
In Linear regression, we predict the value of continuous variables. In logistic Regression, we predict the values of categorical variables.
In linear regression, we find the best fit line, by which we can easily predict the output. In Logistic Regression, we find the S-curve by which we can classify the samples.
Least square estimation method is used for estimation of accuracy. Maximum likelihood estimation method is used for estimation of accuracy.
The output for Linear Regression must be a continuous value, such as price, age, etc. The output of Logistic Regression must be a Categorical value such as 0 or 1, Yes or No, etc.
In Linear regression, it is required that relationship between dependent variable and independent variable must be linear. In Logistic regression, it is not required to have the linear relationship between the dependent and independent variable.
In linear regression, there may be collinearity between the independent variables. In logistic regression, there should not be collinearity between the independent variable.