Logistic Regression

Supervised learning algorithm: Logistic regression is a supervised learning algorithm used for classification tasks, predicting the probability of an instance belonging to a specific class or category.

Binary outcome: It is mainly used for binary classification problems, where the output can be either of the two distinct classes, typically denoted as 0 or 1, such as spam or not spam, default or no default.

Sigmoid function: Logistic regression utilizes the sigmoid function (also known as the logistic function) to convert linear combinations of input features into probabilities ranging between 0 and 1.

Maximum likelihood estimation: Logistic regression estimates the coefficients of the input features by maximizing the likelihood of the observed data, aiming to find the best-fitting model that describes the relationship between the input variables and the output class.

Decision boundary: A decision boundary is used to separate the classes based on the calculated probabilities, with a common threshold being 0.5, meaning probabilities above this value are classified as class 1 and probabilities below as class 0.

 

The Logistic Function

S-shaped curve: The logistic function has an S-shaped curve, which ensures that the output values are smoothly mapped between 0 and 1. This S-shaped curve allows for a gradual transition between the two classes, making it ideal for modeling probabilities.

Range between 0 and 1: The output values of the logistic function always lie between 0 and 1, which is the range of probabilities. When 'z' is a large positive number, h(z) approaches 1, and when 'z' is a large negative number, h(z) approaches 0. This property ensures that the output can be interpreted as the probability of the instance belonging to class 1.

Monotonicity: The logistic function is a monotonically increasing function, meaning that as 'z' increases, h(z) will also increase. This characteristic reflects the intuition that an increase in the input features' values would increase or decrease the probability of the instance belonging to class 1, depending on the sign of the coefficients.

In summary, h(z) gives us the probability that the outcome is 1 because the logistic function smoothly maps the linear model 'z' into a probability value between 0 and 1, allowing for the interpretation of the output as the probability of the instance belonging to class 1.