Hàm logistic ở đâu ra?

Tiêu đề của bài viết này có thể hơi exaggerated. Hàm logistic, theo wikipedia, được phát minh khoảng 1844 bởi một nhà toán học người Pháp, và sau đó được phát minh lại vào khoảng 1920, tức là trước cả thời đại của khoa học máy tính. Mặc dù vậy, hàm logistic được sử dụng rộng rãi trong các thuật toán máy học như logistic regression, neural network… Bài này chỉ ra ý nghĩa đằng sau hàm logistic trong ngữ cảnh logistic regression.

1. Tổng quan

Trong công trình gốc, hàm logistic được định nghĩa là lời giải của phương trình vi phân sau:

với điều kiện biên . Lời giải cho phương trình vi phân này là:

Chọn , ta được công thức quen thuộc của hàm logistic:

Như vậy có thể định nghĩa logistic là hàm có đạo hàm là . Theo tính chất này thì logistic là một trường hợp đặc biệt của các hàm sigmoid. Trên thực tế, người ta cũng hay dùng từ sigmoid để chỉ trường hợp đặc biệt của nó là hàm logistic.

Từ một góc nhìn khác, nếu là một số thực nằm trong khoảng từ 0 đến 1: thì người ta định nghĩa hàm logit (hay log-odd) của p là:

Đây gọi là hàm logit, được phát minh vào khoảng năm 1944. Do định nghĩa bằng hàm logarithm nên tập xác định của hàm logit được giới hạn trong . Dễ dàng ta cũng thấy:

Nói cách khác, hàm logistic là hàm ngược của hàm logit:

2. Hàm logistic trong logistic regression

Còn nhớ trong logistic regression, ta giả sử xác suất của input x thuộc lớp tuân theo hàm logistic:

   (1)

Thực ra công thức này không phải ngẫu nhiên mà có, nó xuất phát từ một giả sử sâu xa hơn về phân bố của dữ liệu, như sẽ thấy sau đây.

Giả sử ta có tập dữ liệu trong đó và . Ở đây ta muốn xây dựng phân bố xác suất , mà ta biết rằng:

Kí hiệu xác suất prior . Ta giả sử thêm rằng:

Điều này nghĩa là ta giả sử dữ liệu của lớp 0 và lớp 1 tuân theo 2 phân bố Gaussian khác nhau nhưng có cùng covariance . Đây la giả sử quan trọng nhất bên dưới mô hình logistic regression (cũng như Linear Discriminant Analysis).

Ngoài ra có một giả sử nhỏ nữa là ta sẽ vờ như cả thế giới chỉ có 2 lớp 0 và 1, khi đó .

Xuất phát từ giả sử này, ta sẽ dần dần xây dựng mô hình logistic regression, đặc biệt là công thức (1).

Thật vậy. Do ta quan tâm đến việc phân lớp, nên ta sẽ xem xét tỉ số log-odd sau:

  (2)

Vector sẽ thuộc lớp 1 nếu tỉ số này lớn hơn 0 (vì khi đó ), và thuộc lớp 0 nếu tỉ số này nhỏ hơn 0. Ta có:

Trong đó và là giá trị vô hướng.

Như vậy có thể thấy trong không gian , tỉ số log-odd trong (2) tạo thành một siêu phẳng có phương trình . Đây chính là siêu phẳng phân tách 2 lớp 0 và 1, các điểm nằm trên siêu phẳng này (nghĩa là các điểm x sao cho ) có xác suất thuộc về lớp 0 và lớp 1 đều bằng nhau.

Như vậy ta có:

Suy ra:

Đây chính là công thức (1).

Việc còn lại chỉ là viết công thức Negative log-likelihood cho toàn miền xác định. Bằng cách viết hơi tricky, việc lấy log là dễ dàng và ta có thể dùng gradient descent để tìm kết quả. Hàm NLL là convex nên gradient descent đảm bảo ta sẽ tìm được tối ưu toàn cục. Những chi tiết này đã được trình bày trong bài trước.

Một số câu hỏi đặt ra:

• Mọi chuyện sẽ thế nào nếu ta giả sử 2 phân bố Gaussian của 2 lớp có ma trận covariance khác nhau?
• Nếu ta giả sử mỗi lớp được mô hình bằng mixture of Gaussian, điều gì sẽ xảy ra?