Clik here to view.
Hidden Markov Models
This hasn’t been finished yet, and I am still working on this. Maybe I will upload a completed version on tomorrow (Dec. 6th). Updated March 30, 2011: You can view and download the completed version...
View ArticleClik here to view.
Thống kê, phân tích, mô hình hóa dữ liệu
Giả sử bạn là giáo viên môn Machine Learning của một lớp XYZ nào đó. Sau khi chấm điểm cuối kì, bạn nhìn bảng điểm của lớp (cứ cho khoảng 50 SV), và muốn đưa ra một vài kết luận nào đó về tình hình học...
View ArticleClik here to view.
Markov models
Fortunately, I have another opportunity to complete my presentation on Markov models which I have partly published before. This time I have made some significant changes: - Added a section discussing...
View ArticleClik here to view.
Probability and Statistics cheat sheet
Download bản rõ hơn (20MB) Đây là cheat sheet mình dùng ôn thi môn XSTK tuần rồi. Do là cheat sheet nên nội dung ngắn gọn. Thực ra còn một số phần trong hypothesis testing và limit theorems nhưng mình...
View ArticleClik here to view.
Click-through rate, Computational Advertising hay là bài toán cơ bản của...
Quảng cáo có lịch sử rất lâu đời. Người ta tìm thấy những mẫu quảng cáo được dùng năm 1806 ở Nhật hay mẫu quảng cáo Coca-cola rất cầu kì từ những năm 1890. Tại Việt Nam ta cũng thấy những thông điệp...
View ArticleClik here to view.
Graphical model (1)
Graphical model (còn gọi là Bayesian network, Belief network) là tên gọi chung dành cho lớp các mô hình xác suất mà trong đó mối liên hệ giữa các biến ngẫu nhiên (độc lập/phụ thuộc) được khai thác để...
View ArticleClik here to view.
Graphical model (2)
Trong bài trước, ta đã điểm qua khái niệm về graphical model. Bài này sẽ viết về một thuật toán quan trọng là Bayes Ball, sau đó nói về các khái niệm Cái mền của Markov (Markov blanket), Markov...
View ArticleClik here to view.
How to assess the convergence of MCMC algorithms
1. Tổng quan Markov Chain Monte Carlo (MCMC) là một lớp các thuật toán được dùng khá rộng rãi trong ML và thống kê. Trong ngữ cảnh ML thì: đôi khi ta cần ước lượng một phân bố xác suất nào đó, nhưng...
View ArticleClik here to view.
Con đường tơ lụa, hay là hành trình từ perceptron, logistic regression đến...
Perceptron khi huấn luyện bằng gradient descent với hàm squared error thì chính là linear regression. Logistic regression chính là linear regression cộng với một hàm non-linearity, và logistic...
View ArticleClik here to view.
Hàm logistic ở đâu ra?
Tiêu đề của bài viết này có thể hơi exaggerated. Hàm logistic, theo wikipedia, được phát minh khoảng 1844 bởi một nhà toán học người Pháp, và sau đó được phát minh lại vào khoảng 1920, tức là trước cả...
View ArticleClik here to view.
Về các thể loại cá cược
Paris tháng 5, cuối tuần lạnh lẽo, ở nhà khui bia, nghe Within Temptation và chuẩn bị viết về một vài thứ thú vị mới nghĩ đến. Và đó là cờ bạc. Việc sử dụng máy tính trong các trò cờ bạc có lẽ đã có từ...
View ArticleClik here to view.
RBM 1: Hopfield networks and Boltzmann Machines
Chuỗi bài viết về RBMs: RBM 1: Hopfield nets and Boltzmann Machines RBM 2: Model definition and training of RBMs RBM 3: Contrastive Divergence RBM 4: Contrastive Divergence in training RBMs and...
View ArticleClik here to view.
RBM 2: Model definition and training of RBMs
Chuỗi bài viết về RBMs: RBM 1: Hopfield nets and Boltzmann Machines RBM 2: Model definition and training of RBMs RBM 3: Contrastive Divergence RBM 4: Contrastive Divergence in training RBMs and...
View ArticleClik here to view.
RBM 3: Contrastive Divergence
Chuỗi bài viết về RBMs: RBM 1: Hopfield nets and Boltzmann Machines RBM 2: Model definition and training of RBMs RBM 3: Contrastive Divergence RBM 4: Contrastive Divergence in training RBMs and...
View ArticleClik here to view.
Hóa ra mọi thứ đều là exponential!
Hầu như tất cả các phân phối xác suất mình biết từ trước tới giờ, từ multinomial, Bernoulli cho tới Dirichlet… đều thuộc exponential family. Và dưới một góc nhìn chung như vậy, các khái niệm trở nên...
View ArticleClik here to view.
Parameter Estimation techniques applied in Machine Learning
Bài này tóm tắt các kĩ thuật ước lượng tham số, vốn có nguồn gốc từ lí thuyết xác suất thống kê, đang được dùng rộng rãi trong Machine Learning. Bài này chỉ là ôn lại để chuẩn bị cho 1 series về...
View ArticleClik here to view.
Textbook implementation of Gaussian Processes in Python
So I was looking for a textbook implementation of Gaussian Processes, and disappointingly I couldn’t find any. Things like Spearmint or GPy are way complicated and very often implement some specific...
View ArticleClik here to view.
Monte Carlo và Markov Chain Monte Carlo
The devil is in the details, hoá ra ứng dụng Bayesian Optimization trong thực tế khá là phức tạp. Vậy nên bài này sẽ ôn lại kiến thức về phương pháp Monte Carlo và MCMC. Vẫn chưa biết đến khi nào mới...
View ArticleClik here to view.
Optimization in Machine Learning, again
This is an excerpt from a tutorial on Bayesian Optimization I wrote recently. In this post, I am only gonna talk about the overall picture of optimization and parameter estimation. This is a brief...
View ArticleClik here to view.
[RL2b] Markov Decision Process – Bellman equation
[RL1] Markov Decision process – Introduction [RL2a] Markov Decision Process – Discounted Reward [RL2b] Markov Decision Process – Bellman equation [RL2c] Markov Decision Process – Solving Bellman...
View Article