Hướng dẫn Xác suất và Thống kê Cơ bản cho Học Máy

Từ khóa chính: xác suất thống kê

Xác suất và Tổ hợp

Không gian mẫu: Tập hợp tất cả các kết quả có thể xảy ra của một phép thử, ký hiệu là S.

Sự kiện (Biến cố): Tập con E của không gian mẫu S. Sự kiện E xảy ra khi kết quả phép thử nằm trong E.

Tiên đề xác suất: Xác suất của sự kiện E được ký hiệu là P(E).

• Tiên đề 1: Xác suất luôn nằm trong khoảng từ 0 đến 1: 0 ≤ P(E) ≤ 1

• Tiên đề 2: Xác suất của không gian mẫu là 1: P(S) = 1

• Tiên đề 3: Với các sự kiện xung khắc E₁, …, E_n:

  P(⋃ⁿ_i=1E_i) = Σⁿ_i=1P(E_i)

Hoán vị: Sắp xếp r phần tử từ n phần tử theo thứ tự nhất định. Số hoán vị là P(n, r):

P(n, r) = n! / (n-r)!

Tổ hợp: Sắp xếp r phần tử từ n phần tử mà không quan tâm đến thứ tự. Số tổ hợp là C(n, r):

C(n, r) = P(n, r) / r! = n! / (r!(n-r)!)

Lưu ý: Với 0 ≤ r ≤ n, P(n, r) ≥ C(n, r).

Xác suất có Điều kiện

Định lý Bayes: Với sự kiện A và B sao cho P(B) > 0:

P(A|B) = (P(B|A)P(A)) / P(B)

Lưu ý: P(A ∩ B) = P(A)P(B|A) = P(A|B)P(B)

Phân vùng: Tập hợp {$A_i$, i ∈ [[1, n]]] là phân vùng của S nếu:

• ∀i ≠ j, A_i ∩ A_j = ∅ và ⋃ⁿ_i=1A_i = S*

Lưu ý: Với sự kiện B bất kỳ, P(B) = Σⁿ_i=1P(B|A_i)P(A_i).

Định lý Bayes mở rộng: Với {$A_i$, i ∈ [[1, n]]] là phân vùng của S:

P(A_k|B) = (P(B|A_k)P(A_k)) / (Σⁿ_i=1P(B|A_i)P(A_i))

Sự kiện độc lập: A và B độc lập khi:

P(A ∩ B) = P(A)P(B)

Biến Ngẫu nhiên

Biến ngẫu nhiên: Hàm ánh xạ mỗi phần tử trong không gian mẫu thành một số thực.

Hàm phân phối tích lũy (CDF): Hàm đơn điệu không giảm F(x) = P(X ≤ x), với lim_x→-∞F(x) = 0 và lim_x→+∞F(x) = 1.

Lưu ý: P(a < X ≤ b) = F(b) – F(a).

Hàm mật độ xác suất (PDF): Xác suất X nhận giá trị giữa hai giá trị thực liền kề.

(D) Rời rạc:

• CDF: F(x) = Σ_{xi ≤ x}P(X = x_i)
• PDF: f(x_j) = P(X = x_j)
• Thuộc tính PDF: 0 ≤ f(x_j) ≤ 1 và Σ_jf(x_j) = 1

(C) Liên tục:

• CDF: F(x) = ∫^x_-∞f(y)dy
• PDF: f(x) = dF/dx
• Thuộc tính PDF: f(x) ≥ 0 và ∫^+∞_-∞f(x)dx = 1

Kỳ vọng:

(D): E[X] = Σⁿ_i=1x_if(x_i)

(C): E[X] = ∫^+∞_-∞xf(x)dx

Phương sai (Var(X) hoặc σ²): E[(X – E[X])²] = E[X²] – E[X]²

Độ lệch chuẩn (σ): √Var(X)

Phân phối Xác suất

Bất đẳng thức Chebyshev: Với X có kỳ vọng μ, k, σ > 0:

P(|X – μ| ≥ kσ) ≤ 1/k²

Phân phối Đồng thời Biến Ngẫu nhiên

Mật độ biên (D): f_X(x_i) = Σ_jf_XY(x_i, y_j)

Mật độ biên (C): f_X(x) = ∫^+∞_-∞f_XY(x, y)dy

Mật độ có điều kiện: f_X|Y(x) = f_XY(x, y) / f_Y(y)

Tính chất độc lập: f_XY(x, y) = f_X(x)f_Y(y)

Hiệp phương sai (Cov(X, Y) hoặc σ²_XY): E[(X – μ_X)(Y – μ_Y)] = E[XY] – μ_Xμ_Y

Hệ số tương quan (ρ_XY): σ²_XY / (σ_Xσ_Y). Lưu ý: -1 ≤ ρ_XY ≤ 1. Nếu X và Y độc lập, ρ_XY = 0.

Ước lượng Tham số

Mẫu ngẫu nhiên: Tập hợp n biến ngẫu nhiên độc lập và phân phối giống hệt nhau.

Công cụ ước tính: Hàm của dữ liệu dùng để suy ra tham số chưa biết.

Thiên vị: Bias(θ^) = E[θ^] – θ. Công cụ ước tính không thiên vị khi E[θ^] = θ.

Trung bình mẫu (X̅): (1/n)Σⁿ_i=1X_i. Không thiên vị: E[X̅] = μ.

Định lý giới hạn trung tâm: X̅ ~ N(μ, σ/√n) khi n → +∞.

Phương sai mẫu (s² hoặc σ^²): (1/(n-1))Σⁿ_i=1(X_i – X̅)². Không thiên vị: E[s²] = σ².