Bộ dữ liệu điểm thi bằng lái xe

Bộ dữ liệu điểm thi bằng lái xe

SKU: KPDL1 Danh mục: ,

1. Giới Thiệu Bộ Dữ Liệu

  • Quy mô: Tập dữ liệu mô phỏng gồm 500 quan sát tương ứng với 16 thuộc tính đặc trưng.

    Biến mục tiêu (Qualified): Biểu thị kết quả kỳ thi với tỷ lệ tương đối cân bằng: 49.8% ứng viên đỗ (249 người) và 50.2% ứng viên trượt (251 người).

  • Các biến phân loại (Categorical Variables): Gồm mã định danh (Applicant ID), Giới tính (Gender), Nhóm tuổi (Age Group), Chủng tộc (Race), Loại đào tạo (Training), và Tốc độ phản ứng (Reactions).

  • Các biến số (Numeric Variables): Đánh giá các chỉ số kỹ năng thực hành và lý thuyết của học viên, bao gồm điểm nhận biết tín hiệu (Signals), nhường đường (Yield), kiểm soát tốc độ (Speed Control), lái xe ban đêm (Night Drive), biển báo (Road Signs), kiểm soát lái (Steer Control), sử dụng gương (Mirror Usage), sự tự tin (Confidence), đỗ xe (Parking) và điểm thi lý thuyết (Theory Test).

2. Quy Trình Tiền Xử Lý Dữ Liệu

  • Làm sạch dữ liệu: Bộ dữ liệu không có giá trị trùng lặp. Thuộc tính Training bị khuyết thiếu nghiêm trọng 150 giá trị (30%), được xử lý bằng cách gán nhãn mới là “Unknown” nhằm giữ nguyên quy mô mẫu và cung cấp thêm thông tin phân biệt cho mô hình.

  • Xử lý giá trị ngoại lai (Outliers): Áp dụng phương pháp khoảng tứ phân vị IQR để xác định các điểm bất thường. Công thức xác định ranh giới dữ liệu bình thường:

    IQR = Q3 – Q1

    [Q1 – 1.5 x IQR, Q3 + 1.5 x IQR]

    Đồ án thiết lập hai kịch bản song song (giữ nguyên outliers và loại bỏ outliers) để thực hiện thử nghiệm và đánh giá mức độ ảnh hưởng đến hiệu suất thuật toán.

  • Mã hóa biến phân loại: Sử dụng Label Encoding cho các biến phân loại nhị phân (Gender, Qualified). Áp dụng Ordinal Encoding cho các biến có tính thứ bậc (Age Group, Training, Reactions). Áp dụng One-hot Encoding cho biến danh mục không có thứ tự (Race).

  • Chuẩn hóa dữ liệu: Đối với tập dữ liệu chưa loại bỏ outliers, phương pháp RobustScaler (dựa trên trung vị và IQR) được sử dụng để giảm thiểu ảnh hưởng của các điểm dị biệt. Đối với tập dữ liệu đã loại bỏ outliers, phương pháp Min-Max Scaler được áp dụng để đưa các biến số về cùng thang đo $[0, 1]$.

3. Các Mô Hình Học Tập Có Giám Sát (Supervised Learning)

Đồ án sử dụng thư viện LazyPredict để chạy thử nghiệm nhanh hiệu suất của hàng loạt thuật toán nhằm tìm ra mô hình tối ưu nhất cho bài toán phân loại nhị phân này.

Đánh giá sự thay đổi hiệu suất (Trước vs Sau khi xóa Outliers)

  • Nhóm cải thiện mạnh mẽ: Các mô hình nhạy cảm với điểm nhiễu như KNeighbors Classifier (tăng từ 0.77 lên 0.84 Accuracy), Perceptron, LabelPropagation đều tăng vọt hiệu suất sau khi dữ liệu được làm sạch.

  • Nhóm duy trì sự ổn định: Các thuật toán ensemble như AdaBoost Classifier và NuSVC giữ vững phong độ với độ chính xác cao ở cả hai kịch bản dữ liệu.

  • Nhóm suy giảm hiệu suất: Thuật toán học cứng tuyến tính Passive Aggressive Classifier giảm mạnh độ chính xác từ 0.81 xuống còn 0.68.

Phân tích sâu các thuật toán trọng tâm

  • Random Forest Classifier:

    • Trước khi xóa outliers: Đạt độ chính xác Accuracy 0.8200, điểm ROC AUC đạt 0.88, và Recall đạt 0.8846.

    • Sau khi xóa outliers: Accuracy tăng lên 0.8333, ROC AUC tăng lên 0.90, đặc biệt chỉ số Recall đạt mức rất cao là 0.9250 (chỉ bỏ sót 3 trường hợp đủ điều kiện), chứng minh mô hình hoạt động hiệu quả hơn trên dữ liệu sạch.

  • ExtraTrees Classifier: Đây là một trong những mô hình hoạt động mạnh mẽ và ổn định nhất hệ thống. Ngay từ khi chưa loại bỏ ngoại lai, thuật toán đã đạt các chỉ số ấn tượng với Accuracy đạt 0.8438, Recall đạt 0.9250, và ROC AUC đạt 0.9018.

  • Các thuật toán khác: Đồ án còn triển khai chi tiết, vẽ ma trận nhầm lẫn (Confusion Matrix), đường cong ROC, Precision-Recall và thiết lập biểu đồ ranh giới quyết định cho các thuật toán Hồi quy tuyến tính, Hồi quy Logistic, KNN, và SVM.

4. Phân Cụm Dữ Liệu (Unsupervised Learning)

  • Các thuật toán triển khai: Thực hiện phân cụm bằng 3 phương pháp chính gồm K-Means, DBSCAN, và mô hình hỗn hợp Gaussian Mixture Model (GMM).

  • Phương pháp tiếp cận: Các thuật toán được thử nghiệm dựa trên hai không gian thuộc tính: phân cụm trực quan hóa bằng 2 biến đặc trưng (Mirror Usage phối hợp với Steer Control) hoặc tính toán trên toàn bộ các biến số đầu vào. Các kịch bản này cũng được đối chiếu qua hai tập dữ liệu trước và sau khi xử lý ngoại lai.

  • Đánh giá cấu trúc cụm: Sử dụng các công cụ tối ưu hóa như biểu đồ Elbow (đối với K-Means), k-distance graph (để chọn tham số eps cho DBSCAN), và điểm BIC (đối với GMM) để tìm ra số lượng cụm lý tưởng, từ đó đưa ra nhận xét định lượng về đặc trưng kỹ năng lái xe của từng nhóm ứng viên.