Chất lượng dữ liệu là mức độ dữ liệu phù hợp với mục đích sử dụng của nó, và đo được qua các chiều cụ thể như tính đầy đủ, duy nhất, kịp thời, hợp lệ, chính xác và nhất quán. Cụm "phù hợp với mục đích" là then chốt: cùng một danh sách khách hàng có thể đủ tốt để tính doanh thu theo tỉnh nhưng quá tệ để gửi thư cảm ơn, vì một nửa địa chỉ thiếu số nhà.
Khác với làm sạch dữ liệu, vốn là thao tác sửa một bộ dữ liệu cụ thể trước khi phân tích, quản lý chất lượng dữ liệu ở cấp doanh nghiệp là một quy trình liên tục: định nghĩa thế nào là đủ tốt, đo định kỳ, tìm nguyên nhân gốc và sửa ở nơi dữ liệu sinh ra. Làm sạch mà không sửa nguồn giống như lau sàn mà không khoá vòi nước.
Từ "chính xác" đến đa chiều: chất lượng dữ liệu được hiểu thế nào
Trong thời gian dài, chất lượng dữ liệu được hiểu hẹp là độ chính xác: giá trị có đúng với thực tế không. Nghiên cứu của Richard Wang và Diane Strong, công bố năm 1996 trên Journal of Management Information Systems với tiêu đề "Beyond Accuracy: What Data Quality Means to Data Consumers", khảo sát người dùng dữ liệu và chỉ ra họ quan tâm đến nhiều khía cạnh hơn hẳn: dữ liệu có liên quan không, có kịp thời không, có dễ hiểu không, có truy cập được không. Nghiên cứu này đặt nền cho quan niệm chất lượng dữ liệu là khái niệm đa chiều và lấy người dùng làm trung tâm.
Từ đó, nhiều khung khác nhau ra đời với số chiều dao động từ vài đến vài chục. Trong thực hành doanh nghiệp, bộ sáu chiều do một nhóm làm việc của DAMA UK đề xuất khoảng năm 2013 được dùng rộng rãi vì đủ gọn để đo và đủ bao quát để không bỏ sót vấn đề lớn. Cần biết đây là quy ước thực hành, không phải chuẩn bắt buộc; ISO 8000 là bộ tiêu chuẩn quốc tế về chất lượng dữ liệu, chủ yếu cho dữ liệu chủ và trao đổi dữ liệu, nếu doanh nghiệp cần một khung chính thức hơn.
Sáu chiều chất lượng dữ liệu, cách đo và ví dụ
Bảng dưới dùng ví dụ từ một doanh nghiệp phân phối. Cột "cách đo" là gợi ý; mỗi doanh nghiệp tự đặt quy tắc chính xác theo nghiệp vụ.
| Chiều | Câu hỏi | Cách đo | Ví dụ vấn đề |
|---|---|---|---|
| Đầy đủ | Có thiếu giá trị bắt buộc không | Tỷ lệ bản ghi có đủ các trường bắt buộc | Đơn hàng thiếu mã nhân viên bán, không tính được hoa hồng |
| Duy nhất | Một thực thể có bị ghi nhiều lần không | Số thực thể trùng trên tổng số | Một đại lý có ba mã khách vì ba nhân viên tạo |
| Kịp thời | Dữ liệu có sẵn khi cần không | Độ trễ từ lúc phát sinh đến lúc dùng được | Phiếu nhập kho nhập vào hệ thống sau ba ngày |
| Hợp lệ | Giá trị có đúng định dạng, miền giá trị không | Tỷ lệ giá trị qua quy tắc kiểm tra | Số điện thoại thiếu chữ số, ngày sinh ở tương lai |
| Chính xác | Giá trị có đúng với thực tế không | Đối chiếu mẫu với thực tế hoặc nguồn tin cậy | Tồn kho hệ thống lệch kiểm kê thực tế |
| Nhất quán | Cùng một sự thật có giống nhau ở các nơi không | Tỷ lệ khớp khi đối chiếu giữa các hệ thống | Giá bán trong phần mềm bán hàng khác bảng giá kế toán |
Chính xác là chiều khó đo nhất vì phải so với thực tế bên ngoài hệ thống: đếm kho, gọi xác minh khách, đối chiếu chứng từ giấy. Vì vậy hầu hết kiểm tra tự động chỉ đo được năm chiều còn lại, và độ chính xác được đo bằng lấy mẫu định kỳ.
Vì sao dữ liệu kém chất lượng: năm nguyên nhân gốc
Thiết kế màn hình nhập liệu cho phép sai. Trường bắt buộc không bị bắt buộc, ô ngày cho gõ tự do, danh mục tỉnh thành là ô chữ thay vì danh sách chọn. Mỗi lỗ hổng như vậy sinh ra lỗi mỗi ngày, mãi mãi.
Động cơ của người nhập không gắn với chất lượng. Nhân viên bán hàng được đo bằng số đơn chứ không bằng độ đầy đủ thông tin khách; thu ngân bị đo bằng tốc độ nên bấm mã hàng gần đúng. Không có lý do để họ cẩn thận với trường dữ liệu mà họ không dùng.
Không ai sở hữu danh mục. Khi mọi người đều tạo được mã khách hàng, mã sản phẩm, trùng lặp là tất yếu. Danh mục cần một người hoặc một bộ phận duyệt việc tạo mới.
Tích hợp giữa hệ thống làm biến dạng dữ liệu. Chuyển dữ liệu giữa phần mềm có độ dài trường, bảng mã ký tự, cách làm tròn khác nhau. Lỗi phông chữ tiếng Việt khi chuyển giữa bảng mã cũ và Unicode là ví dụ quen thuộc.
Thế giới thay đổi nhưng dữ liệu không. Khách hàng chuyển địa chỉ, doanh nghiệp đổi tên, tỉnh thành sáp nhập. Dữ liệu đúng hôm qua có thể sai hôm nay. Sau đợt sắp xếp lại đơn vị hành chính năm 2025 còn 34 tỉnh thành và bỏ cấp huyện, mọi danh mục địa chỉ cần một bảng ánh xạ cũ – mới có ngày hiệu lực.
Xây chương trình quản lý chất lượng dữ liệu trong sáu bước
Chương trình hiệu quả bắt đầu nhỏ, gắn với một quy trình có giá trị kinh doanh rõ, rồi mở rộng.
- Chọn dữ liệu quan trọng. Không thể kiểm soát mọi trường. Chọn những phần tử dữ liệu then chốt mà sai sẽ gây thiệt hại: mã khách và hạn mức công nợ, mã sản phẩm và giá, số lượng tồn kho. Thường chỉ vài chục trường.
- Viết quy tắc chất lượng. Mỗi trường then chốt có quy tắc đo được: "mã số thuế của khách doanh nghiệp không rỗng và đúng định dạng", "mỗi sản phẩm đang kinh doanh có đúng một giá bán hiệu lực".
- Đo hiện trạng. Chạy quy tắc trên dữ liệu thật để có điểm xuất phát. Con số đầu tiên thường gây bất ngờ và là công cụ tốt để thuyết phục lãnh đạo.
- Đặt ngưỡng chấp nhận. Ngưỡng phụ thuộc mục đích: địa chỉ giao hàng cần đầy đủ gần tuyệt đối, ngày sinh khách lẻ có thể chấp nhận thiếu nhiều.
- Tự động hoá kiểm tra và cảnh báo. Kiểm tra chạy theo mỗi lần nạp dữ liệu, kết quả hiện trên một bảng theo dõi chất lượng, vi phạm ngưỡng thì báo người chịu trách nhiệm.
- Sửa tận gốc và theo dõi xu hướng. Mỗi vấn đề lặp lại được truy nguyên nhân: sửa màn hình nhập, thêm danh sách chọn, đổi quy trình duyệt danh mục. Theo dõi điểm chất lượng theo thời gian để biết chương trình có hiệu quả.
Chi phí của dữ liệu kém và cách nói chuyện với lãnh đạo
Các con số về thiệt hại do dữ liệu kém được trích dẫn rất nhiều trong tài liệu tiếp thị, nhưng nguồn gốc và phương pháp của nhiều con số không rõ ràng, nên không nên dùng chúng để thuyết phục ban điều hành. Một quy tắc kinh nghiệm hay được nhắc là "1-10-100": ngăn lỗi ở khâu nhập tốn một đơn vị, sửa sau đó tốn mười, để lỗi gây hậu quả tốn một trăm. Đây là cách diễn đạt trực quan về chi phí tăng dần theo thời gian, không phải tỷ lệ đo được áp cho mọi trường hợp.
Cách thuyết phục hiệu quả hơn là tính chi phí từ chính dữ liệu của doanh nghiệp. Ví dụ giả định: phân tích cho thấy 6% đơn giao hàng bị hoàn vì địa chỉ sai hoặc thiếu; nhân số đơn hoàn với chi phí vận chuyển hai chiều và chi phí xử lý cho ra một con số tiền mỗi tháng. Hoặc: kế toán mất ba ngày mỗi tháng đối soát công nợ vì một khách có nhiều mã. Con số tự tính, dù khiêm tốn, đáng tin hơn bất kỳ thống kê ngành nào.
Cũng cần nói rõ với lãnh đạo rằng dữ liệu hoàn hảo là mục tiêu sai. Mục tiêu đúng là đủ tốt cho những quyết định quan trọng, với chi phí hợp lý, và biết rõ dữ liệu kém ở đâu để không dùng nhầm.
Danh mục kiểm tra tối thiểu cho mỗi bảng dữ liệu quan trọng
Với đội dữ liệu mới bắt đầu, bộ kiểm tra dưới đây bao phủ phần lớn lỗi thường gặp và có thể tự động hoá bằng truy vấn đơn giản hoặc công cụ kiểm thử dữ liệu:
- Khoá chính không trùng và không rỗng.
- Các trường bắt buộc không rỗng, hoặc tỷ lệ rỗng dưới ngưỡng đã thống nhất.
- Khoá ngoại đều tìm được bản ghi tương ứng: mọi mã khách trong đơn hàng đều có trong danh mục khách.
- Giá trị nằm trong miền hợp lệ: số lượng không âm trừ khi là trả hàng, ngày không ở tương lai, mã trạng thái thuộc danh sách cho phép.
- Số dòng nạp mỗi ngày không biến động bất thường so với các ngày tương tự.
- Tổng tiền đối soát khớp với nguồn hoặc sổ kế toán trong biên sai số.
- Dữ liệu đã được cập nhật trong khoảng thời gian cam kết.
Mỗi kiểm tra cần ghi rõ người nhận cảnh báo và mức độ: chặn luồng dữ liệu, hay chỉ cảnh báo. Kiểm tra không có người nhận là kiểm tra không tồn tại.
Hiểu lầm phổ biến và thực tế
Hiểu lầm: chất lượng dữ liệu là việc kỹ thuật. Thực tế: phần lớn lỗi sinh ra từ quy trình và con người ở khâu nhập liệu. Công cụ kiểm tra chỉ phát hiện; chỉ thay đổi quy trình, màn hình nhập và động cơ của người nhập mới ngăn lỗi phát sinh.
Hiểu lầm: chuyển sang phần mềm mới sẽ có dữ liệu sạch. Thực tế: dự án chuyển đổi hệ thống thường mang theo nguyên vẹn dữ liệu bẩn của hệ thống cũ, cộng thêm lỗi ánh xạ khi chuyển. Làm sạch và chuẩn hoá danh mục trước khi chuyển rẻ hơn nhiều so với sau.
Hiểu lầm: càng nhiều kiểm tra càng tốt. Thực tế: hàng trăm cảnh báo mỗi ngày khiến người nhận bỏ qua tất cả, kể cả cảnh báo quan trọng. Ít kiểm tra nhưng mỗi cái có ngưỡng hợp lý và người chịu trách nhiệm hiệu quả hơn.
Hiểu lầm: dữ liệu đúng một lần là đúng mãi. Thực tế: dữ liệu suy giảm theo thời gian khi thực tế thay đổi: khách chuyển nơi ở, nhân viên đổi số điện thoại, nhà cung cấp đổi tên. Chất lượng là trạng thái phải duy trì, không phải dự án làm xong một lần.
Hiểu lầm: cứ phân tích đã, sai thì sửa sau. Thực tế: quyết định đã ra trên số sai thì khó rút lại, và người dùng mất niềm tin vào cả hệ thống chứ không chỉ một báo cáo. Ghi rõ giới hạn chất lượng ngay trên báo cáo tốt hơn là im lặng.
Câu hỏi thường gặp
Chất lượng dữ liệu và làm sạch dữ liệu khác nhau thế nào?
Làm sạch là thao tác sửa một bộ dữ liệu cụ thể, thường trước một lần phân tích. Quản lý chất lượng là quy trình liên tục: định nghĩa tiêu chuẩn, đo định kỳ, tìm nguyên nhân và sửa ở nguồn để lỗi không phát sinh lại. Làm sạch là một công cụ trong quy trình đó.
Ai chịu trách nhiệm chất lượng dữ liệu?
Người tạo ra dữ liệu và chủ sở hữu nghiệp vụ của nó chịu trách nhiệm chính, không phải đội dữ liệu. Đội dữ liệu cung cấp công cụ đo, cảnh báo và hỗ trợ, nhưng chỉ bộ phận sở hữu quy trình mới sửa được nguyên nhân gốc như màn hình nhập hay quy trình duyệt.
Có nên dùng AI để tự động sửa dữ liệu không?
AI hữu ích để gợi ý ghép bản ghi trùng, chuẩn hoá địa chỉ, phát hiện bất thường. Nhưng sửa tự động không có người duyệt có thể tạo lỗi mới khó phát hiện, nhất là khi ghép nhầm hai khách hàng khác nhau. Nên dùng AI để đề xuất, con người xác nhận với dữ liệu quan trọng.
Điểm chất lượng dữ liệu tổng hợp có ý nghĩa không?
Một điểm tổng chung cho cả doanh nghiệp dễ gây hiểu lầm vì che mất vấn đề cục bộ nghiêm trọng. Nên báo cáo theo từng phần tử dữ liệu then chốt và từng chiều, kèm xu hướng. Điểm tổng chỉ nên dùng để theo dõi chung, không để ra quyết định.
Dữ liệu trùng lặp khách hàng nên xử lý thế nào?
Trước hết ngăn trùng mới bằng kiểm tra khi tạo mã, như cảnh báo khi trùng mã số thuế hoặc số điện thoại. Sau đó ghép các bản ghi trùng cũ theo quy tắc rõ ràng, giữ bảng ánh xạ mã cũ – mã mới để báo cáo lịch sử không bị đứt. Ghép nhầm khó sửa hơn trùng.
Bao lâu nên đo lại chất lượng dữ liệu?
Kiểm tra tự động nên chạy theo mỗi lần nạp dữ liệu. Đo độ chính xác bằng lấy mẫu đối chiếu thực tế có thể làm theo tháng hoặc quý, tuỳ mức độ quan trọng. Ngoài ra nên đo lại sau mỗi thay đổi lớn như nâng cấp phần mềm hay tái cơ cấu danh mục.