Kiểm tra dữ liệu khảo sát trong thời đại AI

Tiêu chí được dùng: Trùng: giống tất cả item đã chọn. Gần trùng: khác tối đa 1 item; chỉ xét dòng có biến thiên, tối đa 800 dòng.

Đếm mẫu trả lời giống nhau để đối chiếu mã hồ sơ và quy trình nhập liệu. Số bản dư khác với tổng số dòng thuộc nhóm trùng.

Giả định và giới hạn: Mức giống nhau là phép đếm, không phải kiểm định gian lận. Nhóm ngắn, ít mức trả lời hoặc quan điểm giống nhau có thể tạo trùng hợp hợp lệ.

• Kuriakose & Robbins (2016): Don't get duped
• Simmons et al. / Pew Research Center (2016): sensitivity of the MPM threshold

Tiêu chí được dùng: Đếm dòng có MPM > 85%. Báo cả trước và sau khi bỏ khỏi phép so sánh dòng có một mức chiếm ≥ 70%; mỗi lượt tối đa 600 dòng.

MPM là tỷ lệ item khớp với dòng giống nhất trong tập đang xét. Mốc 85% là ngưỡng tham khảo kế thừa; quy tắc lọc 70% là lựa chọn riêng của công cụ.

Giả định và giới hạn: Pew cho thấy ngưỡng đơn lẻ nhạy với số câu, số mức, cỡ mẫu và mức đồng nhất. Vượt 85% không có nghĩa xác suất ngẫu nhiên gần 0 hoặc chứng minh giả mạo.

• Kuriakose & Robbins (2016): Don't get duped
• Simmons et al. / Pew Research Center (2016): sensitivity of the MPM threshold

Tiêu chí được dùng: Cùng một mức trên toàn bộ item: SD trong dòng = 0. Ít biến thiên: SD trong dòng ≤ 0,3; chỉ dùng dòng đủ item hợp lệ.

SD trong dòng mô tả người trả lời có sử dụng nhiều mức hay không. Mốc 0,3 là quy tắc của tool gốc, chưa hiệu chỉnh riêng theo độ dài và khoảng thang đo.

Giả định và giới hạn: Không tự loại dòng. Nội dung cùng chiều hoặc quan điểm nhất quán có thể cho SD thấp; cần xem item đảo chiều và bối cảnh bảng hỏi.

• Curran (2016): Methods for the detection of carelessly invalid responses in survey data
• Meade & Craig (2012): Identifying careless responses in survey data

Tiêu chí được dùng: Chuỗi cùng mức ≥ max(3; floor(k/2)); chọn cực trị/trung điểm > 70% item; khớp mẫu xen kẽ hai mức ≥ 90%. k là số item đã chọn.

IRV là SD trong từng dòng; chuỗi lặp phụ thuộc thứ tự item. Các mốc trên là quy tắc mô tả của công cụ, không phải ngưỡng phổ quát từ tài liệu.

Giả định và giới hạn: Cực trị và trung điểm dùng thang đã khai báo; thang chẵn không có trung điểm nguyên. Chưa tự đảo mã, nên phải đối chiếu nội dung và thứ tự câu hỏi.

• Curran (2016): Methods for the detection of carelessly invalid responses in survey data
• Ward & Meade (2023): Prevention, identification and recommended best practices

Tiêu chí được dùng: Ô trống được đếm riêng với ô không diễn giải được hoặc ngoài khoảng nguyên đã khai báo. Mẫu số tỷ lệ ô = số dòng × số item.

Phân biệt thiếu dữ liệu với lỗi mã hóa giúp quyết định cách xử lý trước khi phân tích. Dòng đủ dữ liệu có thể khác nhau giữa từng phép tính.

Giả định và giới hạn: Có dữ liệu thiếu không tự chứng minh trả lời kém; không có thiếu cũng không đáng ngờ. Công cụ không suy ra cơ chế MCAR/MAR/MNAR và không điền khuyết.

• Ward & Meade (2023): Prevention, identification and recommended best practices

Tiêu chí được dùng: Xem n, trung bình, SD, skewness, excess kurtosis và tần suất. Entropy H = −Σp ln(p), tối đa ln(L); đếm H > 0,92 ln(L) theo quy tắc riêng của tool.

L là số mức thang đo. Các thống kê mô tả hình dạng phân bố để kiểm tra mã hóa và mức sử dụng từng lựa chọn.

Giả định và giới hạn: Không dùng phân bố gần đều, gần chuẩn hoặc lệch làm tiêu chí xác nhận nguồn gốc. Mốc 92% chưa phải ngưỡng phát hiện ngụy tạo được thẩm định.

• R stats: correlation, variance and covariance
• Shannon (1948): A mathematical theory of communication

Tiêu chí được dùng: Tính Pearson trên từng cặp dòng hợp lệ, rồi mô tả trung bình, SD và khoảng tương quan trong/giữa nhóm item đã khai báo.

Tương quan cho biết các item biến thiên cùng nhau ra sao. Mã tên nhóm là gợi ý tổ chức, chưa xác nhận cấu trúc lý thuyết.

Giả định và giới hạn: Không có ngưỡng ‘quá đều = giả’. Item thứ bậc, đảo chiều, phạm vi hẹp và cỡ mẫu từng cặp đều ảnh hưởng r; không thay CFA hoặc kiểm định giá trị phân biệt.

• R stats: correlation, variance and covariance

Tiêu chí được dùng: α = k/(k−1) × [1 − ΣVar(item)/Var(tổng điểm)], tính trên dòng đầy đủ trong từng nhóm. Không áp ngưỡng alpha để xác nhận dữ liệu thật/giả.

Alpha mô tả tính nhất quán của các item được dự kiến cùng đo một cấu trúc; cần xem đúng nhóm và hướng mã hóa.

Giả định và giới hạn: Alpha cao không chứng minh một chiều hay giá trị đo lường; alpha giống nhau giữa nhóm không chứng minh mô phỏng. Alpha gộp nhiều cấu trúc chỉ để tham khảo.

• Cronbach (1951): Coefficient alpha and the internal structure of tests

Tiêu chí được dùng: Tính PC1 từ ma trận tương quan từng nhóm; tỷ lệ phương sai = λ₁/k. Cần ≥ 2 item biến thiên và số dòng đầy đủ ≥ k + 5.

PC1 cho biết phương sai tập trung vào một hướng chung đến mức nào. Công cụ trình bày theo nhóm để dễ xem lại item.

Giả định và giới hạn: Không áp ngưỡng PC1 để kết luận thật/giả; PCA không thay EFA/CFA. Item hằng số hoặc nhóm chưa có cơ sở nội dung khiến chỉ số không tính được hoặc khó diễn giải.

• R stats: principal components analysis

Tiêu chí được dùng: D² = (x−μ)′S⁻¹(x−μ); đánh dấu D² > phân vị χ²(0,999; k), tức α = 0,001. Cần n đầy đủ > k + 5, ≤ 60 item và S không suy biến.

Khoảng cách có tính đến hiệp phương sai giữa item. Ngưỡng χ² là tham chiếu xấp xỉ cho ngoại lệ đa biến.

Giả định và giới hạn: Giả định phân phối liên tục/chuẩn, ước lượng S trên chính mẫu và đa kiểm định hạn chế suy luận. Có hoặc không có ngoại lệ đều không xác minh nguồn gốc dữ liệu.

• R stats: squared Mahalanobis distance
• Meade & Craig (2012): Identifying careless responses in survey data

Tiêu chí được dùng: Kiểm tra skewness và kurtosis đa biến bằng hiệp phương sai mẫu số n; hiệu chỉnh skewness khi n < 20. Nếu đọc ở mức 0,05: p < 0,05 gợi ý lệch chuẩn đa biến.

Mardia đánh giá giả định phân phối, giúp cân nhắc phương pháp ước lượng. Công cụ cần n > k + 5, ≤ 60 item và dùng tối đa 600 dòng đầy đủ.

Giả định và giới hạn: Likert là dữ liệu thứ bậc; p ≥ 0,05 không chứng minh chuẩn hay xác nhận dữ liệu thật. Tập con cách đều không đại diện ngẫu nhiên cho toàn mẫu.

• Korkmaz, Goksuluk & Zararsiz (2014), The R Journal: MVN

Tiêu chí được dùng: Tương quan profile của từng người với trung bình item của những người còn lại; cần ≥ 3 dòng đầy đủ. Đếm r < 0 theo nghĩa mô tả.

Đây là cách triển khai profile correlation dựa trên ý tưởng tương hợp cá nhân với xu hướng nhóm, có loại chính người đó khỏi trung bình.

Giả định và giới hạn: Không phải sao chép nguyên dạng chỉ số person-fit gốc của Donlon–Fischer. r âm có thể phản ánh quan điểm khác biệt, mã đảo chiều hoặc trung bình item gần bằng nhau.

• Donlon & Fischer (1968): agreement with group-determined item difficulties

Tiêu chí được dùng: Chọn cặp có r ≥ 0,6 hoặc r ≤ −0,6 từ chính mẫu; cần ≥ 3 cặp mỗi nhóm để mô tả tương hợp trong từng dòng.

Mốc |r| ≥ 0,6 là quy tắc chọn cặp của công cụ. Nó tìm quan hệ thực nghiệm để xem lại cùng nội dung bảng hỏi.

Giả định và giới hạn: Cặp chưa chắc đồng nghĩa/đối nghĩa về nội dung; cùng item có thể thuộc nhiều cặp. Không có ngưỡng điểm cá nhân được thẩm định để tự loại người trả lời.

• Curran (2016): Methods for the detection of carelessly invalid responses in survey data

Tiêu chí được dùng: Xếp item theo trung bình giảm dần; bỏ cặp đồng hạng. Đếm trường hợp điểm item sau lớn hơn item trước trên từng cặp liền kề.

Đây là phép đếm khám phá lấy ý tưởng từ kiểm tra kiểu Guttman; tỷ lệ dùng đúng số cặp thực sự được so sánh.

Giả định và giới hạn: Chưa phải thang Guttman đa mức đã được thẩm định. Chỉ diễn giải với nhóm item cùng nội dung/cùng hướng; không dùng ít lỗi làm bằng chứng dữ liệu giả.

• Curran (2016): Methods for the detection of carelessly invalid responses in survey data

Tiêu chí được dùng: Cần ≥ 3 timestamp hợp lệ; sắp thời gian để mô tả khoảng cách, CV và số cụm ≥ 3 phản hồi/phút. Không áp ngưỡng kết luận tự động.

Dùng cột có tên thời gian rõ hoặc cột đầu có > 80% ngày hợp lệ; chỉ nhận Date/ISO rõ ràng. Cụm thời điểm là thông tin quy trình.

Giả định và giới hạn: Thời gian nộp khác thời gian hoàn thành. Nhập theo đợt, khảo sát lớp học, độ phân giải đồng hồ hoặc xuất dữ liệu đều có thể tạo cụm hợp lệ.

• Ward & Meade (2023): Prevention, identification and recommended best practices

Tiêu chí được dùng: Tìm từ khóa như simulated, synthetic, mô phỏng trong tối đa 4.000 ô/sheet đã chọn; báo tổng lượt tìm thấy và tối đa 25 trích đoạn.

Tra đúng sheet, dòng, cột và nguyên văn giúp xác minh workbook có ghi chú gì. Đây là quy tắc tìm văn bản của công cụ.

Giả định và giới hạn: Từ khóa có thể nằm trong hướng dẫn, câu phủ định hoặc tài liệu tham khảo. Không suy từ một từ khóa sang kết luận về nguồn gốc mọi phản hồi.

• Ward & Meade (2023): Prevention, identification and recommended best practices

Tiêu chí được dùng: Đếm cột ngoài item có một giá trị duy nhất trong ≥ max(10; floor(50% số dòng)) ô khác trống; tên gần attention/consent/flag chỉ để xem lại bảng mã.

Cột không biến thiên có thể là mã phiên bản, điều kiện tuyển mẫu, biến sàng lọc hoặc biến hệ thống.

Giả định và giới hạn: Một cột consent = đồng ý trên toàn bộ mẫu thường là hệ quả tuyển chọn hợp lệ. Tên cột chỉ là gợi ý, không xác nhận đó là attention check.

• Ward & Meade (2023): Prevention, identification and recommended best practices

Tiêu chí được dùng: Cramér’s V = √[χ²/(n·min(r−1,c−1))]. Quy tắc mô tả liên hệ nhỏ: V < 0,1 và p > 0,05; tối đa 10 cột gợi ý, cần ≥ 30 cặp giá trị hợp lệ.

Cột gợi ý có 2–20 mức ngoài item. Không trả p khi kỳ vọng tối thiểu < 1 hoặc > 20% ô có kỳ vọng < 5; đây là kiểm tra điều kiện xấp xỉ của công cụ.

Giả định và giới hạn: p > 0,05 không chứng minh độc lập; liên hệ nhỏ không chứng minh sinh riêng từng biến. Chưa hiệu chỉnh đa kiểm định; tên biến chưa xác nhận nội dung nhân khẩu học.

• R stats: Pearson chi-squared contingency-table test

Tiêu chí được dùng: Mỗi mức đầu vào ghép với mức đầu ra phổ biến nhất; báo cặp nhất quán ≥ 98%, ≥ 30 dòng đủ dữ liệu và ≥ 2 mức mỗi phía; tối đa 14 cột gợi ý.

Tỷ lệ ánh xạ cho thấy cột này có thể được suy ra từ cột kia. Mốc 98% là quy tắc của tool gốc, không phải kiểm định nguồn gốc.

Giả định và giới hạn: Biến tính lại, phân nhóm tuổi, đổi nhãn hoặc mã hóa lại hợp lệ đều có thể ánh xạ rất cao. Cần đối chiếu bảng mã trước khi coi đó là vấn đề.

• Ward & Meade (2023): Prevention, identification and recommended best practices

Tiêu chí được dùng: Ngoài nhóm item: cần ≥ max(50; 50% số dòng) giá trị số và ≥ 8 mức. Báo biên nếu tỷ lệ ≥ 5%, ≥ 3×(100/số mức) và ≥ 2,5× tỷ lệ mức kề.

Ba điều kiện là quy tắc riêng của công cụ để tìm bước nhảy giữa giá trị biên và mức quan sát kề nó.

Giả định và giới hạn: Giới hạn đo thật, điều kiện lấy mẫu, làm tròn hoặc cắt ngưỡng trong xử lý hợp lệ có thể tạo dồn biên. Các mốc này chưa được thẩm định thành kiểm định giả mạo.

• Ward & Meade (2023): Prevention, identification and recommended best practices