PolitiFact có thiên vị không? Phân tích nội dung này nói không

Đó là một phê bình rằng PolitiFact từ lâu đã quen với việc nghe.

“PolitiFact đang tham gia vào rất nhiều thiên hướng lựa chọn”, The Weekly Standard viết năm 2011 . 'Người kiểm tra sự thật' nhắm mục tiêu quá nhiều đến các chuyên gia và chuyên gia cánh hữu ' một tiêu đề tháng 4 năm 2017 từ NewsBusters, một trang web có mục tiêu là vạch trần và chống lại “sự thiên vị truyền thông tự do”. Có cả một blog dành riêng để chỉ ra những cách mà PolitiFact có thành kiến.

Dự án xác minh thực tế, mà Poynter sở hữu, đã bác bỏ những cáo buộc đó, chỉ ra rằng nó minh bạch phương pháp luận và kinh phí (cũng như tư cách thành viên của Mạng lưới Kiểm tra Dữ kiện Quốc tế) như một bằng chứng cho thấy rằng nó không có sức thuyết phục chính trị. Và bây giờ, PolitiFact có một nghiên cứu học thuật để hỗ trợ nó.

Báo cáo, được xuất bản bởi các nhà nghiên cứu tại Đại học Washington và Đại học Carnegie Mellon vào tháng 3, phân tích ngôn ngữ mà PolitiFact đã xuất bản về đảng Dân chủ và đảng Cộng hòa để xem tổ chức này đã định hình người nói từ cả hai đảng như thế nào. Nó cũng bao gồm một phân tích bên ngoài so sánh các vấn đề của khung PolitiFact với cách các phương tiện truyền thông nói chung thực hiện.

Báo cáo mà PolitiFact gửi lần đầu tiên cho Poynter, đã sử dụng phân tích văn bản tự động trên khoảng 10.000 bài báo có từ năm 2007, với phần lớn trong số đó từ năm 2010 đến năm 2017. Chia theo đảng, có khoảng 1,4 lần số bài báo về đảng Cộng hòa so với đảng Dân chủ. Cựu tổng thống Barack Obama là người có nhiều bài phát biểu nhất trong mẫu, với khoảng 600 bài báo.

Tính theo thang điểm sáu của PolitiFact, từ “Đúng” đến “Quần trên lửa!”, Có sự phân bổ xếp hạng khá đồng đều. Được phân chia theo đảng phái, dự án xác minh thực tế thường chỉ định nhiều xếp hạng đúng hơn cho đảng viên Dân chủ và nhiều xếp hạng sai hơn cho đảng viên Cộng hòa, khi được điều chỉnh theo sự khác biệt về số lượng bài báo được xuất bản về mỗi nhóm.

(Ảnh chụp màn hình)

Đối với các chính trị gia cụ thể, xếp hạng phổ biến nhất được sử dụng cho Obama là 'hầu hết đúng' trong khi Donald Trump là 'sai', theo báo cáo. Tuy nhiên, khi được chia nhỏ thêm bởi các thẻ chủ đề trên cùng trên mỗi bài viết, mức độ phù hợp của PolitiFact dường như tương đối cân bằng.

(Ảnh chụp màn hình)

Ba chủ đề hàng đầu được đề cập nhiều nhất của PolitiFact là kinh tế, chăm sóc sức khỏe và thuế - tất cả đều được phân chia đồng đều giữa những người nói Đảng Cộng hòa và Dân chủ. Và những yếu tố ngoại lai, chẳng hạn như nhập cư và súng, có thể liên quan nhiều hơn đến mức độ mỗi bên nói về những vấn đề đó hơn là cách PolitiFact định hình chúng, theo báo cáo.

'Sự phân chia trong chủ đề tương tự như sự phân chia tổng thể giữa các bên,' nó viết. “Do đó, chúng tôi không mong đợi rằng bất kỳ sự khác biệt nào về ngôn ngữ mà chúng tôi nhận thấy giữa hai bên sẽ được dựa trên nội dung của các bài báo.”

Vì vậy, các nhà nghiên cứu sau đó đã chia nhỏ từng bài báo theo những từ nào có nhiều khả năng dự đoán chính xác nhất một câu chuyện là về một đảng viên Cộng hòa hay đảng Dân chủ. Để làm được điều đó, họ đã sử dụng các kỹ thuật thống kê và mô hình xử lý ngôn ngữ tự nhiên, loại bỏ bất kỳ câu trích dẫn nào hoặc văn bản nào khác mà người viết không viết.

Với những phân tích trước đó của báo cáo, những gì họ nhận thấy là khá bất ngờ - các bài báo về đảng viên Cộng hòa được liên kết với các từ như “đảng Cộng hòa” và “sai” trong khi các bài báo về đảng viên Dân chủ được liên kết với “đảng viên Dân chủ” và “sự thật”.

(Ảnh chụp màn hình)

Khi các nhà nghiên cứu loại bỏ bất kỳ từ nào rõ ràng có liên quan đến một trong hai bên, họ nhận thấy rằng những câu chuyện có diễn giả của đảng Dân chủ thường được dự đoán bằng những từ như “giúp đỡ” và “suy nghĩ”, trong khi những câu chuyện về đảng viên Cộng hòa được dự đoán bằng “Fox” và “theo”.

(Ảnh chụp màn hình)

Vậy điều đó nói gì về sự thiên vị bị cáo buộc của PolitiFact? Theo các nhà nghiên cứu thì không nhiều.

“Phần phân tích này của chúng tôi không tìm thấy sự khác biệt rõ ràng nào trong ngôn ngữ được sử dụng để mô tả các cá nhân của mỗi bên theo cách thể hiện bất kỳ dấu hiệu nào về sự thiên vị hoặc đối xử khác biệt,” họ viết.

Trong phân tích bên ngoài của họ, các nhà nghiên cứu không đưa ra bất kỳ kết luận nào khác nhau. Họ đã chạy một phân loại tình cảm dựa trên danh sách xác định trước các thuật ngữ tích cực và tiêu cực và nhận thấy rằng PolitiFact sử dụng cả từ tiêu cực và tích cực hơn cho đảng Cộng hòa, các bài báo về trung bình có xu hướng dài hơn.

(Ảnh chụp màn hình)

“Từ phân tích đơn giản này, chúng tôi kết luận rằng, nếu có sự khác biệt về tình cảm giữa phân tích PolitiFact về Đảng Dân chủ và Đảng Cộng hòa, thì điều đó sẽ được thể hiện một cách tinh tế và hoặc theo những cách cụ thể theo miền,” báo cáo viết.

Có một số hạn chế. Do sự mất cân bằng của các bài báo về đảng Cộng hòa và đảng Dân chủ, phân loại văn bản chỉ có thể dự đoán với độ chính xác 58% về một đảng từ một tập hợp các từ. Các nhà nghiên cứu cũng không thực hiện phân tích tình cảm chuyên sâu hơn về nội dung của PolitiFact, một phần do chi phí cao và một phần vì khả năng người chú thích phản ứng chủ quan với xếp hạng kiểm tra xác thực.

Nhưng PolitiFact cảm thấy hài lòng về những gì báo cáo nói.

“Nó chắc chắn củng cố cách chúng tôi cố gắng hành động và tự gánh vác. Vì vậy, tất nhiên chúng tôi rất vui khi thấy không có cờ đỏ nào, ”giám đốc điều hành Aaron Sharockman cho biết trong một thông báo. “Nhưng với tư cách là một người kiểm tra thực tế, người đã xem xét kỹ lưỡng nhiều nghiên cứu, chúng ta cũng không nên đánh giá cao nghiên cứu này hơn giá trị của nó. Đây là một cái nhìn về ngôn ngữ và từ ngữ mà chúng tôi sử dụng để viết kiểm chứng thực tế của chúng tôi. '

“Chúng tôi không thể ngừng nghĩ cách để nâng cao uy tín của mình đối với tất cả khán giả.”

Báo cáo là một phần của khoản trợ cấp 50.000 đô la mà Quỹ Hiệp sĩ đã trao cho PolitiFact vào tháng 6 năm ngoái để nâng cao lòng tin trong việc xác minh thực tế và tiếp cận những khán giả hoài nghi. Mùa thu năm ngoái, các thành viên của tổ chức xác minh thực tế đã đi đến ba bang do các cử tri bảo thủ thống trị và tổ chức các diễn đàn, các cuộc họp riêng và các sự kiện cộng đồng để tiếp cận và trả lời các câu hỏi. PolitiFact cũng thuê hai cựu chính trị gia (mỗi bên một người) để phê bình công việc của mình.

Những nỗ lực đó một phần được truyền cảm hứng từ một cuộc khảo sát của Rasmussen Phóng viên từ tháng 9, cho thấy 88 phần trăm những người ủng hộ Trump không tin tưởng vào việc kiểm tra thực tế của phương tiện truyền thông. Và phân tích ngôn ngữ của PolitiFact có vẻ như là một sự phản bác tốt cho những phát hiện đó.

'Các phân tích của chúng tôi không thể phát hiện ra bất kỳ sự khác biệt có hệ thống nào trong cách đối xử với đảng Dân chủ và đảng Cộng hòa trong các bài báo của PolitiFact', đọc kết luận của nghiên cứu.

Nhưng trong một email tiếp theo gửi cho Poynter, Noah Smith, một trong những đồng tác giả của báo cáo, đã bổ sung một thông báo trước cho kết quả.

“Điều này có thể là do thực sự không có gì để tìm hoặc vì các công cụ của chúng tôi không đủ mạnh để tìm thấy những gì ở đó,” ông nói.