Phân tích: Thử nghiệm kiểm tra thực tế có nguồn lực cộng đồng của Twitter cho thấy các vấn đề

Một phân tích của Poynter cho thấy chưa đến một nửa số người dùng Birdwatch bao gồm các nguồn và nhiều ghi chú kiểm tra thực tế có chứa luận điệu đảng phái.

Phiên bản ngày 14 tháng 2 của thuật toán Birdwatch của Twitter đã khuếch đại một số ghi chú với thông tin sai lệch.

Vào ngày 5 tháng 2, Twitter đã gắn cờ một bài đăng từ YouTuber Tim Pool gây tranh cãi điều đó nói rằng cuộc bầu cử tổng thống Hoa Kỳ năm 2020 đã bị gian lận. Nền tảng lưu ý rằng xác nhận quyền sở hữu đã bị tranh chấp và tắt tương tác 'do nguy cơ bạo lực.'

Nhưng, trên Đồng hồ chim , nền tảng truyền thông xã hội của thử nghiệm kiểm tra thực tế dựa trên nguồn lực cộng đồng , người dùng cho rằng tweet không gây hiểu lầm, theo một phân tích dữ liệu Twitter vào ngày 14 tháng 2. Và hầu hết người dùng Birdwatch đã chỉ ra trong công cụ rằng họ nhận thấy những ghi chú này hỗ trợ các tuyên bố đã được gỡ bỏ là hữu ích và nhiều thông tin.

“Theo nguồn tin chính thức (sic) của TIME, có một nhóm bí mật được tổ chức tốt trong một tổ chức bóng tối nghe giống như một đội hiệp đồng đã làm việc cùng nhau để làm chao đảo cuộc bầu cử có lợi cho Joe Biden,” một ghi chú. Mặc dù người dùng bao gồm một liên kết đến một bài báo trên Tạp chí Time mà thực sự sử dụng các từ như 'cabal' và 'âm mưu', bối cảnh của phần - rằng các nhóm quyền lực đang làm việc đằng sau hậu trường để bảo vệ tính toàn vẹn của cuộc bầu cử - đã bị mất.

Các Thuật toán Birdwatch , nhằm mục đích hiển thị các ghi chú hữu ích, đã chỉ định điểm 'xác minh thực tế' đó là 0,68 - cao nhất trong số các ghi chú trên tweet, nằm ngoài 10% ghi chú hàng đầu được thuật toán coi là 'được đánh giá là hữu ích' kể từ Ngày 14 tháng 2. Các ghi chú được xếp hạng hữu ích chiếm khoảng 7% trong tổng số 2.695 trong phân tích này và ít hơn 2/3 trong số đó chứa liên kết nguồn không phải là một tweet khác.

Vào ngày 17 tháng 2, Twitter đã thay đổi thuật toán của nó và các ghi chú trên bài tweet của Pool không còn được đánh giá là hữu ích nữa, mặc dù chúng vẫn được liệt kê bên dưới bài viết . Trước thay đổi này, có một ngưỡng thấp hơn được coi là hữu ích - chỉ 0,5 so với ngưỡng 0,84 mới - và các ghi chú chỉ cần ba xếp hạng đang chạy để được coi là hữu ích, được ưu tiên theo thứ tự và được đánh dấu bằng ghi chú màu xanh lam.

Bây giờ, một ghi chú phải tăng năm xếp hạng để đẩy tweet đó vào tab mới 'được đánh giá là hữu ích' trong Birdwatch . Và trong số gần 2.700 ghi chú đó trong cơ sở dữ liệu của nền tảng, 126 ghi chú đạt ngưỡng mới - tức là chưa đến 5%. Ba phần tư ghi chú mới “được đánh giá là hữu ích” chứa một nguồn bên ngoài Twitter.

Đó là một minh họa kịp thời về một trong những vấn đề mà mô hình Birdwatch phải đối mặt: Liệu một thuật toán được cung cấp bởi một nhóm người dường như ngẫu nhiên có thể 'đánh giá' sự thật một cách chính xác không?

Birdwatch, trong giai đoạn thử nghiệm với hơn 1.000 người dùng, cho phép người tham gia gắn cờ các tweet là gây hiểu lầm và thêm ghi chú trích dẫn nguồn và / hoặc giải thích bối cảnh tại sao nó có thể gây hiểu lầm. Sau đó, người dùng Birdwatch có thể xếp hạng các ghi chú này dựa trên mức độ hữu ích (sau đó, thuật toán sẽ tiếp nhận).

Cuối cùng, tất cả người dùng Twitter bề ngoài sẽ có thể nhìn thấy những ghi chú này ngay bên dưới các tweet, nhưng hiện tại, chúng chỉ giới hạn trong một phần cụ thể của trang web . Người dùng Birdwatch cuối cùng cũng sẽ xây dựng điểm danh tiếng sẽ đưa vào thuật toán tính hữu ích.

“Mục tiêu của chúng tôi với chương trình thử nghiệm Birdwatch là xây dựng một hệ thống trong đó bất kỳ ai cũng có thể đóng góp và điều đó tự nhiên nâng cao thông tin mà mọi người thấy hữu ích,” phó chủ tịch sản phẩm của Twitter, Keith Coleman cho biết trong một email. “Chúng tôi tin rằng sự cởi mở trong việc ai có thể đóng góp là quan trọng và thông qua ý kiến ​​đóng góp từ một nhóm đa dạng, những ghi chú hữu ích nhất có thể được nâng cao.”

Tuy nhiên, khi nhìn vào hệ thống hiện tại cho thấy những thách thức mà những người kiểm tra thực tế đã nêu ra về Birdwatch: sự thiếu chuyên môn kiểm tra xác thực của người dùng, khó khăn trong việc tạo ra một thuật toán bằng cách nào đó sẽ hiển thị các ghi chú hữu ích của những người dùng có uy tín nhất và câu hỏi về động cơ đảng phái của người dùng.

“Tôi không ngạc nhiên với những phát hiện đó do bản chất phân cực của các nền tảng truyền thông xã hội và sự ngần ngại của người dùng chính thống trong việc cung cấp phản hồi cho các yêu cầu như vậy do các nền tảng cung cấp, trong khi người dùng có động cơ từ cả hai phía xem các nền tảng như chiến trường để quảng bá các câu chuyện của họ qua những người khác, ”Baybars Örsek, giám đốc của Mạng lưới Kiểm tra Dữ kiện Quốc tế cho biết.

Phần lớn các ghi chú của người dùng Birdwatch nhiều nhất đánh dấu các tweet chỉ trích bên phải là 'gây hiểu lầm' và những bài phê bình bên trái là 'không gây hiểu lầm'. (Ví dụ: người dùng đã đánh dấu một tweet có nội dung “ Team Biden mềm mỏng với Trung Quốc ”Từ Thượng nghị sĩ Ted Cruz và dòng tweet của Pool là“ không gây hiểu lầm ”; trong khi một bài báo trên Newsweek về những kẻ cực đoan cực hữu và câu chuyện GameStop và một tweet buộc Tổng thống Donald Trump vào cuộc bạo động ở Điện Capitol được đánh dấu là “gây hiểu lầm” và “có hại”.) Và chưa đầy 1/5 trong số 82 ghi chú của người dùng bao gồm một nguồn, một số trong số đó là các tweet khác. (Người dùng Birdwatch này đã không trả lời yêu cầu phỏng vấn.)

Coleman cho biết Birdwatch có thể được khuyến khích để xem xét các ghi chú đến từ “một nhóm người đóng góp đa dạng.” Hơn nữa, hệ thống đánh giá là động lực chính đằng sau nền tảng

“Chúng tôi tin rằng những điều này sẽ khen thưởng và khuyến khích những đóng góp mà nhiều người thấy có giá trị, đồng thời giải quyết nguy cơ một nhóm hoặc hệ tư tưởng cụ thể tiếp quản Birdwatch,” Coleman nói. “Đây là điều mà chúng tôi sẽ tích cực thực hiện trong suốt quá trình thí điểm.”

Và thực sự, các ghi chú mà thuật toán được xếp hạng là hữu ích nhất sau các thay đổi vào ngày 17 tháng 2 cho thấy nguồn cung ứng vững chắc hơn và ít hùng biện đảng phái hơn so với lần lặp lại chỉ một ngày trước đó. Tuy nhiên, việc thay đổi thuật toán cho một chương trình thử nghiệm với 1.000 người dùng và ít hơn 2.700 ghi chú là một chuyện, việc thay đổi thuật toán khi Birdwatch khả dụng cho tất cả người dùng lại là chuyện khác - và ai biết được liệu hiệu quả của thuật toán có tiếp tục khi người dùng bắt đầu đổ hay không vào nền tảng, có lẽ tái tạo hành vi của một số người tham gia thí điểm sung mãn nhất.

Coleman cho biết: “Chúng tôi hiện không có lịch trình cụ thể để mở rộng quy mô, vì chúng tôi đang nỗ lực tìm hiểu càng nhiều càng tốt và lặp đi lặp lại trong khi thí điểm còn nhỏ,” Coleman nói. “Chúng tôi dự định mở rộng quy mô vì chúng tôi có thể làm như vậy một cách an toàn và khi điều đó có thể giúp cải thiện việc học.”

Tuy nhiên, như với các ghi chú bên dưới dòng tweet của Pool, có ví dụ về đảng phái hoặc thông tin sai lệch vẫn hiển thị dưới dạng ghi chú thông thường.

Bốn trong số năm người dùng tích cực nhất, chiếm hơn 10% tổng số ghi chú, có hoạt động tương tự như người dùng nhiều nhất. Một trong số họ khẳng định cái chết của Jeffrey Epstein không bao giờ được coi là một vụ tự sát. Tuy nhiên, Birdwatcher nhiều thứ hai trích dẫn một nguồn trong mỗi ghi chú, bao gồm các liên kết từ Tổ chức Y tế Thế giới và FactCheck.org .

Không ai trong số 10 người dùng hàng đầu, theo tiểu sử Twitter của họ, là nhà báo hoặc người kiểm tra thực tế chuyên nghiệp.

Tổng biên tập Angie Holan của PolitiFact cho biết trong một email: “Kiểm tra thực tế là một công việc khó khăn vì nó đòi hỏi nhiều về mặt tinh thần. “Bạn thực sự phải tập trung và vượt qua sức ì của tinh thần để xác định các tuyên bố và sau đó suy nghĩ về các phương pháp xác minh hoặc xác minh chúng. Sau đó, bạn phải tiếp tục với việc tìm kiếm và sau đó viết ra những phát hiện. Nói trắng ra thì đó không phải là một ngày ở bãi biển. Và nếu một người kiểm tra thực tế có động cơ đảng phái, thì việc đó sẽ khiến cho một nỗ lực toàn diện và đồng đều càng trở nên khó khăn hơn ”.

Bất chấp các vấn đề của nó, Birdwatch đánh dấu thông tin sai lệch mà những người kiểm tra thông tin truyền thống có thể bỏ lỡ hoặc chọn không kiểm tra do khả năng gây hại - điều này có thể giúp lấp đầy một số lỗ hổng trong thông tin sai lệch kỹ thuật số. Trong trò chơi dừng saga , thông tin sai lệch về cổ phiếu của công ty đó lan truyền nhanh chóng trên các nền tảng.

Tiếng ngáy và PolitiFact không xếp hạng các xác nhận quyền sở hữu liên quan đến GameStop, trong khi Câu chuyện khách hàng tiềm năng được xếp hạng một bài đăng trên Reddit. Nhưng trên Birdwatch, ghi chú được đánh giá cao nhất - đạt điểm hữu ích là 1,00 - đã gắn cờ một dòng tweet gây hiểu lầm về Reddit, nơi cuộc trò chuyện về cổ phiếu đang diễn ra. Có khoảng 50 ghi chú về Reddit, GameStop và ứng dụng đầu tư Robinhood, trên đó khối lượng giao dịch lớn đã xảy ra vào đầu tháng này.

Và người dùng Birdwatch đã gắn cờ chính xác một tài khoản tuyên bố thuộc về Virginia Sen. Amanda Chase là giả mạo, sau khi nó đã tweet , “… Chúng tôi có vấn đề về ma túy ở Virginia, và việc hợp pháp hóa cần sa sẽ chỉ dẫn đến việc sử dụng cần sa quá liều và tử vong nhiều hơn…”

Nguồn lực cộng đồng có thể giúp cuộc sống của những người kiểm tra thực tế chuyên nghiệp dễ dàng hơn bằng cách phát hiện thông tin sai lệch, Örsek nói.

Coleman cho biết Twitter cam kết duy trì tính minh bạch - điều đã giúp phân tích này trở nên khả thi - và kết hợp các ý kiến ​​đóng góp từ các chuyên gia về tương lai của nền tảng.

“Từ việc làm việc với một thành viên trong nhóm được nhúng từ Trung tâm RISC của Đại học Chicago , để tổ chức các phiên phản hồi với các phóng viên và nhà nghiên cứu, chúng tôi đang nỗ lực khai thác lượng kiến ​​thức và chuyên môn khổng lồ tồn tại bên ngoài Twitter, ”ông nói.

Holan và Örsek đề xuất các biện pháp khuyến khích và đào tạo cho người dùng Birdwatch, cũng như sử dụng những người kiểm tra thực tế chuyên nghiệp để kiểm tra các ghi chú cấp cao.

“Nhưng tôi khá nghi ngờ về các công ty công nghệ tin rằng người dùng của họ sẽ kiểm duyệt nội dung miễn phí cho họ,” Holan nói. “Hầu hết người dùng không coi đó là công việc của họ để giúp các nền tảng vận hành công việc kinh doanh của riêng họ.”