Tin giả gồm văn bản, hình ảnh và video được chỉnh sửa kỹ thuật số có thể khiến mọi người lầm tưởng như ai đó đang nói hoặc làm điều gì đó, nhưng thực tế họ không làm. Khi cuộc đua vào Nhà Trắng giữa ông Donald Trump và ứng viên tổng thống đảng Dân chủ Kamala Harris trở nên gay gắt, tin giả càng xuất hiện nhiều, buộc các chuyên gia về tin giả phải gióng lên hồi chuông cảnh báo về rủi ro của AI. Ông Emilio Ferrara, giáo sư khoa học máy tính tại Trường Kỹ thuật USC Viterbi (Los Angeles, bang California) lo ngại, càng gần đến ngày bầu cử tổng thống, điều này sẽ bùng nổ và trở nên tồi tệ hơn nhiều.
Do vấn đề tin giả, sự chú ý đang càng tăng đối với OpenAI, nhà sản xuất công cụ AI tạo ra ChatGPT và các công ty công nghệ đang khuyến khích mọi người sử dụng các công cụ AI mới có thể tạo văn bản, hình ảnh và video. Theo các nhà phân tích, đôi khi người sử dụng mạng xã hội chỉ dùng AI nhằm tạo các thông tin, hình ảnh, hay video có tính chất giải trí, chọc ghẹo bạn bè, nhưng bị người khác lợi dụng để tuyên truyền cho các mục đích khác, kể cả cuộc bầu cử tổng thống Mỹ năm 2024. Để đối phó với tin giả, theo người phát ngôn Mia Ehrenberg của chiến dịch tranh cử của Phó Tổng thống Kamala Harris, có một nhóm liên phòng ban “chuẩn bị cho những tác động tiềm ẩn của AI trong cuộc bầu cử này, bao gồm cả mối đe dọa của tin giả và tin độc hại”. Bà Ehrenberg nhấn mạnh, chiến dịch chỉ cho phép sử dụng AI vào việc phân tích dữ liệu.
Một phần thách thức trong việc hạn chế video giả mạo hoặc bị chỉnh sửa là luật liên bang Mỹ hướng dẫn các hoạt động truyền thông xã hội không đề cập cụ thể đến tin giả. Nhưng trong những năm qua, các công ty công nghệ đã bị chỉ trích vì những gì xuất hiện trên nền tảng của họ. Nhiều công ty truyền thông xã hội đã thiết lập các hướng dẫn kiểm duyệt nội dung để giải quyết vấn đề này, chẳng hạn như cấm ngôn từ kích động thù địch.
Các nền tảng như Facebook và X, trước đây là Twitter, có các quy tắc chống lại hình ảnh, âm thanh và video bị chỉnh sửa, nhưng cũng đã phải vật lộn để thực thi các chính sách này khi nội dung do AI tạo ra tràn ngập trên internet. Đối mặt với áp lực, các nền tảng tập trung nhiều hơn vào việc dán nhãn nội dung và kiểm tra thực tế, thay vì gỡ bỏ các bài đăng. Các nhà lập pháp Mỹ cũng đang nỗ lực giải quyết vấn đề này bằng cách đề xuất các dự luật yêu cầu các công ty truyền thông xã hội gỡ bỏ các video trái phép. Thống đốc bang California Gavin Newsom ủng hộ luật pháp cấm việc thay đổi giọng nói của một người bằng cách sử dụng AI trong tranh cử.
Tỷ phú Elon Musk, chủ sở hữu X, ủng hộ ứng viên Donald Trump, thừa nhận đã sử dụng AI để nhại giọng nói của bà Harris. Nhiều nhà lập pháp Mỹ cho biết, các công ty truyền thông xã hội chưa làm đủ để giải quyết vấn đề tin giả trong mùa bầu cử, đặc biệt là khi các cuộc bầu cử với tỷ lệ sít sao và thông qua các hệ thống phức tạp, bí ẩn như đại cử tri đoàn. Khi đó, tin giả có thể gây ra hậu quả tàn khốc trong thế giới thực.