Sử dụng LLM của Meta cũng như các APU mới nhất của MediaTek và nền tảng AI NeuroPilot, MediaTek đặt mục tiêu xây dựng một hệ sinh thái điện toán biên hoàn chỉnh được thiết kế để thúc đẩy việc phát triển ứng dụng AI trên điện thoại thông minh, IoT, các loại phương tiện, nhà thông minh và các thiết bị điện toán biên khác.
Hiện tại, hầu hết quy trình xử lý AI tạo sinh (Generative AI) được thực hiện thông qua điện toán đám mây. Tuy nhiên, việc sử dụng các mô hình Llama 2 của MediaTek sẽ cho phép các ứng dụng AI tạo sinh chạy trực tiếp trên thiết bị.
Việc này mang lại một số lợi ích cho các nhà phát triển và người dùng, bao gồm hiệu suất mượt mà, nâng cao quyền riêng tư, bảo mật và đáng tin cậy hơn, độ trễ thấp hơn, tăng khả năng làm việc trong các khu vực có ít hoặc không có kết nối, và chi phí vận hành thấp hơn.
Để thực sự tận dụng công nghệ AI tạo sinh trên thiết bị điện toán biên, các nhà sản xuất thiết bị điện toán biên sẽ cần áp dụng bộ xử lý AI cao cấp, tiêu thụ ít năng lượng và kết nối nhanh hơn, đáng tin cậy hơn để nâng cao khả năng tính toán. Mỗi con chip di động 5G do MediaTek cung cấp hiện nay đều được trang bị các APU được thiết kế để thực hiện nhiều tính năng AI tạo sinh đa dạng, chẳng hạn như giảm nhiễu bằng AI, tăng cường độ phân giải bằng AI...
Ngoài ra, vi xử lý flagship thế hệ tiếp theo của MediaTek dự kiến sẽ được giới thiệu vào cuối năm nay, sẽ có một ngăn xếp phần mềm được tối ưu hóa để chạy Llama 2, cùng với một APU nâng cấp với khả năng tăng tốc cốt lõi Transformer, giảm thiểu diện tích truy cập và sử dụng băng thông DRAM, tăng cường hơn nữa hiệu suất LLM và AIGC. Những tiến bộ này tạo điều kiện thuận lợi để nhanh chóng xây dựng các trường hợp sử dụng cho AI tạo sinh trên thiết bị.
MediaTek kỳ vọng các ứng dụng AI dựa trên Llama 2 có sẵn trên các smartphone trang bị SoC flagship thế hệ tiếp theo, dự kiến được tung ra thị trường vào cuối năm nay.
