PixelDance của ByteDance: Mô hình video AI có thể là hồi kết của Sora

ByteDance đã chính thức bước vào kỷ nguyên mới trong công nghệ video AI với việc phát hành mô hình Doubao PixelDance:

• Thị trường video AI toàn cầu dự kiến sẽ tăng trưởng theo cấp số nhân với các công ty như ByteDance.
• Mô hình Doubao PixelDance giới thiệu những tiến bộ đột phá trong hoạt hình nhân vật, tạo video đa ống kính và điều khiển máy ảnh.
• Việc tạo nội dung bằng AI đang trở nên dễ tiếp cận hơn với những người không chuyên, làm gián đoạn quy trình làm phim, truyền hình và quảng cáo truyền thống.
• Các chuyên gia dự đoán các mô hình video AI sẽ cách mạng hóa việc sản xuất video, giảm chi phí và cho phép tự do sáng tạo.

Bài viết này sẽ khám phá:

• Những tính năng độc đáo của mẫu Doubao PixelDance;
• Cách thức nâng cao hiệu suất nhân vật và tạo video đa ống kính;
• Tác động của nó đến ngành công nghiệp phim ảnh, truyền hình và quảng cáo; và
• Tại sao mô hình PixelDance lại thiết lập một tiêu chuẩn mới cho công nghệ video AI.

Chúng ta hãy cùng tìm hiểu nhé:

ByteDance ra mắt Doubao PixelDance

ByteDance đã ra mắt một mô hình video AI mới có tên là Doubao trên nền tảng Volcano Engine, báo hiệu sự thay đổi mang tính cách mạng trong ngành sản xuất video.

Vào ngày 24 tháng 9 năm 2024, công ty đã giới thiệu hai mô hình tạo video AI tiên tiến:

1. Người mẫu Doubao PixelDance.
2. Mô hình rong biển.

Trong khi mô hình Seaweed cần được xem xét chi tiết, bài viết này sẽ tập trung vào mô hình PixelDance, mô hình đã tạo nên sự phấn khích đáng kể do khả năng đột phá của nó.

Mô hình này mang đến những cải tiến đáng chú ý, bao gồm:

1. chuyển động nhân vật phức tạp và liên tục
2. tạo video đa camera liền mạch
3. điều khiển camera vô song

Mỗi tính năng đều đại diện cho một bước tiến lớn trong công nghệ video AI, tạo nên bước ngoặt cho ngành công nghiệp phim ảnh, truyền hình và quảng cáo.

Chuyển động nhân vật phức tạp và liên tục

Một vấn đề tồn tại lâu nay với các video do AI tạo ra là chuyển động của nhân vật thiếu sự mượt mà và phức tạp, khiến chúng trông gượng gạo hoặc máy móc.

Các mô hình trước đó, chẳng hạn như Sora và Runway, chỉ có thể xử lý các hành động cơ bản, hạn chế hiệu quả của chúng trong việc tạo ra các cảnh giống thật.

Những mô hình AI ban đầu này thường giống với hình ảnh động theo phong cách PowerPoint, với các nhân vật bị giới hạn ở những cử chỉ cơ bản như quay, chạy hoặc vẫy tay.

Những chuyển động phức tạp hơn, như hành động liên tục và đáng tin cậy của con người, gần như là không thể.

Tuy nhiên, mô hình Doubao PixelDance đã phá vỡ khuôn mẫu này bằng cách tạo ra các màn trình diễn nhân vật không chỉ phức tạp mà còn liên tục.

Mô hình này loại bỏ đặc điểm chuyển động dừng-bắt đầu đột ngột của các video do AI tạo ra trước đó. Ví dụ, hãy xem xét dòng cảm xúc liên tục trong cảnh cuối của Vua hài kịch, nơi hành động của nhân vật chính tạo nên sự căng thẳng và truyền tải ý nghĩa cảm xúc sâu sắc. 

Mô hình PixelDance cho phép các chuyển động nhân vật liên tục và trôi chảy tương tự, giúp nội dung do AI tạo ra có thể gợi lên cùng chiều sâu cảm xúc. Khả năng này đưa AI đến gần hơn với việc trở thành một công cụ khả thi để tạo ra nội dung cộng hưởng về mặt cảm xúc trong phim và quảng cáo.

Tạo video đa ống kính

Ngoài các chuyển động liên tục, mô hình PixelDance còn tỏa sáng ở khả năng tạo video nhiều ống kính từ một hình ảnh duy nhất và nhanh chóng.

Trước đây, loại chức năng này bị hạn chế và ngay cả những mô hình AI tiên tiến nhất, như những mô hình được sử dụng trong video quảng cáo của Sora, cũng gặp khó khăn trong việc duy trì chất lượng nhất quán giữa các cảnh quay khác nhau.

Việc tạo video nhiều ống kính, nhiều cảnh quay đòi hỏi sự can thiệp thủ công phức tạp để đảm bảo tính nhất quán về phong cách, nhân vật và bối cảnh.

Mô hình Doubao PixelDance giải quyết những vấn đề này, cho phép người dùng tạo video nhiều cảnh nhanh chóng. Chỉ với một hình ảnh và lời nhắc, nó tạo ra video nhất quán trên nhiều góc máy ảnh và chuyển cảnh khác nhau.

Ví dụ, hãy tưởng tượng một lời nhắc trong đó một Grim Reaper cầm lưỡi hái tiến đến một người phụ nữ và máy quay chuyển đổi giữa cận cảnh khuôn mặt kinh hoàng của người phụ nữ và cảnh quay toàn cảnh. Mô hình PixelDance xử lý các chuyển đổi này một cách hoàn hảo, duy trì tính nhất quán về mặt hình ảnh trong tất cả các cảnh quay.

Khả năng này không chỉ là một thành tựu kỹ thuật; nó còn có ý nghĩa sâu sắc đối với các lĩnh vực phim ảnh, truyền hình và quảng cáo. Khả năng tạo video nhiều cảnh quay nhanh chóng giúp giảm thời gian và chi phí sản xuất, vì một vài cảnh hoặc cảnh quay tiếp theo có thể được sắp xếp trong vài phút.

Nó cũng mở ra thế giới sản xuất video chuyên nghiệp cho nhiều đối tượng hơn, vì mô hình này làm giảm đáng kể các rào cản kỹ thuật khi gia nhập. Với PixelDance, bất kỳ ai cũng có thể trở thành đạo diễn, ngay lập tức biến một hình ảnh đơn lẻ và một lời nhắc thành một video đa ống kính hoàn chỉnh.

Kiểm soát máy ảnh tối ưu

Có lẽ khía cạnh ấn tượng nhất của mẫu Doubao PixelDance là khả năng điều khiển camera tiên tiến. Trong khi các công cụ video AI khác đã cung cấp một số tùy chọn chuyển động camera, chúng phần lớn bị giới hạn ở các chức năng cơ bản như thu phóng hoặc xoay.

Cho đến nay, các thao tác phức tạp của máy ảnh, chẳng hạn như xoay 360 độ hoặc theo dõi mục tiêu chính xác, vẫn nằm ngoài khả năng của các video do AI tạo ra.

Mô hình PixelDance thay đổi điều này bằng cách cung cấp một loạt các chuyển động của máy ảnh trước đây không thể tưởng tượng được trong nội dung do AI tạo ra.

Nó có thể thực hiện:

1. Bao quanh 360 độ
2. phóng to và thu nhỏ các chủ đề
3. thực hiện các cảnh quay toàn cảnh và theo dõi phức tạp

Với độ chính xác đáng kinh ngạc.

Ví dụ, lời nhắc mô tả cảnh camera thu nhỏ khuôn mặt của một người phụ nữ để lộ ra một người đàn ông ở phía sau được xử lý cực kỳ mượt mà và chính xác nhờ mô hình PixelDance.

Tương tự như vậy, việc xoay 360 độ quanh một chủ thể, trước đây là một nhiệm vụ đầy thách thức đối với AI, thì giờ đây đã có thể thực hiện một cách dễ dàng.

Mức độ kiểm soát máy quay này mang tính chuyển đổi cho các nhà làm phim và người sáng tạo video. Trước đây, video AI thiếu tính lưu động và linh hoạt cần phải cạnh tranh với nội dung được sản xuất theo cách truyền thống, nhưng mô hình PixelDance đã thu hẹp khoảng cách đó.

Mô hình này cho phép di chuyển camera mà nếu không sẽ đòi hỏi thiết lập phức tạp và thiết bị đắt tiền, giúp sản xuất video chất lượng cao có thể tiếp cận được với nhiều nhà sáng tạo hơn. Kết quả là nội dung do AI tạo ra trông chuyên nghiệp và có cảm giác điện ảnh.

Một bước tiến lớn

Việc phát hành mô hình Doubao PixelDance đánh dấu một bước ngoặt trong việc tạo video AI, thiết lập một tiêu chuẩn mới cho những gì có thể trong ngành. Trong khi các mô hình khác, như Sora, đã đặt nền móng, PixelDance đưa sản xuất video AI lên tầm cao mới mà trước đây không thể tưởng tượng được.

ByteDance đã định vị mình là công ty dẫn đầu trong lĩnh vực này, mang đến cho thị trường những công cụ không chỉ mới lạ mà còn có khả năng tích hợp thực sự ở cấp độ ngành.

Đối với các nhà làm phim, nhà quảng cáo và người sáng tạo nội dung, mô hình Doubao PixelDance đại diện cho một bước tiến vượt bậc.

Khả năng xử lý các chuyển động phức tạp của nhân vật, tạo video đa ống kính và thực hiện các thao tác máy ảnh nâng cao sẽ:

1. Chuyển đổi quy trình làm việc
2. Giảm thời gian sản xuất
3. Chi phí thấp hơn

Hơn nữa, công nghệ này mở ra những khả năng sáng tạo mới, cho phép cả người chuyên nghiệp và nghiệp dư mở rộng ranh giới của việc kể chuyện và sản xuất video.

Mặc dù hiện tại chỉ có sẵn để thử nghiệm lời mời doanh nghiệp, mô hình Doubao PixelDance sẽ sớm được ra mắt trên các nền tảng như Volcano Ark và cuối cùng được cung cấp cho tất cả người dùng.

Mặc dù việc phát hành cho người tiêu dùng có thể mất thời gian khi ByteDance tinh chỉnh mô hình, nhưng ngành công nghiệp đã chú ý. Tương lai của sản xuất video AI đã đến và do Doubao PixelDance dẫn đầu.

Tóm lại, đây không chỉ là sự tiến hóa trong các mô hình video AI mà còn là một cuộc cách mạng. Mô hình PixelDance Doubao của ByteDance không chỉ thiết lập một chuẩn mực mới cho video do AI tạo ra mà còn mở ra cánh cửa cho một tương lai mà AI là một phần không thể thiếu trong sản xuất phim, truyền hình và quảng cáo.

Khi ngày càng nhiều nhà sáng tạo áp dụng công nghệ này, bối cảnh sản xuất video sẽ tiếp tục phát triển, với AI là cốt lõi.

• Mô hình Doubao PixelDance của ByteDance đang thiết lập một tiêu chuẩn mới cho hoạt hình nhân vật, tạo video nhiều camera và điều khiển camera.
• Mô hình này giải quyết những hạn chế trước đây trong sản xuất video bằng AI bằng cách cung cấp chuyển động liên tục của nhân vật, điều trước đây không thể đạt được, giúp tăng cường tính chân thực trong nội dung do AI tạo ra.
• Khả năng tạo video đa ống kính giúp giảm đáng kể thời gian và công sức cần thiết cho việc sản xuất video phức tạp, giúp việc tạo nội dung chất lượng cao dễ dàng hơn.
• Khả năng điều khiển camera tiên tiến, bao gồm cảnh quay xung quanh 360 độ và khả năng thu phóng mượt mà, cho phép các nhà làm phim và nhà quảng cáo đạt được chất lượng quay phim chuyên nghiệp bằng AI.
• Doubao PixelDance dự kiến sẽ làm thay đổi quy trình làm phim, truyền hình và quảng cáo, giúp giảm chi phí sản xuất đồng thời mở rộng khả năng sáng tạo.