Google DeepMind đã đạt được một bước đột phá đáng chú ý trong công nghệ tạo ra âm thanh từ video. Mô hình mới của họ có thể thêm các đoạn phim im lặng phù hợp với âm thanh của cảnh, đi kèm với các hành động trên màn hình và nhiều hơn nữa.

Các ví dụ họ đã chia sẻ thể hiện khả năng ấn tượng của mô hình này. Nó có thể tạo ra các hiệu ứng âm thanh thực tế như tiếng sói hú, tiếng harmonica khi mặt trời lặn và một người trống biểu diễn trên sân khấu với ánh sáng chớp nháy và tiếng vỗ tay cổ vũ. Âm thanh được đồng bộ hóa một cách mượt mà với các manh nha trực quan, tạo ra một trải nghiệm thuyết phục và đắm chìm.

Điều làm cho công nghệ này đáng chú ý đặc biệt là khả năng vượt qua các hiệu ứng âm thanh đơn giản. Mô hình này khai thác các điểm ảnh video và lời nhắc văn bản để tạo ra các bản nhạc nền phong phú và động, thực sự bổ sung cho các hình ảnh trên màn hình. Đây là một bước tiến đáng kể so với các hệ thống hiện tại chỉ dựa vào lời nhắc văn bản để tạo ra âm thanh.

Phương pháp tiếp cận của Google cho phép một trải nghiệm âm thanh-hình ảnh tích hợp và thống nhất hơn, nơi thiết kế âm thanh tăng cường và nâng cao nội dung tổng thể. Điều này có thể có những ảnh hưởng xa rộng đối với các ứng dụng khác nhau, từ làm phim và sản xuất video đến các trải nghiệm tương tác và môi trường ảo.

Khi Google tiếp tục phát triển và hoàn thiện công nghệ này, sẽ rất thú vị khi xem các nhà sáng tạo và nhà phát triển khai thác nó để mở rộng giới hạn của kể chuyện âm thanh-hình ảnh và sáng tạo nội dung.

Google đã có một sự chuyển dịch lớn từ một phòng thí nghiệm nghiên cứu trở thành một nhà máy sản xuất sản phẩm AI. Sự chuyển dịch này đã là một thách thức lớn đối với công ty, khi họ cố gắng cân bằng giữa việc tập trung vào an toàn và không vội vã đưa ra các sản phẩm, đồng thời cũng cần phải theo kịp nhịp độ phát triển nhanh chóng của ngành AI.

Công ty đã liên tục mất các nhà nghiên cứu, khi những người muốn thấy công việc của họ được chuyển đến đại chúng đã rời đi để gia nhập các công ty như Anthropic hoặc khởi nghiệp các công ty tập trung vào AI. "Sự rò rỉ não" này đã là một vấn đề đáng kể đối với Google, khi họ đang phải vật lộn để duy trì vị trí của mình là một nhà lãnh đạo trong nghiên cứu và phát triển AI.

Mặc dù gặp những thách thức này, Google đã làm việc để kết hợp hai phòng thí nghiệm AI của mình để phát triển các dịch vụ thương mại. Động thái này có thể làm suy yếu sức mạnh lâu dài của họ trong nghiên cứu cơ bản, khi công ty chuyển sự tập trung của mình sang phát triển sản phẩm. Sự bất mãn trong công ty về việc đẩy mạnh thương mại hóa này phản ánh sự phê bình nội bộ mà công ty đã phải đối mặt trong hai năm qua, khi họ đấu tranh để mang AI tạo ra nội dung đến với người tiêu dùng.

Nói chung, Google đang ở trong một vị trí khó khăn khi họ cố gắng cân bằng giữa các nỗ lực nghiên cứu và nhu cầu phát triển và chuyển giao các sản phẩm AI có thể cạnh tranh với ChatGPT và các hệ thống tiên tiến khác. Sẽ rất thú vị khi xem cách lãnh đạo của công ty, bao gồm Demis Hassabis và Sundar Pichai, giải quyết thách thức này và liệu họ có thể duy trì vị trí của Google là một nhà lãnh đạo trong ngành công nghiệp AI hay không.

Trong một động thái nhằm nâng cao khả năng tạo nội dung, TikTok đã giới thiệu Symphony, bộ công cụ sáng tạo AI mới của họ. Symphony được thiết kế để kết hợp trí tưởng tượng của con người với hiệu quả do AI cung cấp, đánh dấu sự tiến hóa của trợ lý sáng tạo hiện có của TikTok.

Trợ lý ảo này được hỗ trợ bởi AI giúp người dùng tạo ra các video tốt hơn bằng cách phân tích xu hướng và các thực hành tốt nhất, sau đó tạo ra nội dung phù hợp với những hiểu biết này. Người dùng có thể nhập thông tin sản phẩm và tài sản phương tiện của họ, và Symphony sẽ nhanh chóng tạo ra nội dung được tối ưu hóa cho TikTok.

Mặc dù Symphony không tạo ra nội dung hoàn toàn do AI tạo ra, nó tổng hợp đầu vào của người dùng với AI để sản xuất nội dung với quy mô lớn. Phương pháp tiếp cận này nhằm tiết kiệm thời gian cho các nhà sáng tạo, đồng thời tránh những hạn chế của nội dung do AI tạo ra hoàn toàn trên dòng thời gian mạng xã hội.

Ngoài ra, Symphony cung cấp các tính năng như phạm vi toàn cầu thông qua dịch và lồng tiếng tự động, cũng như một thư viện các nhân vật AI được xây dựng sẵn để sử dụng thương mại. Những công cụ này giúp vượt qua rào cản ngôn ngữ và cung cấp các giải pháp hiệu quả về chi phí để các thương hiệu mang sản phẩm của họ đến với cuộc sống.

Nói chung, Symphony của TikTok đại diện cho sự tiến hóa trong khả năng tạo nội dung của nền tảng, kết hợp sáng tạo của con người với hiệu quả do AI điều khiển để trao quyền cho người dùng và thương hiệu trong các nỗ lực mạng xã hội của họ.

Meta đã phát hành một số lượng lớn các mô hình mở, được dự đoán sẽ có tác động lớn đến cộng đồng AI. Những mô hình này không phải là đột phá, nhưng chắc chắn sẽ thúc đẩy các đổi mới và tiến bộ tiếp theo.

Phương pháp tiếp cận của Meta chia sẻ các mô hình nghiên cứu và tập dữ liệu mới nhất của họ là một phần trong cam kết lâu dài của họ đối với khoa học mở và chia sẻ công khai công việc của họ. Động thái này nhằm cho phép cộng đồng đổi mới nhanh hơn và phát triển nghiên cứu mới.

Một số mô hình và kỹ thuật chính được Meta phát hành bao gồm:

1. Mô hình Dự đoán Nhiều Token: Một mô hình có thể lý luận về nhiều đầu ra cùng một lúc, cho phép suy luận nhanh hơn.
2. Meta Chameleon: Một mô hình có thể lý luận về hình ảnh và văn bản bằng cách sử dụng kiến trúc kết hợp sớm, cho phép một cách tiếp cận thống nhất hơn.
3. Meta Audio Seal: Một kỹ thuật mới để đánh dấu âm thanh, cho phép định vị và phát hiện ra bài phát biểu do AI tạo ra.
4. Meta Jukebox: Một kỹ thuật để tạo ra nhạc cho phép điều kiện hóa tốt hơn về hợp âm và nhịp điệu.
5. Tập dữ liệu Prism: Một tập dữ liệu cho phép đa dạng hóa tốt hơn từ các đặc điểm địa lý và văn hóa.

Thông qua các bản phát hành này, Meta thể hiện cam kết của họ với cộng đồng nguồn mở và mong muốn trở thành nhà lãnh đạo trong lĩnh vực này. Bằng cách cung cấp những mô hình và kỹ thuật mạnh mẽ này, Meta đang trao quyền cho cộng đồng để xây dựng trên công việc của họ và thúc đẩy các tiến bộ đáng kể hơn trong lĩnh vực AI.

Phương pháp tiếp cận nguồn mở của Meta tương phản với cách tiếp cận kín đáo hơn của một số công ty công nghệ khác. Động thái này có thể được cộng đồng AI hoan nghênh, vì nó sẽ thúc đẩy đổi mới và hợp tác, cuối cùng dẫn đến những bước đột phá đáng kể hơn trong lĩnh vực này.

Runway đã giới thiệu Gen 3 Alpha, mô hình đầu tiên trong một loạt các mô hình sắp tới được đào tạo trên một cơ sở hạ tầng đa phương tiện quy mô lớn mới. Tính năng nổi bật của mô hình này là khả năng tạo ra các nhân vật người thực tế từ các lời nhắc văn bản.

Đầu ra video từ Gen 3 Alpha thực sự ấn tượng, với các nhân vật người xuất hiện rất thực tế và tự nhiên. So với các mô hình khác như DALL-E và Stable Diffusion, những con người thực tế do Runway tạo ra có vẻ ít khuyết điểm hơn, khiến việc phân biệt chúng với các đoạn phim thực trở nên khó khăn.

Sự tiến bộ này đánh dấu một cột mốc quan trọng trong lĩnh vực nội dung do AI tạo ra, làm mờ ranh giới giữa thực tế và tưởng tượng. Chất lượng cao của các đầu ra đặt ra những câu hỏi về tác động tiềm năng đối với việc tạo nội dung và xác minh, vì việc phân biệt những gì là thực và những gì do AI tạo ra trở nên ngày càng khó khăn.

Runway chưa công bố Gen 3 Alpha công khai, nhưng những gì được tiết lộ cho thấy công ty đang dẫn đầu trong công nghệ tạo video từ văn bản. Khi cuộc cạnh tranh trong lĩnh vực này trở nên gay gắt, sẽ rất thú vị khi xem mô hình của Runway so sánh với các bản phát hành sắp tới khác và ngành công nghiệp này tiếp tục phát triển như thế nào.

Hedra Labs đã giới thiệu một mô hình nghiên cứu đột phá được gọi là "Character One" nhằm giải quyết một thách thức chính trong việc tạo video bằng AI - tạo ảnh chân dung đáng tin cậy và các nhân vật phản ứng cảm xúc.

Mô hình này, hiện có sẵn tại Hedra.com, có thể tạo ra các ảnh chân dung rất thực tế và biểu cảm cảm xúc, cho phép các nhà sáng tạo kể những câu chuyện hấp dẫn hơn thông qua các nhân vật do AI điều khiển. Đây là một bước tiến đáng kể, vì các hệ thống AI đã gặp khó khăn trong nhiệm vụ này trước đây.

Một ví dụ minh họa khả năng của mô hình. Trong video, một nhân vật do AI tạo ra có tên "Dave" đưa ra một thông điệp chân thành về người cha đã mất của anh ấy, với các biểu cảm khuôn mặt và cách diễn đạt cảm xúc trông rất tự nhiên và sống động. Sự kết hợp mượt mà giữa giọng nói, các chuyển động khuôn mặt và tinh tế cả