לחברת Google DeepMind יש פריצת דרך מרתקת בטכנולוגיית הפקת אודיו מווידאו. המודל החדש שלהם יכול להוסיף קליפים שקטים התואמים את האקוסטיקה של הסצנה, להלווות לפעולה המוצגת על המסך ועוד.

הדוגמאות שהם שיתפו מדגימות את היכולות המרשימות של המודל. הוא יכול ליצור אפקטי קול מציאותיים כמו ייבבת זאב, נגינת הרמוניקה בשקיעת השמש וחבר תופים מבצע על הבמה עם אורות מהבהבים וקהל מוחא כפיים. השמע מסתנכרן בחלקו באופן חלק עם הרמזים החזותיים, יוצר חוויה משכנעת ומשתלבת היטב.

מה שהופך טכנולוגיה זו למיוחדת במיוחד הוא היכולת לחרוג מאפקטי קול פשוטים. המודל מנצל את פיקסלי הווידאו והקודים הטקסטואליים כדי ליצור תווי קול עשירים ודינמיים המשלימים באופן אמיתי את החזותי המוצג על המסך. זהו התקדמות משמעותית לעומת מערכות קיימות המסתמכות אך ורק על קודים טקסטואליים ליצירת אודיו.

הגישה של Google מאפשרת חוויה אודיו-חזותית משולבת וקוהרנטית יותר, כאשר עיצוב הקול מעצים ומרומם את התוכן הכולל. הדבר עשוי להשפיע באופן רחב על יישומים שונים, החל מיצירת סרטים וייצור וידאו ועד לחוויות אינטראקטיביות וסביבות וירטואליות.

כשGoogle ממשיכה לפתח ולשכלל טכנולוגיה זו, יהיה מרתק לראות כיצד יוצרים ומפתחים ינצלו אותה כדי להרחיב את גבולות הסיפור האודיו-חזותי והיצירה של תוכן.

Google עשתה מעבר משמעותי מלהיות מעבדת מחקר לבית חרושת לתוצרי AI. המעבר הזה היה אתגר עבור החברה, שכן היא מנסה לאזן את הדגש על בטיחות ולא להוציא מוצרים במהירות, בעוד שהיא גם צריכה להדביק את הקצב המהיר של התפתחות ה-AI בתעשייה.

החברה מאבדת חוקרים בקביעות, שכן אנשים שרוצים לראות את העבודה שלהם מגיעה לקהל הרחב עזבו להצטרף לחברות כמו Anthropic או להקים סטארט-אפים המתמקדים ב-AI. "נזילת המוחות" הזו הייתה בעיה משמעותית עבור Google, שכן היא מתמודדת לשמר את מעמדה כמובילה במחקר ופיתוח ה-AI.

חרף האתגרים הללו, Google עובדת על שילוב שני מעבדות ה-AI שלה כדי לפתח שירותים מסחריים. צעד זה עלול לפגוע בחוזקה הארוכת טווח שלה במחקר יסודי, שכן החברה מתמקדת יותר בפיתוח מוצרים. אי-שביעות הרצון בחברה לגבי הדחיפה הזו לכיוון המסחור מהדהדת את הביקורת הפנימית שהחברה נתקלה בה בשנתיים האחרונות, שכן היא התקשתה להביא את ה-AI המייצר תוכן לצרכנים.

בכללות, Google נמצאת במצב מורכב, שכן היא מנסה לאזן את מאמצי המחקר שלה עם הצורך לפתח ולשלוח מוצרי AI שיכולים להתחרות בChatGPT ובמערכות מתקדמות אחרות. יהיה מעניין לראות כיצד ההנהגה של החברה, כולל Demis Hassabis וSundar Pichai, ניווטים באתגר הזה ואם הם יוכלו לשמר את מעמדה של Google כמובילה בתעשיית ה-AI.

בצעד להעלאת יצירת התוכן, TikTok הציגה את Symphony, חבילת הכלים היצירתיים המבוססת על AI החדשה שלה. Symphony נועדה לשלב דמיון אנושי עם יעילות מבוססת AI, כהתפתחות של עוזר היצירה הקיים של TikTok.

עוזר וירטואלי מבוסס AI זה עוזר למשתמשים ליצור סרטונים טובים יותר על-ידי ניתוח מגמות ושיטות מומלצות, ולאחר מכן יוצר תוכן המיושר עם תובנות אלה. המשתמשים יכולים לייבא את מידע המוצר והנכסים המדיה שלהם, וSymphony תיצור במהירות תוכן מותאם לאופטימיזציית TikTok.

בעוד שSymphony אינה יוצרת תוכן לחלוטין באמצעות AI, היא מסינתזת את קלט המשתמש עם AI כדי לייצר תוכן בקנה מידה. גישה זו נועדה לחסוך זמן עבור היוצרים תוך הימנעות מהפגמים של תוכן מיוצר לחלוטין על-ידי AI בזרמי הזמן של רשתות חברתיות.

בנוסף, Symphony מציעה תכונות כמו הישג גלובלי באמצעות תרגום ודיבוב אוטומטיים, וכן ספרייה של דמויות AI מוכנות מראש לשימוש מסחרי. כלים אלה עוזרים לפרוץ את מחסומי השפה ולספק פתרונות בעלות יעילה עבור מותגים להביא את המוצרים שלהם לחיים.

בכללותה, Symphony של TikTok מייצגת התפתחות ביכולות יצירת התוכן של הפלטפורמה, משלבת יצירתיות אנושית עם יעילות מונעת AI כדי להעצים משתמשים ומותגים במאמציהם בתחום הרשתות החברתיות.

Meta שחררה מספר משמעותי של מודלים פתוחים, שצפוי להיות להם השפעה גדולה על קהילת ה-AI. מודלים אלה אינם מהפכניים, אך ללא ספק יניעו חדשנות והתקדמות נוספת.

הגישה של Meta לשתף את מודלי המחקר והמאגרי הנתונים החדישים שלהם היא חלק מהמחויבות הוותיקה שלהם למדע פתוח ולשיתוף ציבורי של עבודתם. צעד זה נועד לאפשר לקהילה לחדש מהר יותר ולפתח מחקר חדש.

חלק מהמודלים והטכניקות המרכזיים ששוחררו על-ידי Meta כוללים:

1. מודל חיזוי רב-אסימון: מודל שיכול להסיק על מספר פלטים בו-זמנית, מאפשר הסקה מהירה יותר.
2. Meta Chameleon: מודל שיכול להסיק על תמונות וטקסט באמצעות אדריכלות של מיזוג מוקדם, מאפשר גישה מאוחדת יותר.
3. Meta Audio Seal: טכניקה חדשה לסימון מים של קטעי אודיו, מאפשרת איתור והגדרת מיקום של נאום מיוצר באמצעות AI.
4. Meta Jukebox: טכניקה ליצירת מוזיקה המאפשרת התניה טובה יותר על אקורדים וקצב.
5. Prism Dataset: מאגר נתונים המאפשר מגוון טוב יותר מבחינה גיאוגרפית ותרבותית.

שחרורים אלה מדגימים את המחויבות של Meta לקהילת הקוד הפתוח ורצונה להיות מובילה בתחום זה. על-ידי אספקת מודלים וטכניקות עוצמתיים אלה, Meta מעצימה את הקהילה לבנות על עבודתם ולהניע התקדמות נוספת בתחום ה-AI.

הגישה של קוד פתוח שנוקטת Meta מנוגדת לגישה המוגבלת יותר של חלק מהענקיות הטכנולוגיים האחרים. צעד זה צפוי להתקבל בברכה על-ידי קהילת ה-AI, שכן הוא יעודד חדשנות ושיתוף פעולה, מה שיוביל בסופו של דבר לפריצות דרך משמעותיות יותר בתחום.

Runway הציגה את Gen 3 Alpha, הראשון בסדרת מודלים עתידית המאומנת על תשתית מולטי-מודלית בקנה מידה גדול חדשה. התכונה הבולטת של מודל זה היא היכולת ליצור דמויות אנושיות פוטו-ריאליסטיות מקודי טקסט.

פלטי הטקסט לווידאו של Gen 3 Alpha מרשימים באמת, כאשר הדמויות האנושיות נראות מאוד מציאותיות וטבעיות. בהשוואה למודלים אחרים כמו DALL-E ו-Stable Diffusion, הדמויות האנושיות הפוטו-ריאליסטיות שיוצרת Runway נראות כאילו יש להן פחות פגמים, מה שמקשה להבחין ביניהן לבין צילומים אמיתיים.

התקדמות זו מסמנת віהן משמעותי בתחום התוכן המיוצר באמצעות AI, מטשטשת את הגבולות בין מציאות לדמיון. האיכות הגבוהה של הפלטים מעוררת שאלות לגבי ההשפעה הפוטנציאלית על יצירת תוכן ואימות, שכן הופך קשה יותר להבחין בין מה שאמיתי לבין מה שנוצר על-ידי AI.

Runway עדיין לא הפכה את Gen 3 Alpha לציבורית, אך ההצצה שסופקה מרמזת שהחברה נמצאת בחזית הטכנולוגיה של יצירת טקסט לווידאו. ככל שהתחרות בתחום זה מתלהטת, יהיה מרתק לראות כיצד מודל Runway משתווה לשחרורים אחרים הקרובים ואיך התעשייה תמשיך להתפתח.

Hedra Labs הציגה מודל מחקר פורץ דרך בשם "Character One" שפותר אתגר מרכזי ביצירת וידאו באמצעות AI - יצירת תמונות קרובות מהראש ודמויות בעלות תגובות רגשיות.

המודל, זמין כיום בHedra.com, יכול ליצור תמונות קרובות מהראש מאוד מציאותיות ובעלות ביטוי רגשי, מאפשר ליוצרים לספר סיפורים מרתקים יותר באמצעות דמויות מונעות AI. זו התקדמות משמעותית, שכן מערכות AI נאבקו היסטורית במשימה זו.

דוגמה אחת ממחישה את יכולות המודל. בסרטון, דמות מיוצרת באמצעות AI בשם "Dave" מעביר הודעה מרגשת על אביו המנוח, כאשר הביטויים הפנימיים והמסירה הרגשית נראים מאוד טבעיים וחיים. הש