בסביבות מורכבות, בני אדם יכולים להבין את המשמעות של הדיבור טוב יותר מ- AI, מכיוון שאנו משתמשים לא רק באוזניים שלנו אלא גם את העיניים שלנו.
לדוגמה, אנו רואים את פיו של מישהו נע ועשוי לדעת באופן אינטואיטיבי שהצליל שאנו שומעים חייב להגיע מאותו אדם.
Meta AI עובד על מערכת דיאלוג חדשה של AI, שהיא ללמד את AI ללמוד גם להכיר בקורלציות עדינות בין מה שהיא רואה ושומעת בשיחה.
VisualVoice לומד באופן דומה לאופן שבו בני האדם לומדים לשלוט בכישורים חדשים, ומאפשר הפרדת דיבור אודיו-ויזואלית על ידי לימוד רמזים חזותיים ושמיעתיים מתוך סרטונים ללא תווית.
עבור מכונות זה יוצר תפיסה טובה יותר, בעוד התפיסה האנושית משתפרת.
תאר לעצמך להיות מסוגל להשתתף בישיבות קבוצתיות במטברס עם עמיתים מכל העולם, ומצטרפים לפגישות קבוצתיות קטנות יותר כשהם עוברים במרחב הווירטואלי, שבמהלכם הושלכים והזכרים בזירה עושים על פי הסביבה מסתגלים בהתאם.
כלומר, זה יכול להשיג מידע על שמע, וידאו וטקסט בו זמנית, ויש לו מודל הבנה סביבתי עשיר יותר, ומאפשר למשתמשים לחוות צליל "מאוד וואו".
זמן ההודעה: יולי 20-2022
