בסביבות מורכבות, בני אדם יכולים להבין את משמעות הדיבור טוב יותר מאשר בינה מלאכותית, מכיוון שאנו משתמשים לא רק באוזניים שלנו אלא גם בעיניים שלנו.
לדוגמה, אנו רואים את הפה של מישהו נע ויכולים לדעת באופן אינטואיטיבי שהקול שאנו שומעים חייב להגיע מאותו אדם.
Meta AI עובדת על מערכת דיאלוג חדשה של AI, שנועדה ללמד AI גם ללמוד לזהות מתאמים עדינים בין מה שהוא רואה ושומע בשיחה.
VisualVoice לומדת בצורה דומה לאופן שבו בני אדם לומדים לשלוט במיומנויות חדשות, ומאפשרות הפרדת דיבור אודיו-ויזואלית על ידי לימוד רמזים חזותיים ושמיעתיים מסרטונים ללא תווית.
עבור מכונות, זה יוצר תפיסה טובה יותר, בעוד התפיסה האנושית משתפרת.
דמיינו לעצמכם יכולת להשתתף במפגשים קבוצתיים במטא-ברס עם עמיתים מכל העולם, תוך הצטרפות לפגישות קבוצתיות קטנות יותר כשהן נעות במרחב הווירטואלי, שבמהלכן ההדהודים והצלילים בסצנה מתכוונים בהתאם לסביבה.
כלומר, הוא יכול להשיג מידע על אודיו, וידאו וטקסט בו-זמנית, ויש לו מודל הבנה סביבתי עשיר יותר, המאפשר למשתמשים לחוות סאונד "מאוד וואו".
זמן פרסום: 20 ביולי 2022
