NVIDIA Nemotron 3 VoiceChat: מודל בינה מלאכותית קולית עם משקלים פתוחים ושילוב כלים
NVIDIA הציגה את Nemotron 3 VoiceChat, מודל המיועד ליצירת עוזרי בינה מלאכותית קוליים המסוגלים לנהל דיאלוג טבעי בזמן אמת. הטכנולוגיה תומכת באינטראקציה קולית מלאה (full-duplex), שבה המערכת מקשיבה למשתמש ובו-זמנית מייצרת תגובה. כך ניתן לנהל שיחה מבלי להמתין עד שהמשתמש יסיים לדבר. אחת התכונות המרכזיות של המודל היא האפשרות לקטוע את העוזר במהלך השיחה באופן טבעי.
המשתמש יכול להפסיק את תגובת העוזר בזמן שהוא מדבר, והמערכת מפסיקה את התגובה הנוכחית וממשיכה את השיחה בהתאם לקלט החדש. NVIDIA מציגה את הטכנולוגיה כבסיס לסוכנים קוליים שנועדו לנהל שיחות בזמן אמת עם השהיה מינימלית. ניתן לשלב את המודל גם במערכות סוכנים המשתמשות בכלים ובשירותים חיצוניים.
היכולת הזו מאפשרת למפתחים ליצור עוזרים שאינם מוגבלים להפקת טקסט או דיבור בלבד, אלא יכולים להתחבר לאפליקציות ולמערכות תוכנה ולבצע באמצעותן פעולות. הכלים הזמינים לסוכן הקולי תלויים באופן שבו המערכת הכוללת מיושמת. Nemotron 3 VoiceChat פועל כמערכת קולית משולבת המשלבת עיבוד דיבור, מודל שפה ויצירת קול.
הגישה המשולבת מצמצמת את מספר שלבי הביניים בין דברי המשתמש לתגובת המערכת, ומאפשרת שיחה חלקה ומהירה יותר. NVIDIA מציינת כי Nemotron 3 VoiceChat כולל כ-12 מיליארד פרמטרים ומספק משקלים פתוחים לצד כלים לפריסת המודל.
ההיצע מאפשר למפתחים ולחברות ליצור יישומים קוליים ייעודיים ולהפעיל את המודל בסביבה מבוקרת. אפשרות לפריסה עצמאית עשויה להיות חשובה במיוחד עבור ארגונים המעוניינים בשליטה הדוקה יותר על אופן עיבוד נתוני הקול. בין היישומים האפשריים ניתן למנות עוזרים קוליים, מוקדי שירות, מערכות רכב, דמויות אינטראקטיביות ויישומים נוספים הדורשים תקשורת מהירה ודו-כיוונית עם בינה מלאכותית.
השקת Nemotron 3 VoiceChat משקפת מגמה רחבה יותר בתעשייה, שבה צ’אטבוטים מסורתיים מתפתחים לכיוון של סוכני בינה מלאכותית קוליים. סוכנים אלה אינם מסתפקים במענה על שאלות, אלא יכולים גם להתחבר למערכות חיצוניות ולבצע פעולות. NVIDIA מתמקדת בשילוב בין שיחה קולית טבעית בזמן אמת לבין האפשרות להשתמש בכלים ובאפליקציות מחוברים.
