שיתוף | Gemini 3.5 Transcribe

[הערשלה]

גוגל הציגה את Gemini 3.5 Transcribe, מודל בינה מלאכותית חדש מסדרת ה-Gemini המיועד להמרת דיבור לטקסט.

המודל נועד להמיר הקלטות שמע ודיבור חי ישירות לטקסט ערוך ומעוצב, תוך התמודדות עם רעשי רקע, מונחים מקצועיים ושיבושי דיבור טבעיים.

המודל החדש מפעיל למעשה את פיצ'ר Rambler, שהוצג לצד סדרת מכשירי Pixel 11 של גוגל במטרה לגשר על הפער בין אופן הדיבור הטבעי לבין כתיבה ערוכה ורהוטה.

ההכרזה הזו מרחיבה את יכולות הקלט הקולי בשירותי גוגל ומספקת למשתמשים ממשק מהיר ומדויק יותר להכתבה קולית, תמלול פגישות והפעלת סוכני קול.

המודל מתמודד באופן אוטומטי עם תיקונים עצמיים בעת הדיבור ומסיר מילות היסוס ורעשי מילוי קוליים, לצד תמיכה בהתאמה אישית של מילון מונחים לצורך זיהוי מדויק של שמות וז'רגון מקצועי.

המודל תומך בזיהוי ובתמלול של יותר מ-85 שפות, כולל התמודדות עם מבטאים שונים וניבים אזוריים. כמו כן, הוא מציע יכולת זיהוי והפרדה של עד שלושה דוברים שונים בהקלטות שמע קיימות עם חותמות זמן ברמת המילה, לצד תמיכה ניסיונית במספר דוברים גבוה יותר.

בין השפות הראשיות שהמודל מציע בסביבת Google AI Studio מצאנו גם עברית, לצד עשרות שפות נוספות. כלומר, יכולות התמלול הבסיסיות של המודל זמינות לדוברי עברית שניגשים אליו ישירות דרך הסביבה למפתחים.

ביצועים

לדברי החברה, Gemini 3.5 Transcribe מציג שיפור של 70% בזמן העיבוד עד להפקת הטקסט הסופי בהשוואה למודל הקודם Chirp 3.

על פי מדידות של Artificial Analysis, המודל משיג שיעור שגיאות מילים (WER) ממוצע של 4.0% בהזרמה חיה ו-2.6% בעיבוד קובצי שמע מוקלטים.

במבחן FLEURS הרב-לשוני עומד שיעור השגיאות על 5.50% בהזרמה חיה לעומת 7.32% במודל Chirp 3, ועל 5.04% בעיבוד קבצים מוקלטים.

יכולות נוספות ופיצ'ר ה-Rambler

המודל מציע שתי תצורות עבודה עיקריות עבור מפתחים ומערכות תוכנה: הזרמה דו-כיוונית בזמן אמת עם זמני תגובה נמוכים ליישומי שיחה, ועיבוד קובצי שמע מוקלטים מראש לצורך תמלול פגישות וניתוח שיחות שירות.

באנדרואיד מפעיל המודל את פיצ'ר Rambler במקלדת Gboard במכשירי Pixel 11, המאפשר למשתמשים לדבר בחופשיות בעוד המערכת מפיקה הודעה תמציתית ומלוטשת.
עם זאת, גוגל מציינת כי פיצ'ר Rambler כוונן לעבוד עם רשימה מצומצמת של שפות בלבד: אנגלית, ערבית, צרפתית, גרמנית, הינדי ושפות הודיות נוספות, איטלקית, יפנית, קוריאנית, פורטוגזית, רוסית וספרדית.עברית אינה נכללת ברשימה זו בשלב זה.

מנגד, הפיצ'ר תומך במעבר בין שפות באמצע הדיבור ומזהה את השינוי בעת עיבוד הטקסט.
המקלדת מציגה חיווי ברור בעת הפעלת הפיצ'ר, כאשר אותות השמע משמשים לתמלול בזמן אמת בלבד ואינם נשמרים או מאוחסנים בענן.

זמינות

Gemini 3.5 Transcribe זמין למפתחים בשני מודלים ייעודיים: gemini-3.5-transcribe-live להזרמה ו-gemini-3.5-transcribe לקבצים מוקלטים.

גוגל ציינה כי פיצ'ר Rambler יתרחב למכשירים תומכים נוספים בהמשך השנה, וכי יכולות התמלול של המודל יוטמעו בקרוב גם בדפדפן Chrome לצורך הזנת טקסט בכל שדה מקוון.

מקור