AI שמדבר כמו בשיחת טלפון.

[מאיר]

אני רוצה לפתח AI שיוכל לדבר איתך בלייב ממש כמו בשיחת פלאפון איתך רק שיהיה לו מצלמה שיתוף מסך. האם כדאי לעשות את זה בכלל?????????? וא"כ תנו עוד רעיונות...

[mont blanc]

@מאיר כתב:

אני רוצה לפתח AI שיוכל לדבר איתך בלייב ממש כמו בשיחת פלאפון איתך רק שיהיה לו מצלמה שיתוף מסך. האם כדאי לעשות את זה בכלל?????????? וא"כ תנו עוד רעיונות...

דבר ראשון AI שמדבר כמו בשיחת טלפון יש כבר שנים...
גימיני צאט gpt וסירי בזמנו... רק זה באפליקציה שלהם בטלפון.
וולעוד חברות.

ואת העניין של השיתוף מסך ומצלמה לא הבנתי מה אתה מתכוון שיעשה?

[מאיר]

@mont-blanc א' יעבוד למשתמשי נטפרי ו המצלמה והשיתוף מסך זה קולט את המצלמה בלייב הוא מזהה אותך ולפי זה הוא אומר למשל אתה שואל אותו מה אני מחזיק ביד הוא אומר לך משקפיים. (אם אתה מחזיק ביד משקפיים) הוא אומר לך משקפיים סתם נתתי רק דוגמה טיפשית אתה יכול להגיד לו לתרגם דברים ועוד... ובשיתוף מסך יש לך בעיה הוא עוזר לך פשוט לפתור את הבעיה אם זה במחשב אם זה באתרים תרגום ועוד (סירי קיים רק ב אפל.) (גימיני צאט gpt לא בנטפרי)

[mont blanc]

@מאיר כתב:

@mont-blanc א' יעבוד למשתמשי נטפרי ו המצלמה והשיתוף מסך זה קולט את המצלמה בלייב הוא מזהה אותך ולפי זה הוא אומר למשל אתה שואל אותו מה אני מחזיק ביד הוא אומר לך משקפיים. (אם אתה מחזיק ביד משקפיים) הוא אומר לך משקפיים סתם נתתי רק דוגמה טיפשית אתה יכול להגיד לו לתרגם דברים ועוד... ובשיתוף מסך יש לך בעיה הוא עוזר לך פשוט לפתור את הבעיה אם זה במחשב אם זה באתרים תרגום ועוד (סירי קיים רק ב אפל.) (גימיני צאט gpt לא בנטפרי)

אם יש לך את הכלים והידע לפיתוח תנסה...
מה שאתה מתאר זה פיתוח של AI מורכב מאד...

[מאיר]

@mont-blanc אני כבר יצרתי, הבעיה שאני רוצה להוסיף עוד דברים יש לך רעיונות?

[מאיר]

@antigravity מה אתה אומר?

[בינארי חכם]

@מאיר כתב:

אני כבר יצרתי, הבעיה שאני רוצה להוסיף עוד דברים יש לך רעיונות?

אם תפרסם נוכל לתת עוד רעיונות...

[חובבן מקצועי]

@מאיר קצת מוזר (ומיותר) לפתח משהו שכבר קיים מלא זמן בגמיני (AI סטודיו, וגמיני עם דפדפן באנגלית) וGPT, אולי כדאי שתשקיע את הזמן בבקשות לנטפרי שיפתחו את זה..

[בינארי חכם]

אין את זה עדיין בארץ אבל יש את ג'מיני אטווטר וגם במק אפשר לשתף איתו מסך אז זה לכאורה מיותר

אבל זה מאוד חמוד ולא מופרך לי שאני אשתמש בזה אם זה יהיה מועיל..

[MAD]

@בינארי-חכם יש את זה כן
זה נמצא בכל אפליקציה וגם באתר של גימני
כמובן שלא עובד בנטפרי

[בינה יתרה]

מתריע מראש שזה הולך להיות קשה עד בלתי אפשרי (בכל אופן אם אתה שואף שזה יהיה ממש כמו מצב Live של Gemini, או Voice של ChatGPT).

ברמת הרעיון זה אמור להיות פשוט -
מיקרופון להאזנה,
עיבוד השמע לטקסט,
שליחה למודל שמע של גוגל\OpenAI,
עיבוד הטקסט,
קבלת רצועת שמע קולית והשמעה.

הקשיים המרכזיים שיש בזה, שעל חלקם אתה יכול להתגבר ועל חלקם לא:

1. השהייה. ייקח למודל הרבה זמן להחזיר תשובת שמע לאחר כל שאלה. גוגל ו-OpenAI עבדו קשה שכל המהלך הזה יעבוד בשנייה - ויהיה לך קשה לחקות אותם...
2. זיהוי סוף דיבור. קצת מסובך אבל אפשרי לאמן את המודל לזהות מתי סיימת לדבר בשביל לשלוח למודל הקולי את הטקסט ולהתחיל את התהליך.
3. סינון רעשים. להתעלם מכל הרעשי רקע (ומקולות של אנשים אחרים - ) גוגל ו-OpenAI עבדו גם על זה מלא.
   (אם תשים לב, לפחות בגוגל, הוא מקשיב רק למי שהוא שמע את הקול שלו הראשון...)
4. מניעת פידבק. היות והמיקרופון פעיל כל הזמן, צריך לוודא שהמיקרופון לא מאזין לדיבור של המודל עצמו.

בקיצור יש לך הרבה עבודה, בכל אופן אם זה מגיע לכדי תוצר מוגמר כולנו נשמח שתעלה אותו כאן.

[MAD]

@בינה-יתרה
מאיר לא דיבר על מודל דיבור אלא יותר על מודל של שיתוף מסך ומצלמה
כי דיבור הרבה הרבה יותר קל

@בינה-יתרה כתב:

(אם תשים לב, לפחות בגוגל, הוא מקשיב רק למי שהוא שמע את הקול שלו הראשון...)

וזה לגמרי לא נכון

[מוקד המערכות]

@מאיר https://bina.top/topic/287/להורדה-בניתי-קובץ-html-קל-ונוח-לשימוש-במודלי-live-של-gemini/3

[בינארי חכם]

@מוקד-המערכות

אין שם שיתוף מסך וזה מאוד מוסיף