רוב האנשים שמשתמשים ב-AI היום נוהגים במכונית פורמולה 1 עם רישיון לרכב לימודי. הם מכירים את ההגה ואת דוושת הגז, אבל אין להם מושג מה תיבת ההילוכים, הדיפרנציאל או כוח המשיכה עושים באמת. הסרטון הזה הוא המדריך החסר.
אריאל עובר על המילון המלא של מונחי AI מודרני—לא הבאזוורדים, אלא המנגנון שמתחת לפני השטח: מה זה מודל באמת, איך עובדים טוקנים, למה תשומת לב חשובה, מה מבדיל סוכן מצ’אטבוט, ולמה ה-AI שלכם “שוכח” דברים שהיו בשיחה לפני חמש דקות.
מה באמת קורה בתוך AI
המילה “AI” היא תווית, לא טכנולוגיה אחת. בשנות החמישים היא תיארה תוכנית שיודעת לבדוק אם מספר גדול מעשר. בתשעים היא תיארה את דיפ בלו שניצח את קספרוב. היום היא בדרך כלל מתייחסת למודלים גדולים של שפה (LLMs) שמייצרים טקסט טוקן אחרי טוקן.
מודל הוא לא קסם. הוא טבלה ענקית של פרמטרים—משקלים מתמטיים שלמדו במהלך האימון. כשאתם מקלידים פרומפט, המודל עושה דבר אחד ויחיד: חיזוי הטוקן הבא. הוא מנחש את המילה הבאה, ואז את הבאה, ואז הבאה. כל מה שנראה כמו חשיבה, תכנות או שיחה הוא רק הלולאה הזו רצה מהר מספיק כדי לרמות אתכם.
טוקנים, תשומת לב, והקשר
טוקן הוא היחידה הקטנה ביותר שהמודל סופר. באנגלית מילה היא בערך טוקן אחד עד טוקן וחצי. בעברית זה בדרך כלל שלושה עד חמישה טוקנים למילה בגלל התחביר והמורפולוגיה. זה חשוב כי אתם משלמים לפי טוקן, ופרומפטים בעברית יקרים יותר ממה שנראה ממבט ראשון.
תשומת לב (attention) היא הדרך שבה המודל מחליט אילו מילים קשורות זו לזו. כששואלים “מה הגיל של ST?” המודל נותן יותר תשומת לב למילים “גיל” ו-“ST” מאשר לשאר המשפט. ככל שהשיחה גדלה, תקציב התשומת לב מתפזר דליל יותר. מעבר לגודל הקשר מסוים המודל נכנס למה שאריאל קורא לו האזור הטיפש: הוא מפסיק לעקוב אחרי פרטים בדיוק, ומתחיל לנחש או להזות.
מודלים חסרי-זיכרון מול מערכות עם זיכרון
המודל עצמו אין לו זיכרון. כל בקשה אליו היא חסרת-מצב (stateless). מה שנותן לו זיכרון הוא ההרנס—התוכנה שיושבת בינכם לבין המודל. ההרנס שומרת את היסטוריית השיחה, קוראת קבצים, מנהלת כלים, ושולחת מחדש את ההקשר כדי שהמודל ירגיש כאילו הוא זוכר.
לכן אותו מודל יכול להתנהג אחרת לחלוטין ב-Claude Code, ב-Claude.ai, ב-Cursor, או בכל הרנס אחר. ספק המודל מספק את המוח. ההרנס מספק את הידיים, העיניים והמחברת.
סוכנים, כלים, וסביבה
סוכן הוא מודל שעטוף בהרנס עם זיכרון וכלים. כלים הם פונקציות שההרנס חושף למודל: קריאת קובץ, חיפוש ברשת, הרצת בדיקה, שאילתת מסד נתונים, שליחת הודעה. המודל לא קורא לכלים ישירות. הוא מוציא בקשה מובנית, ההרנס מפרשת אותה, מבצעת את הפעולה, והזנה את התוצאה חזרה כקלט חדש.
הסביבה היא העולם שבו הסוכן חי: מערכת הקבצים שלכם, קונטיינר Docker, VPS בענן, מסד נתונים לבדיקות. אם רוצים שהסוכן יהיה בטוח—תנו לו ארגז חול. אם רוצים שיהיה שימושי—תנו לו את הכלים וההקשר הנכונים. אם רוצים שיזכר מחר מה עשיתם היום—תרשמו את הדברים החשובים לקובץ או למסד נתונים. אל תצפו שהמודל יזכור את זה בחינם.
למה AI טועה, משקר ושוכח
שני מצבי כישלון חשובים כאן:
- שגיאות עובדתיות: המודל ממציא פונקציות, ממשקי API, ציטוטים או מספרי גרסאות כי הידע הפרמטרי שלו קפוא בתאריך האימון. התיקון הוא הקשר טרי: תיעוד, changelogs, קוד, או תוצאות חיפוש.
- שגיאות נאמנות: המודל סוטה מהמטרה המקורית כי תקציב התשומת לב מתפזר על שיחה ארוכה. התיקון הוא לדחוס או להפעיל מחדש את הסשן, ולהשתמש בהגדרות אוטו-קומפקט כדי שההרנס שמור סיכומים במקום לשאת כל טוקן עד סוף העולם.
🔥 Roast Corner
בואו נהיה כנים: תשעים אחוז מהאנשים שזורקים פרומפטים ל-ChatGPT לא יודעים מה זה טוקן. הם חושבים שהמודל “מבין” אותם. הוא לא. הוא תוכי סטטיסטי שאומן להשמיע בטוח, עוזר ולעתים מחניף.
הפשע האמיתי הוא לא שהאנשים בורים. הפשע הוא שהספקים מוכרים את הבורות הזו כיתרון. “פשוט תשאלו אותו מה שבא לכם!” לא. אם אתם לא יודעים מה זה חלון הקשר, פרומפט מערכת, וקריאת כלים, אתם לא משתמשים ב-AI. ה-AI משתמש בכם. וכשהוא מזייף API מיושן או כותב קובץ שלם במקום לערוך שלוש שורות, אתם מאשימים את המודל במקום לשאול את עצמכם על הזרימה שלכם.
אם אתם בונים עם AI ואתם לא יכולים להסביר את ההבדל בין stateless ל-stateful, טוקני קלט מול טוקני פלט, ולמה ההרנס שלכם קובע—אתם לא מהנדסי AI. אתם אנשים שמקלידים לצ’אטבוט ומקווים לטוב.
🤖 AI for Humans
הנה המסקנה המעשית: הפסיקו להתייחס למודל כאל בן אדם, והתחילו להתייחס אליו כאל מנוע חיזוי טוקנים מהיר מאוד, יקר מאוד, ובטוח בעצמו מאוד.
לפני הפרויקט הבא שלכם, ענו על שלוש שאלות:
- מה תקציב ההקשר שלי? דעו את גודל חלון ההקשר, העריכו את טוקני הקלט והפלט שלכם, ושמרו את הקבצים והמסמכים הרלוונטיים טעונים.
- איפה הזיכרון שלי? החליטו אם המצב חי בסשן, בקבצים כמו
claude.md, או במסד נתונים אמיתי. אם צריך את זה מחר—תרשמו אותו היום במקום יציב. - אילו כלים הסוכן צריך? תנו להרנס את הכלים המדויקים שהוא צריך—גישה לקבצים, חיפוש, הרצת בדיקות, ממשקי API—ותעבירו עבודה מסוכנת לארגז חול.
תעשו את השלושה האלה נכון, ואותו מודל בינוני ינצח מודל גדול בהרבה בתוך זרימת עבודה מבולבלת. תעשו אותם לא נכון, ואפילו המודל הכי מתקדם בעולם יאכזב אתכם.
💬 תגובות