Technical Fundamentals of Generative AI

בבלוג הבא אסכם לכם כל מה שחשוב לדעת בעידן ה Ai, סיכום התוכן של הקורס של אוניברסיטת סטנפורד.

סיכום: מושגים טכניים מרכזיים — Fundamentals of Large Language Models

פרמטרים (Parameters) – אלו למעשה “משקולות” מספריות שהמודל לומד ומעדכן במהלך האימון. הן משפיעות על הדרך שבה המודל מגיב ומקבל החלטות.
נוירונים מלאכותיים (Artificial Neurons) – יחידות חישוב קטנות שמבצעות פעולות מתמטיות פשוטות באמצעות הפרמטרים של המודל.
דוגמאות אימון (Training Examples) – המידע שממנו המודל לומד. הדוגמאות עוזרות לו להבין דפוסים ולעדכן את הפרמטרים שלו.
אימון (Training) – תהליך מחזורי שבו:
המודל מנבא תשובה → משווה אותה לתוצאה הרצויה → ומעדכן את עצמו בהתאם.
Transformer – ארכיטקטורת רשת נוירונים מתקדמת שעליה מבוססים רוב מודלי ה־AI המודרניים, כולל ChatGPT.
מודלי AI מודרניים:
- אינם מבוססים על “חוקים קשיחים” כמו תוכנה רגילה.
- ואינם שולפים תשובות מתוך בסיס נתונים קלאסי וקריא.

סיכום: Fine-Tuning

Self-Supervision (למידה עצמית) – המודל לומד באמצעות חיזוי והשלמה של טקסטים מתוך דוגמאות קיימות.
Generation (יצירה) – כאשר המודל עונה, הוא למעשה ממשיך את רצף הטקסט בצורה שנראית הגיונית ומתאימה להקשר.
Transformer – רוב מודלי השפה כיום בנויים על ארכיטקטורת Transformer, שמאפשרת להבין קשרים והקשרים בין מילים ומשפטים.
Pretraining לעומת Fine-Tuning:
- Pretraining – שלב שבו המודל לומד ידע כללי רחב על העולם מתוך כמויות עצומות של מידע.
- Fine-Tuning – שלב התאמה למשימה ספציפית, כמו מכירות, שירות לקוחות או תמיכה טכנית.
דאטה ל־Fine-Tuning יכול לכלול:
- מידע מתויג (נכון / לא נכון)
- טקסט חופשי
- או שילוב של השניים

סיכום: שימוש במודלי שפה

מודלי שפה הם מערכות שלומדות לייצג מידע ודפוסים מתוך כמויות גדולות של דאטה.
הדרך שבה כותבים פרומפט משפיעה משמעותית על איכות וסגנון התשובה של המודל.
In-Context Learning (למידה בתוך ההקשר) – הפרומפט עצמו יכול לשנות זמנית את ההתנהגות של המודל ולייצר “מצב עבודה” מסוים.
שיטות כמו:
- Step-by-Step
- Chain-of-Thought
עוזרות למודל לפתור בעיות מורכבות בצורה מסודרת, מדויקת והגיונית יותר.

:RAG (Retrieval-Augmented Generation) : סיכום

היא שיטה שבה מודל לא מסתמך רק על הידע שעליו אומן, אלא שולף מידע רלוונטי ממקורות חיצוניים

(CRM, מיילים ומסמכים) ואז מייצר תשובה מדויקת על בסיס המידע הזה

:התוצאה

עלויות נמוכות יותר (אפשר להשתמש במודלים קטנים), פחות טעויות, וערך עסקי אמיתי

בעולם המכירות זה מתורגם למודל שמבין את הלקוח לעומק, משפר שיחות בזמן אמת, מקצר מחזורי מכירה

.ומאפשר פרסונליזציה אמיתית, מה שנותן יתרון תחרותי ברור לאנשי מכירות

מושג ב־Deep Learning שנקרא Representation Learning.

בפשטות:

מודלים מאמנים על המון דאטה כדי ללמוד “ייצוגים” טובים של מידע (כלומר איך להבין תמונות/נתונים בצורה כללית), ולא רק משימה אחת ספציפית.

המטרה היא שהמודל ילמד מאפיינים כלליים שאפשר להשתמש בהם אחר כך להרבה משימות שונות (למשל זיהוי אובייקטים, סיווג תמונות וכו’).

דוגמאות:

מודלים של תמונות בלבד כמו DINOv2
מודלים שמשלבים תמונה וטקסט כמו CLIP

בקיצור: במקום ללמד מודל משימה אחת, מלמדים אותו להבין את העולם בצורה כללית ואז משתמשים בזה להרבה משימות.

סיכום - Segment Anything Model (SAM) - מודל של Meta שיודע להפריד (לסגמנט) אובייקטים מתוך תמונה.

מה זה אומר בפשטות:

אתה נותן לו תמונה, והוא יודע לזהות ולבודד דברים בתוכה (בן אדם, רכב, חפצים וכו’).

מה מיוחד בו:

עובד כמעט על כל סוג תמונה (“anything”)
אפשר לתת לו רמז קטן (כמו קליק על אובייקט) והוא יבין מה לחתוך
לא צריך לאמן אותו מחדש לכל משימה

למה זה חזק:

במקום לבנות מודל לכל מקרה, יש מודל אחד שעובד כמעט על הכל.

שימושים:

עריכת תמונות
ראייה ממוחשבת
רכבים אוטונומיים
זיהוי אובייקטים

בקיצור: מודל שיודע “לגזור” דברים מתוך תמונה בצורה חכמה וגמישה.

מה זה Foundation Models (מודלי יסוד)?

אלו מודלי AI ענקיים שמאומנים על כמויות עצומות של מידע (טקסט, תמונות, קוד וכו’) ואז יכולים לשמש כבסיס להרבה משימות שונות, כמו שיחה, תרגום, כתיבה, סיכום, יצירת תמונות ועוד.

דוגמאות: מודלים כמו GPT, Claude, Gemini.

הרעיון המרכזי:

במקום לבנות מודל נפרד לכל משימה, יש “מודל בסיס” אחד גדול שממנו מתאימים (fine-tune או prompting) לכל שימוש.

מה זה Diffusion Models?

אלו מודלים ליצירת תמונות (כמו ב־DALL·E, Midjourney, Stable Diffusion), שעובדים בתהליך דו-שלבי:

1. תהליך אימון (Training)

לוקחים תמונות אמיתיות
מוסיפים להן בהדרגה רעש (noise)
עד שהן נהיות כמו "שלג" אקראי
המודל לומד איך להפוך רעש חזרה לתמונה

2. יצירה (Generation)

מתחילים מרעש אקראי
המודל מסיר רעש צעד־אחר־צעד
עד שנוצרת תמונה שנראית אמיתית ומתאימה לטקסט

סיכום מושגים :

מהי בינה מלאכותית (AI)?

בינה מלאכותית היא תחום במדעי המחשב שמטרתו לאפשר למכונות לבצע פעולות שבדרך כלל דורשות אינטליגנציה אנושית, כמו:

הבנת שפה
קבלת החלטות
זיהוי תמונות
ניתוח מידע
יצירת תוכן

Machine Learning – למידת מכונה

למידת מכונה היא שיטה שבה מחשבים לומדים מדוגמאות ומנתונים, במקום לקבל חוקים קבועים מראש.

המודל “מתאמן” על מידע קיים ומנסה לזהות דפוסים כדי לבצע תחזיות או לקבל החלטות.

Deep Learning – למידה עמוקה

תחום מתקדם בתוך Machine Learning המשתמש ברשתות נוירונים עמוקות כדי לפתור בעיות מורכבות במיוחד.

הטכנולוגיה הזו היא הבסיס לרוב מערכות ה־AI המתקדמות כיום.

Neural Networks – רשתות נוירונים

מודלים חישוביים שמדמים בצורה מסוימת את אופן הפעולה של המוח האנושי.

הרשת בנויה משכבות שמעבדות מידע ולומדות לזהות קשרים ודפוסים.

NLP – עיבוד שפה טבעית

Natural Language Processing הוא תחום ב־AI שמתמקד ביכולת של מחשבים להבין, לנתח ולייצר שפה אנושית.

דוגמאות:

צ׳אטבוטים
תרגום אוטומטי
סיכום טקסטים
ניתוח שיחות
זיהוי רגשות בטקסט

LLM – מודלי שפה גדולים

Large Language Models הם מודלים שאומנו על כמויות עצומות של טקסטים ויודעים:

לענות על שאלות
לכתוב תוכן
לתרגם
לסכם מידע
לייצר קוד

דוגמאות מוכרות:

Prompt

Prompt הוא ההוראה או השאלה שאנחנו כותבים למודל AI כדי לקבל תשובה.

איכות ה־Prompt משפיעה בצורה משמעותית על איכות התוצאה.

Prompt Engineering

היכולת לנסח Prompts בצורה חכמה ומדויקת כדי לקבל תשובות טובות יותר ממודלי AI.

זה הפך לאחד הכישורים החשובים בעולם העבודה החדש.

Training – אימון מודל

תהליך שבו מודל AI לומד מנתונים.

במהלך האימון המודל מנתח מידע, מזהה דפוסים ומשפר את היכולת שלו לבצע משימות.

Fine-Tuning

תהליך שבו לוקחים מודל קיים ומאמנים אותו עוד קצת על מידע ספציפי כדי להפוך אותו למומחה בתחום מסוים.

לדוגמה:

מודל שמותאם למכירות
מודל לשירות לקוחות
מודל משפטי או רפואי

Dataset

מאגר הנתונים שעליו המודל מתאמן.

איכות הדאטה משפיעה ישירות על איכות המודל.

Tokens

יחידות טקסט קטנות שמודל AI מעבד.

מודלים לא “קוראים” מילים כמו בני אדם, אלא מפרקים טקסט ל־Tokens.

Hallucinations

מצב שבו מודל AI ממציא מידע שנשמע אמין אך אינו נכון.

זו אחת המגבלות החשובות של מודלי AI כיום.

RAG – Retrieval-Augmented Generation

שיטה שמחברת מודל AI למידע חיצוני ועדכני בזמן אמת.

במקום להסתמך רק על מה שהמודל למד בעבר, הוא יכול “לשלוף” מידע חדש ממקורות נוספים.

Generative AI

תחום שמתמקד ביצירת תוכן חדש באמצעות AI:

טקסט
תמונות
וידאו
מוזיקה
קוד

Computer Vision

תחום שבו מחשבים לומדים להבין תמונות וסרטונים.

שימושים נפוצים:

זיהוי פנים
רכבים אוטונומיים
אבטחה
רפואה

Speech Recognition

יכולת של AI להבין דיבור אנושי ולהמיר אותו לטקסט.

Loss Function

מדד שמראה עד כמה המודל טועה במהלך האימון.

המטרה היא להקטין את הטעות כמה שיותר.

Gradient Descent

אלגוריתם שמטרתו למצוא את הערכים האופטימליים למודל על ידי הקטנת השגיאות בצורה הדרגתית.

Overfitting

מצב שבו המודל לומד “טוב מדי” את נתוני האימון, אבל מתקשה להתמודד עם מידע חדש.

מודלים פתוחים מול מודלים סגורים

Open Source Models

מודלים פתוחים שהקהילה יכולה להשתמש בהם ולשפר אותם.

דוגמה:

Llama by Meta

Proprietary Models

מודלים סגורים בבעלות חברות פרטיות.

דוגמאות:

AI Agents

מערכות AI שיכולות לבצע פעולות ומשימות באופן אוטונומי יחסית, כולל קבלת החלטות וביצוע תהליכים.

Automation

שימוש ב־AI כדי להפוך תהליכים לאוטומטיים, לחסוך זמן ולייעל עבודה.

Ethics in AI – אתיקה בבינה מלאכותית

תחום שמתמקד בשימוש אחראי ב־AI:

שמירה על פרטיות
מניעת הטיות
שקיפות
אמינות
שימוש הוגן בטכנולוגיה

Reinforcement Learning – למידת חיזוק

שיטת למידה שבה מודל AI לומד באמצעות ניסוי וטעייה.

המודל מקבל:

“פרס” על פעולה טובה
“עונש” על פעולה לא טובה

וכך הוא משתפר לאורך זמן.

דוגמאות:

משחקי מחשב
רובוטים
רכבים אוטונומיים
מערכות המלצה

RLHF – Reinforcement Learning from Human Feedback

שיטה שבה בני אדם מדרגים תשובות של מודל AI, והמודל לומד להשתפר לפי הפידבק האנושי.

כך מאמנים מודלים להיות:

מדויקים יותר
בטוחים יותר
טבעיים יותר בשיחה

זו אחת השיטות שבהן מאמנים מודלי שפה מתקדמים.

MCP – Model Context Protocol

פרוטוקול שמאפשר למודלי AI להתחבר בצורה מסודרת לכלים, מערכות ומקורות מידע חיצוניים.

בפועל, MCP מאפשר ל־AI:

לגשת למסדי נתונים
להשתמש בכלים
לעבוד מול APIs
לבצע פעולות במערכות ארגוניות

אפשר לחשוב על זה כ”שפה” שמאפשרת ל־AI לתקשר עם מערכות אחרות.

API – Application Programming Interface

ממשק שמאפשר למערכות שונות לדבר אחת עם השנייה.

בעולם ה־AI משתמשים ב־APIs כדי:

להתחבר למודלים
לשלוח בקשות
לקבל תשובות
לבצע אוטומציות

Vector Database

מסד נתונים מיוחד שנועד לאחסן מידע בצורה שמתאימה ל־AI.

במקום חיפוש רגיל לפי מילים, הוא מחפש לפי משמעות ודמיון סמנטי.

נפוץ מאוד במערכות RAG.

Embeddings

ייצוג מתמטי של טקסט, תמונה או מידע בצורה שמחשב יכול להבין.

Embeddings מאפשרים:

חיפוש חכם
המלצות
זיהוי דמיון בין טקסטים

Multimodal AI

מודלים שיודעים לעבוד עם כמה סוגי מידע יחד:

טקסט
תמונה
קול
וידאו

לדוגמה:

אפשר להעלות תמונה ולשאול עליה שאלות.

AI Agents

מערכות AI שיכולות לבצע משימות בצורה יחסית עצמאית.

Agent מתקדם יכול:

לתכנן פעולות
להשתמש בכלים
לקרוא מידע
לבצע משימות מרובות שלבים

Autonomous Agents

דור מתקדם יותר של Agents שפועלים כמעט ללא התערבות אנושית.

Context Window

כמות המידע שמודל AI יכול “לזכור” ולעבד בתוך שיחה אחת.

ככל שה־Context Window גדול יותר:

אפשר לעבוד על מסמכים ארוכים יותר
לנהל שיחות מורכבות יותר
לשמור יותר הקשר

Temperature

פרמטר שקובע כמה המודל יהיה:

יצירתי
מגוון
“חופשי” בתשובות שלו

Temperature נמוך:

תשובות מדויקות ויציבות

Temperature גבוה:

יותר יצירתיות וגיוון

Inference

שלב השימוש במודל אחרי האימון.

כלומר:

כאשר משתמש שואל שאלה והמודל מייצר תשובה — זו פעולת Inference.

Quantization

שיטה שמקטינה מודלי AI כדי שירוצו מהר יותר ויצרכו פחות משאבים.

מאוד חשוב להרצת מודלים על:

מחשבים אישיים
טלפונים
Edge Devices

Open Weights

מודלים שהחברה משחררת את המשקלים שלהם לציבור, כך שאפשר להריץ ולשפר אותם עצמאית.

Fine-Tuning vs RAG

Fine-Tuning

משנה את ההתנהגות והידע של המודל עצמו.

RAG

מחבר את המודל למידע חיצוני בזמן אמת.

היום ארגונים רבים מעדיפים RAG כי:

הוא זול יותר
מהיר יותר
מאפשר מידע עדכני

Hallucinations

כאשר מודל AI “ממציא” מידע שנשמע אמין אך אינו נכון.

זו אחת הבעיות המרכזיות בתחום.

Guardrails

מנגנוני הגנה שמטרתם למנוע מהמודל:

לייצר תוכן מסוכן
למסור מידע לא נכון
לחרוג מהנחיות

Prompt Chaining

טכניקה שבה מחלקים משימה מורכבת למספר Prompts קטנים ומחוברים.

כך משפרים:

דיוק
אמינות
תוצאות מורכבות

Chain of Thought

שיטה שבה המודל “חושב שלב אחרי שלב” כדי לפתור בעיה בצורה טובה יותר.

Synthetic Data

מידע שנוצר על ידי AI במקום על ידי בני אדם.

משמש לאימון מודלים כאשר חסר מידע אמיתי.

Edge AI

הרצת מודלי AI ישירות על מכשירים מקומיים במקום בענן.

לדוגמה:

טלפונים
מצלמות
רכבים

AGI – Artificial General Intelligence

רעיון של AI ברמה אנושית כללית שיכול לבצע כמעט כל משימה אינטלקטואלית כמו בן אדם.

נכון להיום עדיין לא קיים AGI אמיתי.

AI Alignment

תחום שמתמקד בכך שמודלי AI יפעלו בהתאם לערכים, מטרות ובטיחות אנושית.

AI Infrastructure

כל התשתיות שמאפשרות להריץ ולאמן AI:

GPUs
Data Centers
Cloud Platforms
מודלים
אחסון מידע

CoT (Chain-of-Thought), או בעברית "שרשרת מחשבה", היא טכניקה חזקה בעולם ה-AI שמאפשרת למודלי שפה גדולים לפתור בעיות מורכבות של היגיון, מתמטיקה ותכנון – פשוט על ידי כך שמכריחים אותם לחשוב בקול רם וצעד אחר צעד לפני שהם נותנים את התשובה הסופית.

כדי להבין את זה, תחשוב איך בן אדם פותר שאלת פסיכומטרי או בעיית חשבון מורכבת. אם אני אשאל אותך מיד "מה התוצאה?", הסיכוי שתטעה בחישוב בראש הוא גבוה. אבל אם תפרק את השאלה על דף ל-4 שלבים קטנים, תגיע לתשובה הנכונה בקלות. CoT זה בדיוק זה, רק עבור ה-AI.

CoT (שרשרת מחשבה) הוא הדרך שבה מודל ה-Reasoning חושב.

אם נחזור לדוגמה של המוח האנושי – Reasoning זו המטרה (היכולת לפתור בעיה לוגית מורכבת), ו-CoT זה הכלי (הפעולה של כתיבת שלבי הפתרון על דף, שלב אחר שלב, כדי לא לטעות).

טרנספורמר (Transformer) הוא בסך הכל מנוע המחשבה שמאחורי כל כלי ה-AI שאתה מכיר היום (כמו ChatGPT או Claude).

לפני שהמציאו אותו, ה-AI היה די טיפש. השינוי הגדול שלו מתמצה בשני דברים פשוטים:

הוא קורא את כל המשפט בבת אחת (במקום מילה אחר מילה): מודלים ישנים קראו כמו בני אדם, מילה אחרי מילה, ולכן שכחו את תחילת המשפט כשהגיעו לסופו. הטרנספורמר בולע את כל הטקסט במכה אחת.
הוא מבין הקשר (מנגנון ה-Attention): הוא יודע לקשר בין מילים רחוקות במשפט כדי להבין את הכוונה האמיתית.

דוגמה פשוטה: > במשפט "הלכתי לבנק כדי להפקיד כסף", הטרנספורמר מסתכל על המילה "בנק" ועל המילה "כסף" באותו שבריר שנייה. בזכות זה הוא מבין מיד שמדובר במוסד פיננסי, ולא ב"בנק" של מטרות בצבא או גדה של נהר.

מפוקח (Supervised) מול לא מפוקח (Unsupervised): ההבדל המרכזי הוא ה"תוויות" (Labels). למידה מפוקחת משתמשת בזוגות של קלט-פלט (דאטה מתויג שמראה למודל מה התשובה הנכונה), בעוד שלמידה לא מפוקחת מקבלת קלט בלבד ומנסה למצוא תבניות ומבנה בעצמה.