الآن ، لقد سمعت عن ChatGPT وإمكانيات إنشاء النصوص الخاصة به. لقد اجتاز امتحانًا في كلية إدارة الأعمال ، وأربك المعلمين الذين يتطلعون إلى اكتشاف الغشاشين وساعد الناس في صياغة رسائل البريد الإلكتروني لزملائهم في العمل وأحبائهم.
وقد أنجزت هذه المهام بشكل ملحوظ ، لأن الاختبارات والمقالات ورسائل البريد الإلكتروني تتطلب إجابات صحيحة. لكن كونك على صواب ليس حقًا الهدف من ChatGPT – إنه نتاج ثانوي لهدفه: إنتاج نص يبدو طبيعيًا.
إذن ، كيف تعمل روبوتات محادثة الذكاء الاصطناعي ، ولماذا تحصل على بعض الإجابات الصحيحة وبعض الإجابات خاطئة حقًا؟ هذه نظرة داخل الصندوق.
تشبه التقنية الكامنة وراء نماذج اللغات الكبيرة مثل ChatGPT ميزة النص التنبؤي التي تراها عند كتابة رسالة على هاتفك. سيقوم هاتفك بتقييم ما تم كتابته وحساب احتمالات ما من المرجح أن يتبعه ، بناءً على طرازه وما لاحظه من سلوكك السابق.
يعرف أي شخص مطلع على العملية عدد الاتجاهات المختلفة التي يمكن لسلسلة نصية أن تتفرع إليها.
على عكس ميزة النص التنبئي للهاتف ، يُقال إن ChatGPT توليدي (G في GPT). إنها لا تقدم تنبؤات لمرة واحدة. بدلاً من ذلك ، من المفترض إنشاء سلاسل نصية منطقية عبر جمل وفقرات متعددة. يُقصد بالمخرجات أن تكون منطقية وأن تقرأ كما لو أن شخصًا ما كتبها ، ويجب أن تتطابق مع الموجه.
إذن ما الذي يساعده في اختيار كلمة تالية جيدة ، ثم كلمة أخرى بعد ذلك ، وهكذا؟
المرجع الداخلي
لا توجد قاعدة بيانات للحقائق أو قاموس داخل الآلة لمساعدتها على “فهم” الكلمات. بدلاً من ذلك ، يتعامل النظام مع الكلمات رياضياً كمجموعة من القيم. يمكنك التفكير في هذه القيم على أنها تمثل بعض الجودة التي قد تتمتع بها الكلمة. على سبيل المثال ، هل كلمة مكاملة أم انتقادية؟ حلو أم حامض؟ منخفض أم مرتفع؟
من الناحية النظرية ، يمكنك تعيين هذه القيم أينما تريد وتجد أنك اقتربت من كلمة واحدة. إليك مثال خيالي لتوضيح الفكرة: تم تصميم المولد أدناه لإرجاع فاكهة مختلفة بناءً على الصفات الثلاث. حاول تغيير أي من الصفات لترى كيف يتغير الإخراج.
هذه التقنية تسمى تضمين كلمة، وهي ليست جديدة. نشأت في مجال اللغويات في الخمسينيات. بينما يستخدم المثال أعلاه ثلاث “صفات” فقط ، في نموذج لغوي كبير ، سيكون عدد “الصفات” لكل كلمة بالمئات ، مما يتيح طريقة دقيقة للغاية لتحديد الكلمات.
تعلم أن يكون لها معنى
عندما يكون النموذج جديدًا ، يتم تعيين الصفات المرتبطة بكل كلمة بشكل عشوائي ، وهذا ليس مفيدًا للغاية ، لأن قدرته على التنبؤ تعتمد على كونه مضبوطًا بدقة. للوصول إلى هناك ، يجب أن يتم التدريب عليه كثيراً من المحتوى. هذا هو كبير جزء من نموذج اللغة الكبير.
قد يتم تغذية نظام مثل ChatGPT بالملايين من صفحات الويب والمستندات الرقمية. (فكر في Wikipedia بالكامل ، ومواقع الأخبار الكبيرة ، والمدونات ، والكتب الرقمية.) وتنتقل الآلة عبر بيانات التدريب واحدة تلو الأخرى ، وتحجب كلمة في تسلسل ، وتحسب “تخمين” القيم التي تمثلها بشكل وثيق ما الذي يجب أن يوضع في الفراغ. عندما يتم الكشف عن الإجابة الصحيحة ، يمكن للآلة استخدام الفرق بين ما توقعته والكلمة الفعلية لتحسينها.
إنها عملية طويلة. لم تنشر OpenAI ، الشركة التي تقف وراء ChatGPT ، تفاصيل حول مقدار بيانات التدريب التي تم إدخالها إلى ChatGPT أو طاقة الكمبيوتر المستخدمة لتدريبها ، لكن الباحثين من Nvidia وجامعة ستانفورد ومايكروسوفت يقدرون أنه باستخدام 1024 وحدة معالجة رسومات ، 34 يومًا لتدريب GPT 3 ، سلف ChatGPT. قدر أحد المحللين أن تكلفة الموارد الحسابية لتدريب وتشغيل نماذج لغوية كبيرة يمكن أن تصل إلى الملايين.
يحتوي ChatGPT أيضًا على طبقة إضافية من التدريب ، يشار إليها بالتعلم المعزز من التغذية الراجعة البشرية. في حين أن التدريب السابق يدور حول جعل النموذج يملأ النص المفقود ، فإن هذه المرحلة تدور حول جعله يضع سلاسل متماسكة ودقيقة ومحادثة.
خلال هذه المرحلة ، يقوم الأشخاص بتقييم استجابة الآلة ، والإشارة إلى الإخراج غير الصحيح أو غير المفيد أو حتى غير المنطقي تمامًا. باستخدام التغذية الراجعة ، تتعلم الآلة التنبؤ بما إذا كان البشر سيجدون استجاباتهم مفيدة. تقول شركة أوبن إيه آي إن هذا التدريب يجعل مخرجات نموذجها أكثر أمانًا وأكثر صلة بالموضوع وأقل احتمالية لتهذيذ الحقائق. وقال الباحثون إن هذا هو ما يجعل استجابات ChatGPT تتماشى بشكل أفضل مع التوقعات البشرية.
في نهاية العملية ، لا يوجد سجل لبيانات التدريب الأصلية داخل النموذج. لا يحتوي على حقائق أو اقتباسات يمكن الإشارة إليها – فقط إلى أي مدى كانت الكلمات مرتبطة أو غير مرتبطة ببعضها البعض في العمل.
استخدام التدريب
تبين أن هذه المجموعة من البيانات قوية بشكل مدهش. عندما تكتب استعلامك في ChatGPT ، فإنه يترجم كل شيء إلى أرقام باستخدام ما تعلمته أثناء التدريب. ثم تقوم بنفس سلسلة العمليات الحسابية من أعلى للتنبؤ بالكلمة التالية في استجابتها. هذه المرة ، لا توجد كلمة مخفية لتكشف عنها ؛ انها تتوقع فقط.
بفضل قدرته على الرجوع إلى الأجزاء السابقة من المحادثة ، يمكنه مواكبة ذلك صفحة بعد صفحة من نص واقعي يبدو وكأنه إنسان يكون أحيانًا ، ولكن ليس دائمًا ، صحيحًا.
محددات
في هذه المرحلة ، هناك الكثير من الخلافات حول ماهية الذكاء الاصطناعي أو ما سيكون قادرًا عليه ، ولكن هناك شيء واحد متفق عليه جيدًا – وظهر بشكل بارز على واجهات ChatGPT و Google Bard و Microsoft Bing: لا ينبغي الاعتماد على هذه الأدوات عندما تكون الدقة مطلوبة.
النماذج اللغوية الكبيرة قادرة على التعرف عليها أنماط النصوليس الحقائق. وهناك عدد من الطرز ، بما في ذلك ChatGPT ، لديها تواريخ انقطاع للمعرفة ، مما يعني أنها لا تستطيع الاتصال بالإنترنت لتعلم معلومات جديدة. هذا على عكس برنامج Bing chatbot من Microsoft ، والذي يمكنه الاستعلام عن الموارد عبر الإنترنت.
يعد نموذج اللغة الكبير أيضًا جيدًا مثل المواد التي تم استخدامها لتدريبه. نظرًا لأن النماذج تحدد الأنماط بين الكلمات ، فإن تغذية نص AI خطير أو عنصري يعني أن الذكاء الاصطناعي سيتعلم أنماط نصية خطيرة أو عنصرية.
تقول شركة OpenAI إنها أنشأت بعض الحواجز لمنعها من تقديم ذلك ، وتقول ChatGPT إنها “مدربة على رفض الطلبات غير الملائمة” ، كما اكتشفنا عندما رفضت كتابة رسالة بريد إلكتروني غاضبة تطالب برفع زيادة. لكن الشركة تعترف أيضًا بأن ChatGPT ستظل أحيانًا “تستجيب للتعليمات الضارة أو تُظهر سلوكًا متحيزًا”.
هناك العديد من الطرق المفيدة للاستفادة من التكنولوجيا الآن ، مثل صياغة خطابات الغلاف أو تلخيص الاجتماعات أو التخطيط للوجبات. السؤال الكبير هو ما إذا كانت التحسينات في التكنولوجيا يمكنها تجاوز بعض عيوبها ، وتمكينها من إنشاء نص موثوق حقًا.
المنهجية
رسومات جويلا كارمان. في الرسم البياني “كبرياء وتحامل” ، تم إعطاء Google Bard و OpenAI GPT-1 و ChatGPT المطالبة “يرجى تلخيص الكبرياء والتحيز من قبل جين أوستن في جملة واحدة”. طُلب من BigScience Bloom إنهاء جملة “في رواية كبرياء وتحامل ، جين أوستن.” تم جمع جميع الردود في 11 مايو 2023. في رسم البريد الإلكتروني ، تم إعطاء OpenAI ChatGPT التوجيهات: “اكتب بريدًا إلكترونيًا إيجابيًا يطلب زيادة في الراتب” ، “اكتب بريدًا إلكترونيًا محايدًا يطلب زيادة” ، “اكتب بريدًا إلكترونيًا مضطربًا يطلب رفع “،” اكتب رسالة بريد إلكتروني غاضبة تطلب زيادة. ” تم جمع جميع الردود في 8 مايو 2023.
اكتشاف المزيد من ينبوع المعرفة
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.