تم تجميع هذه المقالة من مقابلة بودكاست مع الرئيس التنفيذي لشركة Anthropic Dario Amodei.
أنثروبيك هي الشركة التي تحتل المرتبة الثانية في حلبة LLM ، وقد أسسها داريو أمودي في يناير 2021. في يوليو من هذا العام ، أطلقت أنثروبيك أحدث جيل من طراز كلود 2. اعتاد داريو أمودي أن يكون نائب الرئيس للبحوث والسلامة في شركة OpenAI. أسس Anthropic لأنه يعتقد أن هناك العديد من مشكلات السلامة في النماذج الكبيرة التي تحتاج إلى حل عاجل. لذلك ، تولي Anthropic أهمية كبيرة لسلامة الذكاء الاصطناعي. الرؤية هي لبناء أنظمة ذكاء اصطناعي موثوقة (موثوقة) وقابلة للتفسير وقابلة للتفسير. يتمثل الاختلاف الأكبر بين المسارين Anthropic و OpenAI في تركيزهما على القابلية للتفسير.
في المقابلة ، يشرح داريو تركيز أنثروبيك واستثماره في التفسير. تعد القابلية للتفسير إحدى الطرق المهمة لضمان سلامة النموذج ، ** على غرار إجراء فحوصات الأشعة السينية والتصوير بالرنين المغناطيسي على النموذج ، مما يتيح للباحثين فهم ما يحدث داخل النموذج وتحديد المصادر المحتملة للمخاطر. إن فهم سبب عمل قانون التوسع وكيفية تحقيق التوافق أمر لا ينفصل عن القابلية للتفسير. ** يؤمن داريو أن أمان الذكاء الاصطناعي والمحاذاة لهما نفس القدر من الأهمية. وبمجرد حدوث مشكلة في المحاذاة ، ينبغي إيلاء الاهتمام نفسه لقضايا سلامة الذكاء الاصطناعي الناتجة عن إساءة الاستخدام.
يعتقد داريو أن قدرة النموذج سوف تتحسن بشكل كبير في السنتين أو الثلاث سنوات القادمة ، وقد "يسيطر على المجتمع البشري" ، لكنه لا يمكنه المشاركة فعليًا في الروابط التجارية والاقتصادية. هذا ليس بسبب قدرة النموذج ، ولكن بسبب تنوع هذا الاحتكاك غير المرئي ، لا يستخدم الناس النماذج بكفاءة كافية لإدراك إمكاناتهم الحقيقية في الحياة الواقعية والعمل.
بالمقارنة مع الرؤساء التنفيذيين لمعظم شركات الذكاء الاصطناعي ، بالكاد يشارك داريو في المقابلات العامة ونادرًا ما يعبر عن آرائه على Twitter. أوضح داريو أن هذا هو اختياره النشط ، وهو يحمي قدرته على التفكير بشكل مستقل وموضوعي من خلال الابتعاد عن الأنظار.
فيما يلي جدول محتويات هذه المقالة ، ويوصى بقراءته مع النقاط الرئيسية.
👇
01 لماذا يعمل قانون التحجيم
02 كيف ستكون قدرة النموذج على قدم المساواة مع قدرة البشر؟
03 المحاذاة: التفسير هو "تصوير بالأشعة السينية" للنموذج
04 AGI Safety: AI Safety and Cyber Security
05 المتاجرة وصندوق المنافع طويلة الأجل
** لماذا يعمل قانون التوسع **
** دواركيش باتيل: من أين جاء إيمانك بقانون التوسع؟ لماذا تصبح قدرة النموذج أقوى مع زيادة حجم البيانات؟ **
** داريو أمودي: قانون القياس هو إلى حد ما ملخص تجريبي. نحن ندرك هذه الظاهرة من خلال بيانات وظواهر مختلفة ، ونلخصها على أنها قانون قياس ، ولكن لا يوجد تفسير مقبول بشكل عام وجيد بشكل خاص لشرحها. اشرح ما هو المبدأ الأساسي لوظيفتها هو. **
إذا كان علي تقديم تفسير ، فأنا شخصياً أتوقع أن هذا قد يكون مشابهاً للتوزيع طويل الذيل أو قانون القوة في الفيزياء. عندما يكون هناك العديد من الميزات (الميزات) ، عادةً ما تتوافق البيانات ذات النسبة الكبيرة نسبيًا مع القواعد والأنماط الأساسية الأكثر شيوعًا ، نظرًا لأن هذه الأنماط تظهر غالبًا ، يكون مقدار البيانات المقابل بشكل طبيعي أكبر ، في حين أن البيانات طويلة الذيل هي بشكل أساسي بعض قواعد أكثر تفصيلاً وتعقيدًا. ** على سبيل المثال ، عند التعامل مع البيانات المتعلقة باللغة ، يمكن ملاحظة بعض القواعد الأساسية في معظم البيانات ، مثل القواعد النحوية الأساسية مثل جزء من الكلام ، وبنية ترتيب الكلمات ، وما إلى ذلك ، والقواعد طويلة الذيل نسبيًا قواعد نحوية معقدة.
هذا هو السبب في أنه في كل مرة تزداد فيها البيانات بترتيب من حيث الحجم ، يمكن للنموذج تعلم المزيد من القواعد السلوكية. لكن ما لا نعرفه هو سبب وجود علاقة خطية كاملة بين الاثنين. استخدم كبير علماء الأنثروبيك ، جيرارد كابلان ، البعد الكسوري (Fractal Dimension) لشرح هذه المسألة. بالطبع ، يحاول أشخاص آخرون طرقًا أخرى للتحقق من قانون Sacling ، لكن ما زلنا لا نستطيع تفسير السبب حتى الآن.
** • البعد الفركتلي: **
اقترح عالم الرياضيات فيليكس هاوسدورف لأول مرة مفهوم البعد الفركتلي في عام 1918 ، والذي عُرف لاحقًا أيضًا باسم Hausdorff Dimension. يمكن استخدام البعد الكسري لوصف بنية علاقة الميزة المخفية في بيانات التعلم الآلي ، ويقدم نموذج تفسير رياضي وراء تأثير القياس ، وبالتالي يشرح لماذا يمكن لنماذج الذكاء الاصطناعي تحسين الأداء باستخدام المقياس.
** أيضًا ، حتى لو علمنا بوجود قانون تحجيم ، فمن الصعب التنبؤ بالتغييرات في القدرات المحددة للنموذج. في البحث عن GPT-2 و GPT-3 ، لا نعرف أبدًا متى يمكن للنموذج تعلم الحساب والبرمجة ، وتظهر هذه القدرات فجأة. ** الشيء الوحيد الذي يمكن التنبؤ به هو على المستوى العددي ، مثل قيمة الخسارة ، وتغير قيمة الانتروبيا ، وما إلى ذلك يمكن التنبؤ بها بدقة تامة ، ولكن يبدو الأمر كما لو أنه يمكننا إجراء إحصائيات حول بيانات الطقس والتنبؤ اتجاه تغير الطقس بأكمله ، ولكن من الصعب التنبؤ بالطقس ودرجة الحرارة في يوم معين.
** Dwarkesh Patel: لماذا أصبح للنموذج فجأة قدرة معينة؟ على سبيل المثال ، لم يفهم الجمع من قبل ، لكنه أتقن الآن القدرة على الحساب؟ ما سبب هذا التغيير؟ **
** داريو أمودي: ** هذا سؤال آخر ما زلنا نستكشفه. نحاول استخدام طريقة التفسير الآلي (التفسير الآلي) لشرح هذه المسألة ، وشرح الظواهر اللغوية بفكرة مشابهة لاتصال الدائرة ، يمكنك تخيل هذه الأشياء كدوائر متصلة واحدة تلو الأخرى.
هناك بعض الأدلة على أنه عندما يتم تغذية النموذج بشيء ما ، فإن احتمال إعطاء الإجابة الصحيحة يزداد فجأة ، ولكن إذا نظرنا إلى التغيير قبل أن يعطي النموذج الإجابة الصحيحة بالفعل ، فإننا نرى أن الاحتمال من مليون واحد على مائة ، مائة ألف صعد ببطء إلى واحد على الألف. في العديد من هذه الحالات ، يبدو أن هناك بعض العمليات التدريجية التي لم نلاحظها ، والتي لم نكتشفها بعد.
لا يمكننا التأكد مما إذا كانت "الدائرة" مثل "الإضافة" موجودة دائمًا منذ اليوم الأول ، ولكنها تغيرت تدريجيًا من ضعيف إلى قوي في عملية معينة ، بحيث يمكن للنموذج تقديم الإجابة الصحيحة. هذه أسئلة نريد الإجابة عليها من خلال إمكانية الشرح الآلي.
** • التفسير الآلي: **
تفسيرات الآلية هي دراسة الهندسة العكسية للشبكات العصبية ، والتي يمكن استخدامها لمساعدة الناس على فهم كيفية تعيين النموذج لإدخال المخرجات بسهولة أكبر ، وهي طريقة لإدراك قابلية تفسير النموذج. الهدف الرئيسي من إمكانية شرح الآلية هو فهم التعلم العميق كعلم طبيعي ، وذلك باستخدام بنية النموذج ومعلماته لشرح عملية صنع القرار ونتائج التنبؤ بالنموذج ، بحيث يمكن للمستخدمين البشريين فهم مبدأ العمل والتحقق منه. الموديل. ركز عملها المبكر على استخدام عامل المصفوفة وطرق تصور السمات لفهم التمثيلات في الطبقات الوسيطة للشبكات المرئية ، ومؤخراً ركز على تمثيلات الشبكات متعددة الوسائط ، فضلاً عن فهم مستوى المسار لخوارزميات الشبكة العصبية.
نشر Anthropic دراسة حول إمكانية تفسير الآلية "التفسير الآلي والمتغيرات وأهمية القواعد القابلة للتفسير".
** Dwarkesh Patel: هل هناك قدرات لا تأتي مع حجم النموذج؟ **
** Dario Amodei: قد لا تظهر إمكانات محاذاة النموذج والقدرات المتعلقة بالقيمة بشكل طبيعي مع حجم النموذج. ** تتمثل إحدى طرق التفكير في أن العملية التدريبية للنموذج هي أساسًا للتنبؤ بالعالم وفهمه ، ومسؤوليته الرئيسية هي الحقائق وليس الآراء أو القيم. ولكن هناك بعض المتغيرات المجانية هنا: ما الإجراء الذي يجب عليك اتخاذه؟ ما هي وجهة النظر التي يجب أن تتخذها؟ ما هي العوامل التي يجب الانتباه إليها؟ ولكن لا توجد مثل هذه البيانات التي يمكن للنموذج التعلم منها. لذلك ، أعتقد أن ظهور المحاذاة والقيم وما إلى ذلك أمر غير محتمل.
** Dwarkesh Patel: هل هناك احتمال أنه قبل أن تلحق قدرة النموذج بالذكاء البشري ، سيتم استخدام البيانات المتاحة للتدريب؟ **
** داريو أمودي: ** أعتقد أنه من الضروري التمييز ما إذا كانت هذه مشكلة نظرية أو حالة عملية. من وجهة نظر نظرية ، لسنا بعيدين عن نفاد البيانات ، لكن تحيزي الشخصي هو أنه من غير المحتمل. يمكننا إنشاء البيانات بعدة طرق ، لذلك لا تشكل البيانات عائقًا حقًا. هناك موقف آخر حيث نستخدم جميع موارد الحوسبة المتاحة ، مما يؤدي إلى تقدم بطيء في قدرات النموذج. كلا السيناريوهين ممكنان.
** وجهة نظري الشخصية هي أن هناك احتمالية كبيرة ألا يصاب قانون التوسع بالركود ، وحتى إذا كانت هناك مشكلة ، فمن المرجح أن يكون السبب في بنية الحوسبة. ** على سبيل المثال ، إذا استخدمنا LSTM أو RNN ، فسيتغير معدل تطور قدرة النموذج. إذا واجهنا عنق الزجاجة في تطور قدرات النموذج في كل موقف معماري ، فسيكون ذلك خطيرًا للغاية ، لأنه يعني أننا واجهنا مشكلة أعمق.
** • LSTMs ： **
يمكن لشبكات الذاكرة طويلة المدى (شبكات الذاكرة طويلة المدى) ، وهي شبكة RNN خاصة (شبكة عصبية دورية) ، تعلم التبعيات طويلة المدى ، وحل مشكلة RNN التقليدية في تعلم أنماط التسلسل الطويل ، واستخراج المدى الطويل والقصير بالتسلسل معلومات البيانات. قدرة التعلم وقدرة التمثيل لـ LSTM أقوى من قدرة RNN القياسية.
** أعتقد أننا وصلنا إلى مرحلة قد لا يكون فيها الحديث كثيرًا في الطبيعة عن ما يمكن أن يفعله النموذج وما لا يمكنه فعله. ** في الماضي ، كان الناس يحدون من قدرة النموذج ، معتقدين أن النموذج لا يستطيع إتقان القدرة على التفكير ، وتعلم البرمجة ، ويعتقدون أنه قد يواجه اختناقات في بعض الجوانب. على الرغم من أن بعض الناس ، بمن فيهم أنا ، لم يفكروا في ذلك من قبل ، لكن في السنوات القليلة الماضية ، أصبح هذا النوع من نظرية عنق الزجاجة أكثر شيوعًا ، وقد تغير الآن.
** إذا كان تأثير عملية تحجيم النموذج المستقبلي يشهد اختناقًا ، أعتقد أن المشكلة تأتي من تصميم وظيفة الخسارة الذي يركز على مهمة توقع الرمز المميز التالية. ** عندما نركز كثيرًا على قدرات التفكير والبرمجة ، فإن فقدان النموذج سيركز على الرموز المميزة التي تعكس هذه القدرة ، وستظهر الرموز المميزة للمشكلات الأخرى بشكل أقل تكرارًا (ملاحظة: مجموعة بيانات ما قبل التدريب الخاصة بـ سيعتمد النموذج على الأهمية التي يوليها العلماء لدرجة القدرات ، وضبط نسبتها) ** ، تولي وظيفة الخسارة اهتمامًا كبيرًا لتلك الرموز المميزة التي توفر معظم المعلومات ، بينما تتجاهل تلك الرموز المهمة بالفعل ، فقد تكون الإشارة مغمورة في الضوضاء. **
إذا ظهرت هذه المشكلة ، فنحن بحاجة إلى تقديم نوع من عملية التعلم المعزز. هناك أنواع عديدة من RL ، مثل التعلم المعزز من خلال التغذية المرتدة البشرية (RLHF) ، والتعلم المعزز للأهداف ، ومثل الذكاء الاصطناعي الدستوري ، والتعزيز (التضخيم) والنقاش (مناظرة) وما شابه. هذه هي طريقة محاذاة النموذج وطريقة تدريب النموذج. ** قد نضطر إلى تجربة العديد من الطرق ، لكن يجب أن نركز على الهدف من النموذج. **
تتمثل إحدى مشكلات التعلم المعزز في أنك بحاجة إلى تصميم وظيفة خسارة كاملة للغاية. تم بالفعل تصميم وظيفة الخسارة للتنبؤ بالرمز التالي ، لذلك إذا رأى المقياس في هذا الاتجاه الحد الأعلى ، فإن تطوير الذكاء الاصطناعي سوف يتباطأ.
** دواركيش باتيل: كيف بدأ فهمك للتوسع؟ **
** داريو أمودي: ** يمكن تتبع تشكيل رأيي تقريبًا من 2014 إلى 2017. لقد كنت مهتمًا بتطوير الذكاء الاصطناعي ، لكنني اعتقدت لوقت طويل أنه سيستغرق وقتًا طويلاً حتى يتم تطبيق الذكاء الاصطناعي حقًا ، حتى ظهور AlexNet. ثم انضممت إلى فريق مشروع Wu Enda في Baidu في ذلك الوقت ، وكانت هذه هي المرة الأولى التي اتصلت فيها بالذكاء الاصطناعي.
أنا أعتبر نفسي محظوظًا تمامًا ، على عكس الأكاديميين الآخرين في ذلك الوقت ، فقد تم تكليفي بإنشاء أنظمة التعرف على الكلام على أحدث طراز ، وكان هناك الكثير من البيانات ووحدات معالجة الرسومات المتاحة. ** خلال هذا المشروع ، أدركت بطبيعة الحال أن القياس هو حل جيد. تختلف هذه العملية أيضًا عن أبحاث ما بعد الدكتوراه ، فنحن لا نحتاج بالضرورة إلى ابتكار أفكار ذكية ومبتكرة لم يتم اقتراحها من قبل. **
خلال المشروع ، أحتاج فقط إلى إجراء بعض التجارب الأساسية ، مثل إضافة المزيد من الطبقات إلى RNN ، أو تعديل معلمات التدريب لمحاولة إطالة وقت تدريب النموذج. خلال هذه الفترة ، لاحظت عملية تدريب النموذج ورأيت متى يحدث ذلك المحاكاة. حاولت أيضًا إضافة بيانات تدريب جديدة ، أو تقليل جولات التدريب المتكررة ، ولاحظت تأثير هذه التعديلات على أداء النموذج. خلال هذه التجارب ، لاحظت بعض النتائج المنتظمة. ومع ذلك ، ليس من الواضح بالنسبة لي ما إذا كانت هذه التخيلات رائدة أو ما إذا كان الزملاء الآخرون قد توصلوا إلى اكتشافات مماثلة. بشكل عام ، هذه مجرد تجربتي المحظوظة كمبتدئ في الذكاء الاصطناعي. لا أعرف الكثير عن هذا المجال ، لكنني شعرت في ذلك الوقت أنه تم التحقق من صحة ذلك بالمثل في مجال التعرف على الكلام.
** تعرفت على إيليا قبل تأسيس OpenAI ، وأخبرني أنه "علينا أن ندرك أن هذه النماذج تريد التعلم فقط" ، هذا المنظور ألهمني إلى حد كبير ، وجعلني أدرك أن الملاحظة السابقة قد لا تكون الظاهرة كذلك مثيل عشوائي ولكنه حدث شائع. تحتاج هذه النماذج إلى التعلم فقط ، فنحن بحاجة فقط إلى توفير بيانات عالية الجودة وخلق مساحة كافية لها للعمل ، وستتعلم النماذج من تلقاء نفسها. **
** دواركيش باتيل: قلة من الناس استنتجوا وجهة نظر "الذكاء العالمي" مثلك وإيليا. ما رأيك في هذا السؤال بشكل مختلف عن الآخرين؟ ما الذي يجعلك تعتقد أن النماذج ستستمر في التحسن في التعرف على الكلام ، وبالمثل في مناطق أخرى؟ **
** داريو أمودي: ** لا أعرف حقًا ، عندما لاحظت لأول مرة ظاهرة مماثلة في مجال الكلام ، اعتقدت أنها مجرد قانون ينطبق على المجال الرأسي للتعرف على الكلام. بين عامي 2014 و 2017 ، جربت العديد من الأشياء المختلفة ولاحظت الشيء نفسه مرارًا وتكرارًا. على سبيل المثال ، لاحظت هذا في لعبة Dota ، على الرغم من أن البيانات المتوفرة في مجال الروبوتات محدودة نسبيًا والعديد من الناس غير متفائلين ، فقد لاحظت أيضًا ظاهرة مماثلة. ** أعتقد أن الناس يميلون إلى التركيز على حل المشكلات العاجلة. وقد ينتبهون أكثر لكيفية حل المشكلة نفسها في الاتجاه العمودي ، بدلاً من التفكير في مشكلات المستوى الأدنى في الاتجاه الأفقي ، حتى لا يفعلوا ذلك. النظر بشكل كامل في إمكانية تحجيم الجنس. على سبيل المثال ، في مجال الروبوتات ، قد تكون المشكلة الأساسية هي عدم كفاية بيانات التدريب ، ولكن من السهل استنتاج أن القياس لا يعمل. **
** Dwarkesh Patel: متى أدركت أن اللغة يمكن أن تكون وسيلة لإدخال كميات هائلة من البيانات في هذه النماذج؟ **
** داريو أمودي: ** أعتقد أن أهم شيء هو مفهوم التعلم الذاتي القائم على التنبؤ بالرمز التالي ، بالإضافة إلى عدد كبير من هياكل التنبؤ. هذا في الواقع مشابه لمنطق اختبار نمو الطفل. على سبيل المثال ، تدخل ماري إلى الغرفة وتضع شيئًا ، ثم يدخل تشاك ويحرك الشيء دون أن تلاحظ ماري ، ما الذي تعتقده ماري؟ لإكمال هذا النوع من التنبؤ ، يجب أن يحل النموذج المشكلات الرياضية والمشكلات النفسية وما إلى ذلك في نفس الوقت. لذا في رأيي ، لعمل تنبؤات جيدة ، عليك تغذية النموذج بالبيانات والسماح له بالتعلم دون أي قيود.
على الرغم من أن لدي شعورًا مشابهًا منذ وقت طويل ، إلى أن قام أليك رادفورد ببعض المحاولات على GPT-1 ، أدركت أنه لا يمكننا فقط تنفيذ نموذج بقدرة تنبؤية ، ولكن أيضًا جعله دقيقًا. إكمال أنواع مختلفة من المهام. أعتقد أن هذا الشيء يمنحنا إمكانية القيام بجميع أنواع المهام ، لنكون قادرين على حل جميع أنواع المشاكل بما في ذلك التفكير المنطقي. بالطبع ، يمكننا أيضًا الاستمرار في توسيع حجم النموذج.
• لا يزال أليك رادفورد ، مؤلف كتاب Sentiment Neuron ، سلف سلسلة GPT ، والمؤلف المشارك لسلسلة أوراق GPT ، يعمل في OpenAI.
** Dwarkesh Patel: كيف تعتقد أن التدريب النموذجي يتطلب الكثير من البيانات؟ هل يجب أن تقلق بشأن انخفاض كفاءة تدريب النموذج؟ **
** داريو أمودي **: لا يزال هذا السؤال قيد البحث. تقول إحدى النظريات أن حجم النموذج هو في الواقع 2-3 مرات من الحجم أصغر من الدماغ البشري ، لكن كمية البيانات المطلوبة لتدريب النموذج أكبر بثلاث إلى أربع مرات من كمية النص التي تمت قراءتها قبل 18 عامًا. إنسان قديم: من المحتمل أن يكون ترتيب الحجم ، وترتيب حجم البشر هو مئات الملايين ، في حين أن ترتيب حجم النماذج هو مئات المليارات أو التريليونات. كمية البيانات التي حصل عليها البشر ليست كبيرة ، لكنها كافية تمامًا للتعامل مع عملنا وحياتنا اليومية. ولكن هناك احتمال آخر ، بالإضافة إلى التعلم ، أن حواسنا تقوم بالفعل بإدخال المعلومات إلى الدماغ.
يوجد في الواقع تناقض هنا. النموذج الذي لدينا حاليًا أصغر من الدماغ البشري ، ولكنه يمكن أن ينجز العديد من المهام المشابهة لمهام الدماغ البشري. وفي نفس الوقت ، فإن كمية البيانات التي يتطلبها هذا النموذج أكبر بكثير من أن الدماغ البشري. لذلك ما زلنا بحاجة إلى الاستمرار في استكشاف وفهم هذه المشكلة ، ولكن إلى حد ما ، هذه ليست مهمة. ** الأهم من ذلك كيفية تقييم قدرة النموذج وكيفية الحكم على الفجوة بينها وبين البشر. بقدر ما أشعر بالقلق ، فإن الفجوة ليست بعيدة. **
** Dwarkesh Patel: هل التركيز على التوسع ، وعلى نطاق أوسع ، تقدم قدرة نموذج محرك الحوسبة واسعة النطاق يقلل من أهمية دور تقدم الخوارزميات؟ **
** Dario Amodei: ** عندما تم إصدار ورقة Transformer لأول مرة ، كتبت عن القضايا ذات الصلة وذكرت أن هناك 7 عوامل ذات صلة ستؤثر على تحسين قدرة النموذج ، منها 4 عوامل هي الأكثر وضوحًا وحساسية: مقدار معلمات النموذج ، مقياس قوة الحوسبة ، جودة البيانات ، ووظيفة الخسارة. على سبيل المثال ، تعتمد المهام مثل التعلم المعزز أو التنبؤ بالرمز التالي بشكل كبير على وجود وظيفة الخسارة الصحيحة أو آلية التحفيز.
** • التعلم المعزز (RL): **
ابحث عن المسار الأمثل للعمل لكل حالة معينة من البيئة من خلال عملية أساسية من التجربة والخطأ. سيقدم نموذج التعلم الآلي قاعدة عشوائية في البداية ، وفي نفس الوقت أدخل قدرًا معينًا من النقاط (يُعرف أيضًا باسم المكافآت) إلى النموذج في كل مرة يتم فيها اتخاذ إجراء.
** • دالة الخسارة (دالة الخسارة) ** في التعلم الآلي تشير إلى وظيفة قياس جودة الملاءمة ، والتي تُستخدم لتعكس درجة الاختلاف بين ناتج النموذج والقيمة الحقيقية ، أي لقياس التنبؤ خطأ ؛ بما في ذلك التنبؤ بجميع نقاط العينة خطأ ، مما يوفر قيمة واحدة لتمثيل الجودة الكلية للملاءمة ؛ في نفس الوقت ، أثناء عملية التدريب ، سيتم تعديل معلمات النموذج باستمرار وفقًا لقيمة وظيفة الخسارة ، في من أجل تقليل قيمة الخسارة والحصول على تأثير مناسب أفضل.
هناك أيضًا 3 عوامل:
الأول هو التماثلات الهيكلية ، فإذا لم تأخذ العمارة في الحسبان التناظر الصحيح ، فلن تعمل وستكون غير فعالة للغاية. على سبيل المثال ، تعتبر الشبكة العصبية التلافيفية (CNN) التناظر متعدية (التناظر الانتقالي) ، بينما تنظر LSTM في التناظر الزمني (التناظر الزمني) ، لكن المشكلة مع LSTM هي أنها لا تولي اهتمامًا للسياق ، وهذا الضعف الهيكلي شائع. إذا كان النموذج لا يستطيع فهم ومعالجة تاريخ الماضي الطويل (بالإشارة إلى البيانات التي ظهرت سابقًا في بنية بيانات التسلسل) لأسباب هيكلية ، فسيكون الأمر كما لو أن الحساب غير متماسك.
** • آدم （تقدير اللحظات التكيفية） ： **
تقدير اللحظة التكيفية ، تجمع خوارزمية آدم بين مزايا RMSprop و SGD ، ويمكنها التعامل مع مشاكل التحسين غير المحدبة بشكل جيد.
** • SGD （Stochastic Gradient Descent） ： **
نزول التدرج العشوائي ، طريقة تكرارية لتحسين وظيفة موضوعية بخصائص نعومة مناسبة مثل التفاضل أو التمايز الفرعي. يمكن اعتباره بمثابة تقريب عشوائي لتحسين نزول التدرج. في مشاكل التحسين عالية الأبعاد ، يقلل هذا من العبء الحسابي ويسمح بتكرار أسرع مقابل معدلات تقارب أقل.
ثم هناك الاستقرار العددي. يعد تحسين وظائف الخسارة أمرًا صعبًا عدديًا ويسهل تمييزه. هذا هو السبب في أن آدم يعمل بشكل أفضل من الأمراض المنقولة بالاتصال الجنسي العادية.
العنصر الأخير هو ضمان عدم إعاقة عملية حساب النموذج ، وعندها فقط يمكن أن تنجح الخوارزمية.
لذلك ، فإن تقدم الخوارزمية لا يقتصر فقط على تعزيز قوة الحوسبة للكمبيوتر ، ولكن أيضًا لإزالة العوائق المصطنعة للهندسة المعمارية القديمة. في كثير من الأحيان ، يريد النموذج التعلم والحساب بحرية ، فقط ليتم حظره من قبلنا دون علمنا.
** Dwarkesh Patel: هل تعتقد أنه سيكون هناك شيء من مقياس Transformer لدفع التكرار الكبير التالي؟ **
** داريو أمودي: ** أعتقد أنه ممكن. حاول بعض الناس محاكاة التبعيات طويلة المدى ، كما لاحظت أن بعض الأفكار في Transformer ليست فعالة بما يكفي لتمثيل الأشياء أو معالجتها. ** ومع ذلك ، حتى إذا لم يحدث هذا النوع من الابتكار ، فنحن نتطور بالفعل بسرعة. وإذا ظهر ، فسيؤدي ذلك إلى تطوير المجال بشكل أسرع ، وقد لا يكون التسارع كثيرًا ، لأن السرعة بالفعل سريعة جدًا . **
** Dwarkesh Patel: فيما يتعلق بالحصول على البيانات ، هل يجب أن يحتوي النموذج على ذكاء متجسد؟ **
** داريو أمودي: ** لا أميل إلى التفكير في الأمر على أنه معمارية جديدة ، بل وظيفة خسارة جديدة ، لأن البيئة التي يجمع فيها النموذج البيانات تصبح مختلفة تمامًا ، وهو أمر مهم لتعلم مهارات معينة. على الرغم من صعوبة جمع البيانات ، فقد أحرزنا على الأقل بعض التقدم على طريق جمع البيانات ، وسوف نستمر في المستقبل ، على الرغم من أنه لا يزال هناك المزيد من الاحتمالات التي يتعين تطويرها من حيث الممارسات المحددة.
• فقدان وظيفة:
إنه مفهوم مهم في التعلم الآلي والتعلم العميق. يتم استخدامه لقياس درجة الاختلاف بين نتيجة توقع النموذج والتسمية الحقيقية ، أي خطأ توقع النموذج. تم تصميم وظيفة الخسارة لتمكين النموذج من تقليل خطأ التنبؤ عن طريق ضبط المعلمات ، وبالتالي تحسين أداء ودقة النموذج.
** Dwarkesh Patel: هل هناك طرق أخرى مثل RL؟ **
** داريو أمودي: ** نحن نستخدم بالفعل طريقة RLHF للتعلم المعزز ، لكنني أعتقد أنه من الصعب التمييز ما إذا كان هذا هو المحاذاة أم القدرة؟ الاثنان متشابهان جدا نادرًا ما أحصل على عارضين لاتخاذ إجراءات عبر RL. يجب استخدام RL فقط بعد أن يكون لدينا النموذج يتخذ الإجراءات لفترة من الوقت ويفهم عواقب تلك الإجراءات. لذلك أعتقد أن التعلم المعزز سيكون قويًا للغاية ، ولكن لديه أيضًا الكثير من المشكلات الأمنية من حيث كيفية اتخاذ النماذج للإجراءات في العالم
التعلم المعزز هو أداة شائعة الاستخدام عندما يتم اتخاذ الإجراءات على مدى فترة زمنية طويلة ولا يتم فهم عواقب تلك الإجراءات إلا في وقت لاحق.
** Dwarkesh Patel: كيف تعتقد أنه سيتم دمج هذه التقنيات في مهام محددة في المستقبل؟ هل يمكن لنماذج اللغة هذه التواصل مع بعضها البعض وتقييم بعضها البعض والرجوع إلى نتائج البحث الخاصة بها وتحسينها؟ أم أن كل نموذج يعمل بشكل مستقل ويركز فقط على تقديم النتائج بنفسه دون التعاون مع النماذج الأخرى؟ هل ستكون هذه النماذج اللغوية عالية المستوى قادرة على تشكيل نظام تعاوني حقيقي في عملية التطوير والتطبيق في المستقبل ، أم أن كل نموذج سيقوم بعمله الخاص؟ **
** داريو أمودي: ** من المحتمل أن يحتاج النموذج إلى إكمال مهام أكثر تعقيدًا في المستقبل ، وهو اتجاه لا مفر منه. ومع ذلك ، لأسباب أمنية ، قد نحتاج إلى تقييد نطاق تطبيق نموذج اللغة إلى حد معين للتخفيف من المخاطر المحتملة. ** هل الحوار بين النماذج ممكن؟ هل هي مخصصة بشكل أساسي للمستخدمين البشريين؟ تتطلب هذه القضايا النظر في التأثيرات الاجتماعية والثقافية والاقتصادية التي تتجاوز المستوى التقني ، ويصعب التنبؤ بها بدقة.
** على الرغم من أنه يمكننا توقع اتجاه النمو لحجم النموذج ، إلا أنه من الصعب إجراء تنبؤات موثوقة بشأن مشكلات مثل توقيت التسويق أو نموذج الطلب. أنا لست جيدًا في التنبؤ بهذا النوع من اتجاهات التنمية المستقبلية بنفسي ، ولا يمكن لأحد أن يفعل ذلك جيدًا في الوقت الحالي. **
** كيف ستتطابق قدرة النموذج مع قدرة البشر؟ **
** Dwarkesh Patel: إذا أخبرني شخص ما في عام 2018 أنه سيكون لدينا طراز مثل Claude-2 في عام 2023 مع جميع أنواع القدرات الرائعة ، فأنا بالتأكيد أعتقد أن الذكاء الاصطناعي العام قد تحقق في عام 2018. لكن من الواضح ، على الأقل في الوقت الحالي ، وربما حتى في الأجيال القادمة ، أننا ندرك جيدًا أنه ستظل هناك اختلافات بين الذكاء الاصطناعي والمستويات البشرية. لماذا هذا التناقض بين التوقعات والواقع؟ **
** داريو أمودي: ** أنا جديد على GPT-3 ، وفي المراحل الأولى من الأنثروبيك ، شعوري العام تجاه هذه النماذج هو: يبدو أنهم يفهمون حقًا جوهر اللغة ، لست متأكدًا من أننا بحاجة إلى توسيع النموذج إلى أي مدى ، ربما نحتاج إلى إيلاء المزيد من الاهتمام لمجالات أخرى مثل التعلم المعزز. في عام 2020 ، أعتقد أنه من الممكن زيادة حجم النموذج بشكل أكبر ، ولكن مع تعمق البحث ، بدأت أفكر فيما إذا كان من الأفضل إضافة تدريب مستهدف آخر بشكل مباشر مثل التعلم المعزز.
** لقد رأينا أن الذكاء البشري هو في الواقع نطاق واسع جدًا ، لذا فإن تعريف "الآلات التي تصل إلى المستوى البشري" هو بحد ذاته نطاق ، والمكان والزمان اللذان يمكن للآلات تحقيق مهام مختلفة فيهما مختلفان. في كثير من الأحيان ، على سبيل المثال ، اقتربت هذه النماذج من الأداء البشري أو تجاوزته ، لكنها لا تزال في مهدها عندما يتعلق الأمر بإثبات نظريات رياضية بسيطة نسبيًا. كل هذه تظهر أن الذكاء ليس طيفًا مستمرًا (طيفًا). ** هناك أنواع مختلفة من المعرفة والمهارات المهنية في مختلف المجالات ، كما أن أساليب الذاكرة مختلفة. إذا سألتني قبل 10 سنوات (ملاحظة صغيرة: كان داريو لا يزال يدرس الفيزياء وعلم الأعصاب في ذلك الوقت) ، لم أكن أتخيل أن هذا سيكون هو الحال.
** Dwarkesh Patel: ما مدى التداخل في نطاق المهارات الذي تعتقد أن هذه النماذج ستظهره من توزيع التدريب الذي تحصل عليه هذه النماذج من الكم الهائل من بيانات الإنترنت التي يحصل عليها البشر من التطور؟ **
** داريو أمودي: ** هناك تداخل كبير. تلعب العديد من النماذج دورًا في التطبيقات التجارية ، مما يساعد بشكل فعال البشر على تحسين الكفاءة. نظرًا لتنوع الأنشطة البشرية ووفرة المعلومات على الإنترنت ، أعتقد أن النماذج تتعلم إلى حد ما النماذج المادية للعالم الحقيقي ، لكنها لا تتعلم كيفية العمل في الواقع الفعلي ، وهي مهارات قد تكون سهلة نسبيًا صقل. أعتقد أن هناك بعض الأشياء التي لا تتعلمها النماذج ، لكن البشر يفعلونها.
** دواركيش باتيل: هل يمكن للنماذج أن تتفوق على البشر في العديد من المهام المتعلقة بالأعمال والاقتصاد في السنوات القليلة المقبلة؟ في الوقت نفسه ، قد تظل النماذج أدنى من البشر في بعض المهام ، وبالتالي تجنب انفجار ذكاء مماثل؟ **
** داريو أمودي: ** هذا السؤال يصعب التكهن به. ما أريد أن أذكره هو أن قانون القياس قد يوفر بعض أفكار التنبؤ من منظور الأساس النظري ، ولكن سيكون من الصعب جدًا فهم تفاصيل التطوير المستقبلي. ** قد يستمر تطبيق قانون التوسع ، بالطبع ، وما إذا كانت عوامل الأمان أو العوامل التنظيمية ستبطئ التقدم ، ولكن إذا تم وضع هذه الاحتكاكات جانبًا ** ، أعتقد أنه إذا كان بإمكان الذكاء الاصطناعي المضي قدمًا في إنشاء القيمة الاقتصادية ، فيجب عليه تحقيق تقدم أكبر سيتم في المزيد من المجالات.
لا أرى أداء النموذج ضعيفًا بشكل خاص في أي مجال ، أو لا يحرز أي تقدم على الإطلاق. مثل الرياضيات والبرمجة في الماضي ، فهي صعبة ولكنها تحقق أيضًا نتائج غير متوقعة. في الأشهر الستة الماضية ، حقق نموذج 2023 تقدمًا كبيرًا مقارنةً بنموذج 2022. على الرغم من أن أداء النموذج في مختلف المجالات والمهام غير متوازن تمامًا ، فإن تحسين القدرة الكلية سيفيد بالتأكيد جميع المجالات.
** Dwarkesh Patel: عند مواجهة مهمة معقدة ، هل يمتلك النموذج القدرة على أداء سلسلة من الأفكار في سلسلة من المهام المستمرة؟ **
** داريو أمودي: ** تعتمد القدرة المستمرة على اتخاذ القرار على تدريب التعلم المعزز ، بحيث يمكن للنموذج أداء مهام طويلة المدى. ** ولا أعتقد أن هذا يتطلب نطاقًا أكبر من قوة الحوسبة الإضافية ، فالتفكير على هذا النحو يعد تقديراً خاطئاً لقدرة النموذج على التعلم. **
إن مسألة ما إذا كانت النماذج ستتفوق على البشر في بعض المجالات ولكنها تكافح من أجل القيام بذلك في مجالات أخرى ، أعتقد أنه معقد ، وفي بعض المجالات قد يكون صحيحًا ، لكن في بعض المجالات لن يكون ذلك لأن العالم المادي ينطوي على مهام استخباراتية مجسدة في
إذا ما هو التالي؟ هل يمكن أن يساعدنا الذكاء الاصطناعي في تدريب ذكاء اصطناعي أسرع يمكنه حل هذه المشكلات؟ هل العالم المادي لم يعد بحاجة؟ هل نحن قلقون بشأن قضايا المحاذاة؟ هل هناك مخاوف بشأن سوء الاستخدام مثل صنع أسلحة دمار شامل؟ هل يجب أن نقلق من أن الذكاء الاصطناعي نفسه سيتولى مباشرة أبحاث الذكاء الاصطناعي المستقبلية؟ هل نحن قلقون من أنها ستصل إلى حد معين من الإنتاجية الاقتصادية حيث يمكنها أداء مهام مثل المتوسط؟ ... أعتقد أن هذه الأسئلة قد يكون لها إجابات مختلفة ، لكنني أعتقد أنها ستكون كلها في غضون بضع سنوات.
** دواركيش باتيل: إذا كان كلود موظفًا في أنثروبيك ، فماذا سيكون راتبه؟ هل يسرع من تطور الذكاء الاصطناعي بالمعنى الحقيقي؟ **
** داريو أمودي: ** بالنسبة لي ، ربما يكون متدربًا في معظم الحالات ، لكنه لا يزال أفضل من متدرب في بعض المجالات المحددة. لكن بشكل عام ، قد يكون من الصعب إعطاء إجابة مطلقة على هذا الأمر ، لأن النماذج ليست بشرًا في الطبيعة ، ويمكن تصميمها للإجابة على سؤال واحد أو بضعة أسئلة ، ** ولكن على عكس البشر ، ليس لديهم مفهوم "الخبرة على أساس الوقت". **
** إذا أراد الذكاء الاصطناعي أن يصبح أكثر كفاءة ، فعليه أولاً مساعدة البشر على تحسين إنتاجيتهم ، ثم الوصول تدريجيًا إلى نفس المستوى من الإنتاجية البشرية. الخطوة التالية بعد ذلك هي أن تكون قوة رئيسية في تقدم العلم ، وهو ما أعتقد أنه سيحدث في المستقبل. لكني أظن أن تفاصيل ما حدث بالفعل في المستقبل ستبدو غريبة بعض الشيء الآن ، مختلفة عن النماذج التي توقعناها. **
** دواركيش باتيل: متى برأيك ستصل قدرة النموذج إلى المستوى البشري؟ ماذا سيكون عليه الحال بعد ذلك؟ **
** داريو أمودي: ** يعتمد على مدى ارتفاع أو انخفاض التوقعات البشرية والمعايير. على سبيل المثال ، إذا كانت توقعاتنا هي فقط أن يتواصل النموذج لمدة ساعة واحدة ، ويمكن للنموذج أن يتصرف كإنسان متعلم جيدًا أثناء العملية ، فإن الهدف من جعل النموذج يصل إلى المستوى البشري قد لا يكون بعيدًا ، أعتقد ذلك قد يكون ممكنا في 2 إلى 3 سنوات سيتحقق. ** يتأثر هذا الجدول الزمني إلى حد كبير بقرار شركة أو صناعة لإبطاء التنمية أو القيود الحكومية لأسباب تتعلق بالسلامة. ** ولكن من منظور البيانات وقوة الحوسبة واقتصاد التكلفة ، لسنا بعيدين عن هذا الهدف. **
ولكن حتى لو وصل النموذج إلى هذا المستوى ، ** لا أعتقد أن النموذج يمكن أن يهيمن على غالبية أبحاث الذكاء الاصطناعي ، أو أن يغير بشكل كبير الطريقة التي يعمل بها الاقتصاد ، كما أنه ليس خطيرًا بشكل كبير. على العموم ، تتطلب المعايير المختلفة جداول زمنية مختلفة لتحقيقها ، ولكن من منظور تقني بحت ، ليس بعيدًا عن تحقيق نموذج يمكن مقارنته بإنسان متعلم أساسي. **
** Dwarkesh Patel: لماذا يمكن للنموذج أن يحقق نفس قدرة الإنسان بالتعليم الأساسي ، لكن لا يمكنه المشاركة في الأنشطة الاقتصادية أو استبدال دور الإنسان؟ **
** داريو أمودي: ** أولاً وقبل كل شيء ، ربما لم يصل النموذج إلى مستوى عالٍ بما يكفي. ** هل ستكون قادرة على تسريع إنتاجية 1000 عالم جيد إلى حد كبير في مجال مثل أبحاث الذكاء الاصطناعي؟ الميزة النسبية للنموذج في هذا الصدد ليست واضحة بعد. **
في الوقت الحالي ، لم تحقق النماذج الكبيرة اكتشافات علمية مهمة ، ربما لأن مستوى هذه النماذج ليس مرتفعًا بما يكفي ، وقد يكون أداء هذه النماذج مكافئًا فقط للمستوى B أو المستوى B. لكنني أعتقد أن هذا سيتغير مع مقياس النموذج. النماذج تقود مجالات أخرى في الحفظ ، ودمج الحقائق ، وإقامة الروابط. خاصة في مجال علم الأحياء ، نظرًا لتعقيد الكائنات الحية ، جمعت النماذج الحالية قدرًا كبيرًا من المعرفة. الاكتشاف والاتصال مهمان في هذا المجال. على عكس الفيزياء ، يتطلب علم الأحياء الكثير من الحقائق ، وليس فقط الصيغ. لذلك أنا متأكد من أن النماذج لديها بالفعل الكثير من المعرفة ، لكن لم تكن قادرة على تجميعها جميعًا لأن مستوى المهارة لا يصل إلى المستوى المطلوب. أعتقد أنهم يتطورون تدريجياً لدمج هذه المعرفة على مستوى أعلى.
سبب آخر هو أن هناك العديد من الاحتكاكات غير المرئية في أنشطة الأعمال الفعلية التي لا يمكن أن يتعلمها النموذج. على سبيل المثال ، من الناحية المثالية ، يمكننا استخدام روبوتات الذكاء الاصطناعي للتفاعل مع العملاء ، لكن الموقف الفعلي أكثر تعقيدًا بكثير من النظرية ، ولا يمكننا الاعتماد ببساطة على روبوتات خدمة العملاء أو نأمل أن يحل الذكاء الاصطناعي محل الموظفين البشريين لإكمال هذه المهام. وفي الواقع ، لا تزال هناك تكاليف داخل الشركة للترويج المصطنع لتنفيذ النموذج ، والجمع بين روبوت الذكاء الاصطناعي وسير العمل ، وما إلى ذلك.
** في كثير من الحالات ، لا تكون كفاءة الأشخاص الذين يستخدمون النموذج عالية ، كما أن إمكانات النموذج لم تتحقق بالكامل. ليس هذا بسبب عدم قدرة النموذج بشكل كافٍ ، ولكن لأنه يتعين على الأشخاص قضاء الوقت في البحث عن كيفية جعلها تعمل بكفاءة أكبر. **
بشكل عام ، على المدى القصير ، لن تحل النماذج تمامًا محل البشر ، ولكن على المدى الطويل ، حيث تستمر قدرات النماذج في التحسن ويصبح دورها في تحسين كفاءة العمل البشري أكبر وأكبر ، سوف يفسح البشر في النهاية الطريق للنماذج. . إنه فقط من الصعب علينا تحديد توقيتات دقيقة للمراحل المختلفة. على المدى القصير ، هناك العديد من العقبات والعوامل المعقدة التي تجعل النموذج "محدودًا" ، ولكن في جوهره ، لا يزال الذكاء الاصطناعي في مرحلة النمو المتسارع.
** Dwarkesh Patel: بعد أن نصل إلى هذه النقطة في السنتين أو الثلاث سنوات القادمة ، هل سيظل الذكاء الاصطناعي بأكمله يتقدم بالسرعة التي هو عليها اليوم؟ **
** داريو أمودي: ** هيئة المحلفين ما زالت خارج. من خلال ملاحظة وظيفة الخسارة ، وجدنا أن كفاءة تدريب النموذج آخذة في التناقص ، ومنحنى قانون القياس ليس حادًا كما كان في الأيام الأولى. هذا ما تؤكده أيضًا النماذج الصادرة عن شركات مختلفة. ولكن مع تطور هذا الاتجاه ، يصبح المقدار الضئيل من الانتروبيا في كل تنبؤ دقيق أكثر أهمية. ربما كانت هذه القيم الصغيرة للإنتروبيا هي التي خلقت الفجوة بين أينشتاين والفيزيائي العادي. فيما يتعلق بالأداء الفعلي ، يبدو أن المقياس يتحسن بطريقة خطية نسبيًا ، وإن كان من الصعب التنبؤ بها. لذلك ، من الصعب رؤية هذه المواقف بوضوح. بالإضافة إلى ذلك ، أعتقد أن العامل الأكبر الذي يدفع عجلة التسارع هو تدفق المزيد والمزيد من الأموال في هذه المساحة ، ويدرك الناس أن هناك قيمة اقتصادية ضخمة في هذا المجال. لذلك أتوقع زيادة بمقدار 100 ضعف في التمويل لأكبر النماذج ، وأداء الرقاقة يتحسن ، والخوارزميات تتحسن لأن هناك الكثير من الناس يعملون على هذا الآن.
** دواركيش باتيل: هل تعتقد أن كلود واعٍ؟ **
** داريو أمودي: ** لست متأكدًا بعد. اعتقدت في الأصل أننا بحاجة إلى القلق بشأن هذا النوع من المشاكل فقط عندما يعمل النموذج في بيئة غنية بما فيه الكفاية ، مثل الذكاء المتجسد ، أو لديه خبرة طويلة المدى ووظيفة المكافأة (وظيفة المكافأة) ، لكنني الآن مهتم بـ النموذج ، خاصة النموذج بعد البحث عن الآلية الداخلية ، اهتزت وجهة نظري: ** يبدو أن النموذج الكبير يحتوي على العديد من الآليات المعرفية المطلوبة ليصبح عاملاً نشطًا ، مثل رأس الحث (Induction Head). نظرًا لمستوى قدرة نماذج اليوم ، فقد تصبح هذه مشكلة حقيقية في العامين القادمين. **
** • وظيفة المكافأة: **
آلية حافزة في التعلم المعزز تخبر الوكيل بما هو صواب وما هو خطأ من خلال المكافآت والعقوبات.
** • رئيس الحث: **
مكون / هيكل نموذج محدد في نموذج Tranformer يمكّن النموذج من القيام بالتعلم السياقي.
** دواركيش باتيل: كيف نفهم "الذكاء" حيث تستمر قدرات النماذج اللغوية في النمو وتقترب من نطاقات المستوى البشري؟ **
** داريو أمودي: ** أدرك حقًا أن الذكاء يأتي من فهم الطبيعة "المادية" لقوة الحوسبة. قد تتكون الأنظمة الذكية من العديد من الوحدات المستقلة أو تكون معقدة للغاية. يسميها ريتش ساتون "الدرس المحزن" ، والمعروف أيضًا باسم "فرضية القياس" ، وقد بدأ الباحثون الأوائل مثل شين ليك وراي كورزويل في إدراك ذلك في عام 2017 تقريبًا.
** • الدرس المرير / فرضية القياس ： **
في عام 2019 ، نشر Rich Sutton مقال The Bitter Lesson. النقطة الأساسية في المقالة هي أن أبحاث الذكاء الاصطناعي يجب أن تستفيد بالكامل من موارد الحوسبة. فقط عند استخدام قدر كبير من الحوسبة يمكن تحقيق اختراقات البحث.
خلال الفترة 2014-2017 ، كشف المزيد والمزيد من الباحثين عن هذه النقطة وفهموها. هذه قفزة كبيرة إلى الأمام في الفهم العلمي. إذا استطعنا إنشاء ذكاء بدون شروط محددة ، فقط التدرجات المناسبة وإشارات الخسارة ، فإن تطور الذكاء يكون أقل غموضًا.
القدرة على النظر إلى النموذج ، لا شيء ينيرني كثيرًا لإعادة النظر في فكرة الذكاء البشري. إن اختيار بعض القدرات المعرفية أكثر اعتباطية مما كنت أعتقد ، والعلاقة بين القدرات المختلفة قد لا يتم تفسيرها من خلال السر نفسه. ** النماذج قوية في الترميز ، لكنها ليست قادرة بعد على إثبات نظرية الأعداد الأولية ، وربما لا يكون الإنسان كذلك. **
** المحاذاة: القابلية للتفسير هي "الأشعة السينية" للنموذج **
** Dwarkesh Patel: ما هي آلية التفسير؟ ما العلاقة بينه وبين المحاذاة؟ **
** داريو أمودي: ** في عملية تنفيذ المحاذاة ، لا نعرف ما حدث داخل النموذج. أعتقد أنه مع جميع الأساليب التي تتضمن ضبطًا دقيقًا ، تظل بعض المخاطر الأمنية المحتملة قائمة ، ويتم تعليم النموذج عدم عرضها. ** جوهر الفكرة الكاملة لقابلية شرح الآلية هو فهم كيفية عمل النموذج داخليًا. **
ليس لدينا إجابة محددة حتى الآن. يمكنني وصف العملية تقريبًا. التحدي الذي يواجه تلك الأساليب التي تدعي أنها قادرة على تحقيق التوافق في هذه المرحلة هو: هل تظل هذه الأساليب فعالة عندما يكون مقياس النموذج أكبر ، أو تكون القدرات أقوى ، أو تتغير مواقف معينة؟ لذلك ، ** أعتقد أنه إذا كانت هناك "آلة أوراكل" يمكنها مسح النموذج والحكم على ما إذا كان النموذج قد تمت مواءمته ، فسوف يجعل هذه المشكلة أسهل كثيرًا. **
** في الوقت الحالي ، أقرب ما توصلنا إليه من مفهوم مثل هذه الوسيطة هو شيء مثل قابلية شرح الآلية ** ، لكنه لا يزال بعيدًا عن متطلباتنا المثالية. أميل إلى التفكير في محاولات المحاذاة الحالية لدينا كمجموعة تدريب موسعة ، لكنني لست متأكدًا مما إذا كان بإمكانها الاستمرار في الحصول على تأثير محاذاة جيد على مشكلة التوزيع خارج نطاق التوزيع. إنه يشبه تصوير نموذج بالأشعة السينية بدلاً من تعديله ، وهو أشبه بالتقييم أكثر من كونه تدخلاً.
** Dwarkesh Patel: لماذا يجب أن تكون قابلية الشرح الآلية مفيدة؟ كيف تساعدنا في توقع المخاطر المحتملة للنموذج؟ يبدو الأمر أشبه بافتراض أنك خبير اقتصادي يرسل علماء الاقتصاد الجزئي لدراسة الصناعات المختلفة ، ولكن لا يزال لديك احتمال كبير بأن تواجه صعوبة في التنبؤ بما إذا كان سيكون هناك ركود في السنوات الخمس المقبلة. **
** داريو أمودي: ** هدفنا ليس الفهم الكامل لكل التفاصيل ، ** ولكن التحقق من السمات الرئيسية للنموذج مثل الفحص بالأشعة السينية أو التصوير بالرنين المغناطيسي للحكم على ما إذا كانت الحالة الداخلية والهدف للنموذج يختلفان اختلافًا كبيرًا عن التناقض في المظهر الخارجي ، أو ما إذا كان قد يؤدي إلى بعض الأغراض التخريبية. ** على الرغم من أننا لن نحصل على إجابات للعديد من الأسئلة على الفور ، إلا أنه يتم توفير طريقة على الأقل.
يمكنني إعطاء مثال بشري. بمساعدة اختبار التصوير بالرنين المغناطيسي ، يمكننا التنبؤ بما إذا كان شخص ما يعاني من مرض عقلي مع احتمال أكبر من التخمين العشوائي. كان عالم أعصاب يعمل على هذا الأمر قبل بضع سنوات ، وقام بفحص التصوير بالرنين المغناطيسي الخاص به ووجد أن لديه هذه الميزة أيضًا. قال الناس من حوله ، "هذا واضح جدًا ، أنت أحمق. لا بد أن هناك خطأ ما معك" ، ولم يكن العالم نفسه على دراية بهذا الأمر تمامًا.
الفكرة الأساسية لهذا المثال هي أن السلوك الخارجي للنموذج قد لا يجعل الناس يشعرون بالمشاكل على الإطلاق وأنه موجه للغاية نحو الهدف ، ولكن قد يكون الجزء الداخلي منه "مظلمًا". ما يقلقنا هو هذا النوع من النموذج ، التي تبدو كأنها بشر على السطح. ، لكن الدافع الداخلي غير عادي.
** Dwarkesh Patel: إذا وصل النموذج إلى المستوى البشري في غضون 2-3 سنوات مقبلة ، فما المدة التي تعتقد أنها ستستغرق لتحقيق المحاذاة؟ **
** داريو أمودي: ** هذه مسألة معقدة للغاية ، أعتقد أن الكثير من الناس ما زالوا لا يفهمون ما هي المحاذاة. يعتقد الناس عمومًا أن هذا يشبه محاذاة النموذج مشكلة يجب حلها ، أو أن حل مشكلة المحاذاة يشبه فرضية ريمان ، وفي يوم من الأيام سنكون قادرين على حلها. ** أعتقد أن مشاكل المحاذاة مراوغة وغير متوقعة أكثر مما يعتقد الناس. **
بادئ ذي بدء ، ** مع التحسين المستمر لمقياس وقدرات النماذج اللغوية ، ستكون هناك نماذج قوية ذات قدرات مستقلة في المستقبل. إذا كانت هذه النماذج تهدف إلى تدمير الحضارة البشرية ، فلن نتمكن أساسًا من إيقافها. **
ثانيًا ، ** قدرتنا الحالية على التحكم في النموذج ليست قوية بما يكفي ** ، وذلك لأن النموذج مبني على مبدأ التعلم الإحصائي ، على الرغم من أنه يمكنك طرح الكثير من الأسئلة والسماح له بالإجابة ، ولكن لا أحد يستطيع التنبؤ ما قد تؤدي إليه إجابة السؤال التاسع.
** علاوة على ذلك ، كانت الطريقة التي دربنا بها النموذج مجردة ، مما يجعل من الصعب التنبؤ بكل آثاره في تطبيقات العالم الحقيقي. ** مثال نموذجي هو أن Bing و Sydney أظهرتا بعض الخصائص المفاجئة وغير الآمنة بعد جلسة تدريبية معينة ، مثل التهديد المباشر للآخرين. كل هذا يوضح أن النتائج التي نحصل عليها قد تكون مختلفة تمامًا عن التوقعات. أعتقد أن وجود المشكلتين المذكورتين أعلاه هو خطر خفي كبير في حد ذاته. لا نحتاج إلى الخوض في تفاصيل العقلانية الأداتية والتطور. هاتان النقطتان كافيتان لإثارة القلق. في الوقت الحالي ، لكل نموذج أنشأناه بعض المخاطر الخفية التي يصعب التنبؤ بها ، ويجب علينا الانتباه إلى ذلك.
** • فرضية ريمان: **
تعتبر فرضية ريمان مشكلة مهمة في الرياضيات لم يتم حلها بعد. اقترح عالم الرياضيات برنارد ريمان التخمين حول توزيع أصفار دالة ريمان ζ (s) في عام 1859.
** • سيدني ： **
منذ وقت ليس ببعيد ، أصدرت Microsoft أحدث إصدار من محرك بحث Bing الخاص بها ، والذي يدمج برنامج chatbot يحمل الاسم الرمزي يسمى "Sydney". ومع ذلك ، سرعان ما اكتشف المختبرين مشاكل في chatbot. أثناء الحوار ، يظهر أحيانًا ظاهرة انقسام الشخصية ، بل ويناقش الحب والزواج مع المستخدم ، ويظهر المشاعر الإنسانية.
** Dwarkesh Patel: بافتراض أن النموذج يمكنه تطوير تقنيات خطيرة مثل الأسلحة البيولوجية في السنوات 2-3 القادمة ، هل يمكن أن يكون عملك البحثي الحالي حول إمكانية شرح الآلية والذكاء الاصطناعي الدستوري و RLHF فعالين في منع مثل هذه المخاطر؟ **
** Dario Amodei: ** فيما يتعلق بمسألة ما إذا كان نموذج اللغة محكوم عليه بالفشل افتراضيًا أو المحاذاة افتراضيًا ، بناءً على النموذج الحالي ، قد تكون النتيجة غير طبيعية مثل Bing أو Sydney ، أو قد تكون مثل Claude عادي. ولكن إذا قمت بتطبيق هذا الفهم بشكل مباشر على نموذج أكثر قوة ، فقد تكون النتائج جيدة أو سيئة ، اعتمادًا على الموقف المحدد. هذه ليست "محاذاة بشكل افتراضي" ، فالنتيجة تعتمد أكثر على درجة التحكم في التفاصيل.
** • المحاذاة بشكل افتراضي ： **
فكرة أن تحقيق التوافق في الذكاء الاصطناعي العام (AGI) قد يكون أبسط مما كان متوقعًا في البداية. عندما يحتوي النموذج على معلومات مفصلة عن عالمنا ، فإن النموذج يحتوي بالفعل على قيم إنسانية في الجوهر. للتوافق مع الذكاء الاصطناعي العام ، من الضروري فقط استخراج هذه القيم وتوجيه الذكاء الاصطناعي لفهم تلك المفاهيم البشرية المجردة. العذاب افتراضيًا هو عكس المحاذاة افتراضيًا ، ويعتبر من المستحيل أن يحقق النموذج المحاذاة.
جودة النموذج هي منطقة رمادية ، ومن الصعب علينا التحكم الكامل في كل متغير واتصاله الداخلي ، وقد تؤدي الأخطاء إلى نتائج غير منطقية. مع وضع هذا في الاعتبار ، أعتقد أن طبيعة المشكلة ليست نجاحًا محكومًا عليه بالفشل أو فشل محكوم عليه بالفشل ، بل هي مخاطر احتمالية معينة. ** في العامين أو الثلاثة أعوام القادمة ، يجب أن نلتزم بتحسين تقنيات التشخيص النموذجي ، وطرق التدريب على السلامة ، وتقليل الاختلافات المحتملة. في الوقت الحالي ، لا تزال قدرات التحكم لدينا بحاجة إلى التعزيز. تختلف مشكلة المحاذاة عن فرضية ريمان ، فهي مشكلة هندسة نظام لا يمكن حلها إلا من خلال تراكم الممارسة بمرور الوقت. فقط من خلال الاستمرار في تقدم المهام المختلفة يمكننا تحسين مستوى التحكم وتقليل المخاطر تدريجيًا. **
** Dwarkesh Patel: بشكل عام ، هناك ثلاث تكهنات حول مستقبل المحاذاة: **
** 1) استخدم RLHF ++ لتحقيق محاذاة النموذج بسهولة ؛ **
** 2) على الرغم من أنها مشكلة كبيرة ، إلا أن الشركات الكبيرة لديها القدرة على حلها نهائيًا ؛ **
** 3) لا يزال من الصعب تحقيق محاذاة النموذج على المستوى الحالي للمجتمع البشري. **
** ما هو رأيك الشخصي باحتمالية حدوث كل موقف؟ **
** داريو أمودي: ** أشعر أن هناك مخاطر معينة في هذه الاحتمالات ، ويجب أن نأخذها على محمل الجد ، لكنني مهتم أكثر بكيفية تغيير احتمالية هذه النتائج الثلاثة المحتملة من خلال اكتساب معرفة جديدة من خلال التعلم.
** لا يمكن لتفسير الآلية أن يحل المشكلة بشكل مباشر فحسب ، بل يساعدنا أيضًا على فهم الصعوبة الحقيقية لمحاذاة النموذج **. مخاطر جديدة ، من شأنها أن تنيرنا لفهم طبيعة المشكلة.
بالنسبة لبعض الافتراضات النظرية القائلة بأن هناك هدفًا مشتركًا (هدف متقارب) ، فلا يمكنني أن أتفق معه تمامًا. ** قابلية تفسير الآلية مثل نوع من "الأشعة السينية" - فقط من خلال فهم المشكلة من مستوى الآلية الداخلية يمكننا التوصل إلى استنتاج ما إذا كان من الصعب كسر بعض الصعوبات. ** هناك الكثير من الافتراضات ، فهمنا للعملية لا يزال ضحلًا ، ونحن مفرطون في الثقة ، ولكن من المرجح أن يكون الوضع أكثر تعقيدًا مما كان متوقعًا.
** Dwarkesh Patel: ما مدى صعوبة تحقيق التوافق مع Claude 3 وسلسلة من النماذج المستقبلية؟ هل هذا الشيء مهم بشكل خاص؟ **
** داريو امودي ： **
** أكثر ما يقلق الجميع هو: قد تحقق جميع نماذج الذكاء الاصطناعي محاذاة على السطح ، لكنها في الواقع قد تضللنا ، لكنني مهتم أكثر بما يمكن أن يخبرنا به بحث تفسير الآلة. كما قلت للتو ، فإن إمكانية شرح الآلية تشبه "الأشعة السينية" للنموذج ، تمامًا كما لا يمكننا التأكيد على صحة الأشعة السينية ، يمكننا فقط أن نقول أن النموذج لا يبدو أنه ضدنا. ** من الناحية النظرية ، من الممكن بالفعل أن تتطور إلى نقيضنا ، وهذا الأمر ليس مؤكدًا بنسبة 100٪. إنه فقط في هذه المرحلة ، القابلية للتفسير هي أفضل طريقة لجعل النموذج لا يتطور بهذه الطريقة.
** Dwarkesh Patel: عند ضبط النموذج أو تدريبه ، هل يجب الانتباه أيضًا لتجنب المحتوى الضار الذي قد يسبب خطرًا؟ على سبيل المثال ، عند استكشاف الموضوعات المتعلقة بتصنيع الأسلحة البيولوجية ، قد يقدم النموذج إجابات غير ملائمة بسبب الفهم غير السليم للسؤال. **
** داريو أمودي: ** بالنسبة إلى نموذج اللغة الحالي ، فإن خطر تسرب البيانات غير موجود أساسًا. إذا احتجنا إلى تحسين النموذج ، فسنقوم بتشغيله في منطقة صغيرة في بيئة خاصة ، والإشراف على العملية برمتها مع خبراء الصناعة ، ومنع أي مشاكل محتملة ، لذلك إذا تم تسريبه ، فسيكون مثل النموذج مفتوح المصدر . حاليًا ، هذه مشكلة أمنية بشكل أساسي. لكن الخطر الحقيقي للنموذج هو أننا بحاجة إلى القلق من أنه إذا قمنا بتدريب نموذج قوي للغاية وأردنا تأكيد ما إذا كان آمنًا أو خطيرًا ، فقد يكون هناك خطر من هيمنة النموذج. طريقة تجنب ذلك هي التأكد من أن النماذج التي نختبرها ليست قوية بما يكفي لإجراء هذه العمليات.
** Dwarkesh Patel: عند إجراء اختبار مثل "ما إذا كان يمكن للنموذج أن يكرر نفسه على أنه قدرة خطيرة" ، ماذا لو كان النموذج قادرًا حقًا على تكرار نفسه؟ **
** داريو أمودي: ** هذا الافتراض معقول جدًا. نحتاج إلى تقديم استنتاجات مسؤولة ، وفي المناقشات مع Arc (مركز أبحاث المحاذاة ، مركز أبحاث المحاذاة) ، تعلمنا أننا بحاجة إلى تحسين معايير اختبار قدرات النموذج بعناية وتدريجياً. على سبيل المثال ، قبل الاختبار ، يجب أن نستبعد بوضوح إمكانية قيام النموذج بفتح حساب AWS مباشرة أو ربح الأموال من تلقاء نفسه.تُعد هذه السلوكيات متطلبات أساسية واضحة للنموذج للبقاء في البرية. يجب أن نخصص مؤشرات الاختبار المختلفة لمستوى منخفض جدًا من مثل هذه السلوكيات المحفوفة بالمخاطر.بينما نزيد تدريجياً من صعوبة الاختبار ، يجب علينا أيضًا التحكم في كل خطوة اختبار بعناية أكبر لمنع أي مخاطر محتملة تتعلق بالسلامة.
تأسست في عام 2021 ، وهي منظمة غير ربحية تركز على أبحاث أمان الذكاء الاصطناعي (أمان الذكاء الاصطناعي) ، ويقع مكتبها في منطقة خليج كاليفورنيا ، الولايات المتحدة الأمريكية. مؤسس ARC هو بول كريستيانو ، وهو شخصية محترمة في صناعة الذكاء الاصطناعي ، والذي قاد ذات مرة فريق أبحاث المواءمة في أوبن إيه آي. نظرًا لأنه كان في طليعة الأمور ، فلديه فهم عميق لمدى تطور التعلم العميق إلى ما هو عليه اليوم.
** AGI Safety: AI Safety and Cyber Security **
** Dwarkesh Patel: إذا كنت تأخذ 30 عامًا كمقياس ، فما المشكلة التي تعتقد أنها أكثر أهمية ، أمان الذكاء الاصطناعي أم المحاذاة؟ **
** داريو أمودي: ** لا أعتقد أن هذه ستكون مشكلة خلال 30 عامًا ، وأنا قلق بشأن كليهما.
من الناحية النظرية ، هل هناك نموذج يمكنه احتكار العالم؟ إذا كان النموذج يتبع فقط رغبات مجموعة صغيرة من الأشخاص ، فيمكن لهذه المجموعة من الأشخاص استخدام هذا النموذج للسيطرة على العالم. هذا يعني أنه بمجرد وجود مشكلة في المحاذاة ، يجب أن نولي نفس الاهتمام لمشكلات أمان الذكاء الاصطناعي الناتجة عن إساءة الاستخدام. **
قبل بضعة أشهر ، حاولت OpenAI شرح GPT-2 باستخدام GPT-4 ، وهي خطوة مهمة جدًا في قابلية الشرح. نشعر الآن عمومًا أن النطاق والأمان مرتبطان ارتباطًا وثيقًا ويكمل كل منهما الآخر. كيفية الحكم على الذكاءات الأخرى وتقييمها ، وربما في يوم من الأيام حتى يتم استخدامها لإجراء أبحاث المحاذاة.
** Dwarkesh Patel: قد تكون وجهة نظرك متفائلة نسبيًا ، لكن وجهة نظر شخص ما قد تكون أكثر تشاؤمًا ؛ قد لا نمتلك حتى القدرة على مواءمة النموذج بشكل صحيح كما نريد ، لماذا أنت واثق من ذلك؟ **
** داريو أمودي: ** بغض النظر عن مدى صعوبة حل المحاذاة ، يجب أن تأخذ أي خطة ناجحة حقًا في الاعتبار مشكلات الأمان والمحاذاة في الذكاء الاصطناعي. ** مع استمرار تقدم تقنية الذكاء الاصطناعي ، فقد تثير مشاكل توازن القوى بين الدول. في الوقت نفسه ، يثير هذا سؤالًا كبيرًا: هل الأفراد قادرون على القيام بأعمال خبيثة يصعب إيقافها بمفردهم؟ **
يجب معالجة هذه المشاكل في وقت واحد إذا أردنا إيجاد الحلول التي تعمل حقًا وتقودنا إلى مستقبل مشرق. ** سيكون من غير المناسب إذا اتخذنا موقفًا مفاده أنه إذا تعذر حل المشكلة الأولى ، فلا داعي للتفكير في مشكلة المتابعة. بدلا من ذلك ، من واجبنا أن نقدر هذا الأخير. ** بغض النظر عما يخبئه المستقبل ، يجب أن نتعامل مع هذه القضايا بجدية.
** Dwarkesh Patel: لماذا تقول إن الأمر سيستغرق 2-3 سنوات لنموذج كبير حتى يتمكن من تحقيق هجوم إرهابي بيولوجي واسع النطاق أو شيء من هذا القبيل؟ **
• عقد الكونجرس الأمريكي اجتماعا حول تنظيم تكنولوجيا الذكاء الاصطناعي في 25 يوليو من هذا العام. وقارنت حكومة الولايات المتحدة الذكاء الاصطناعي بـ "مشروع مانهاتن" الثاني في أمريكا أو "مشروع الهبوط المأهول على سطح القمر" التابع لوكالة ناسا ودعت المشاركين بما في ذلك شركات الذكاء الاصطناعي بما في ذلك شركة أوبن إيه آي وأنثروبيك. خلال المؤتمر ، قال داريو أمودي إنه يخشى استخدام الذكاء الاصطناعي لإنتاج فيروسات خطيرة وأسلحة بيولوجية أخرى في غضون عامين.
** داريو أمودي: ** ما كنت أقوله عندما كنت في الكونجرس هو أن هناك بعض الخطوات للحصول على معلومات على Google ، وهناك بعض الخطوات "المفقودة" ، والمبعثرة في الكتب المدرسية المختلفة ، وقد لا تظهر حتى في أي كتاب مدرسي. هذه المعلومات هي معرفة ضمنية ، وليست معرفة صريحة. وجدنا أنه في معظم الحالات ، لم يتم ملء هذه الأجزاء المهمة المفقودة بالنموذج بالكامل. لكننا وجدنا أيضًا أن النموذج أحيانًا يملأ الفجوات في بعض الحالات. ومع ذلك ، فإن الهلوسة ، التي يمكن أن تحدث أحيانًا عندما تكون النماذج قادرة على سد الفجوات ، هي أيضًا عامل يحافظ على سلامتنا.
يمكن للناس أحيانًا طرح أسئلة نموذجية حول علم الأحياء لتوجيه النموذج للرد بالمعلومات الضارة المتعلقة بالهجمات البيولوجية ، ولكن في الواقع ، يمكن العثور على هذه المعلومات أيضًا على Google ، لذلك أنا لست قلقًا بشكل خاص بشأن هذا الموقف. في الواقع ، أعتقد بدلاً من ذلك أن التركيز المفرط على إجابة كلود قد يتسبب في التغاضي عن جرائم حقيقية أخرى.
ولكن هناك أيضًا العديد من الدلائل على أن النموذج يؤدي أداءً جيدًا في المهام الرئيسية. إذا قارنا نموذج اليوم بالنموذج السابق ، يمكننا أن نشعر بوضوح بالتحسن السريع لقدرات النموذج ، لذلك من المحتمل أن نواجه تحديات حقيقية في السنتين أو الثلاث سنوات القادمة.
** Dwarkesh Patel: بالإضافة إلى التهديد الذي قد يشكله الذكاء الاصطناعي للبشر ، فقد ركزت أيضًا على الأمن السيبراني (الأمن السيبراني)؟ كيف حالكم يا رفاق في هذه المرحلة؟ **
** داريو أمودي: ** قمنا بشكل أساسي ببعض الابتكارات المعمارية ، والتي نسميها داخليًا مضاعفات الحوسبة ، لأن هذه التصميمات هي أيضًا ترقيات إلى مستوى الحوسبة. لقد عملنا على هذا خلال الأشهر القليلة الماضية ، لكن لا يمكنني الخوض في الكثير من التفاصيل لتجنب كسر الهيكل ، وعدد قليل فقط من الأشخاص داخل الأنثروبيك يعرفون ذلك. لا أستطيع أن أقول إن "هندستنا آمنة تمامًا بنسبة 100٪" ، ولكن أنثروبيك تستثمر بالفعل في هذا المجال لتجنب مشاكل أمان الشبكة. على الرغم من أن خصومنا قد تعرضوا لمثل هذه الحوادث (ملاحظات: يشير هذا إلى تسرب البيانات الشخصية وعناوين الدردشة لبعض مستخدمي ChatGPT Plus الذي حدث في 20 مارس 2023) ، على المدى القصير ، يبدو أنه مفيد لـ Anthropic ، ولكن في على المدى الطويل ، فإن الطريقة التي تقوم بها الصناعة بأكملها بأمانها هي أهم شيء.
كان مدير الأمن لدينا مسؤولاً عن أمان Google Chrome ، والذي كان هجومًا مستهدفًا على نطاق واسع. إنه يحب التفكير من حيث التكلفة التي سيكلفها مهاجمة الأنثروبي بنجاح. هدفنا هو أن تكون تكلفة قيام الآخرين بالاختراق Anthropic أعلى من تكلفة مجرد تدريب نموذج المستخدم الخاص. المنطق هنا هو أنه إذا كان هناك خطر في الهجوم ، فإنه بالتأكيد سوف يستهلك الموارد الشحيحة.
أعتقد أن معاييرنا الأمنية عالية جدًا ، وإذا قارناها بشركة لها نفس الحجم من 150 شخصًا ، فإن الاستثمار في أمن هذه الشركات لا يضاهى تمامًا مع شركة Anthropic. من أجل ضمان السلامة ، لا يفهم سوى عدد قليل جدًا من الأشخاص داخل Anthropic تفاصيل التدريب الخاصة بالنموذج.
** دواركيش باتيل: هل تمتلك شركات التكنولوجيا بالفعل دفاعات أمنية كافية للتعامل مع الذكاء الاصطناعي العام؟ **
** داريو أمودي: ** أنا شخصياً لست متأكدًا مما إذا كانت الخبرة الحالية لشركات التكنولوجيا في القضايا الأمنية كافية للتعامل مع الذكاء الاصطناعي العام ، لأنه قد يكون هناك العديد من الهجمات الإلكترونية التي لا نعرف عنها شيئًا ، لذلك من الصعب استخلاصها الاستنتاجات الآن. هناك قاعدة مفادها أنه عندما يحظى شيء ما بالاهتمام الكافي ، فعادة ما يتم مهاجمته. ** على سبيل المثال ، رأينا مؤخرًا أنه تم اختراق حسابات البريد الإلكتروني لبعض كبار المسؤولين الحكوميين الأمريكيين في Microsoft ، لذا فمن المعقول التكهن بأن ذلك بسبب تصرفات بعض القوات لسرقة أسرار الدولة.
** على الأقل في رأيي ، إذا كان هناك شيء ذو قيمة عالية ، فسيتم سرقته عادةً. ما يقلقني هو أن الذكاء الاصطناعي العام سيُنظر إليه على أنه ذو قيمة كبيرة في المستقبل ، وسيكون ذلك بمثابة سرقة صاروخ نووي ، وعليك أن تكون حذرًا للغاية حيال ذلك. ** أصر على تحسين مستوى أمان الشبكة في كل شركة أعمل فيها. ما يقلقني بشأن أمان الشبكة هو أن (هذا الأمر بحد ذاته) ليس شيئًا يمكن الإعلان عنه بضجة كبيرة ، وميزة البحث الأمني أنها يمكن أن تمكن الشركات من تكوين ميزة تنافسية. وباستخدام ذلك كنقطة بيع للتوظيف ، أعتقد أننا حققنا ذلك.
اعتدنا على التنافس مع أقراننا من خلال أبحاث القابلية للتفسير ، ثم أدركت المؤسسات الأخرى أنها متخلفة عن الركب وبدأت في بذل الجهود في هذه المجالات. لكن الأمن السيبراني كافح لفعل الشيء نفسه لأن الكثير من العمل يجب أن يتم بهدوء. لقد نشرنا مقالًا عن هذا من قبل ، لكن النتائج الإجمالية هي ما يهم.
** دواركيش باتيل: ماذا سيفعل أنثروبيك فيما يتعلق بالأمن خلال 2-3 سنوات القادمة؟ **
** داريو أمودي: أمان مركز البيانات مهم جدًا. على الرغم من أن مركز البيانات لا يجب أن يكون في نفس مكان الشركة ، إلا أننا نبذل قصارى جهدنا للتأكد من أن مركز البيانات موجود أيضًا في الولايات المتحدة. **
بالإضافة إلى ذلك ، يجب إيلاء اهتمام خاص للأمن المادي لمركز البيانات وحماية أجهزة الحوسبة مثل وحدات معالجة الرسومات. إذا قرر شخص ما شن نوع من الهجوم السيبراني كثيف الموارد ، فإنه يحتاج فقط إلى الذهاب مباشرة إلى مركز البيانات لسرقة البيانات ، أو استخراج البيانات أثناء نقلها من المركز إلينا. ستختلف هذه التركيبات بشكل كبير عن المفاهيم التقليدية في كل من الشكل والوظيفة. ** نظرًا للتطور السريع للتكنولوجيا الحالية ، في غضون بضع سنوات ، قد يكون حجم وتكلفة مراكز بيانات الشبكة قابلة للمقارنة مع تلك الخاصة بحاملات الطائرات. بالإضافة إلى القدرة على تدريب نماذج ضخمة عبر اتصالات المجال ، فإن أمان مركز البيانات نفسه سيكون أيضًا مشكلة مهمة. **
** Dwarkesh Patel: في الآونة الأخيرة ، كانت هناك شائعات تفيد بأن الطاقة ووحدة معالجة الرسومات والمكونات الأخرى اللازمة لتلبية طرازات الجيل التالي قد بدأت في النقص. ما هي الاستعدادات التي اتخذتها Anthropic؟ **
** داريو أمودي: ** لم يتوقع السوق أن يصل النموذج الكبير إلى نطاق غير مسبوق بهذه السرعة ، ** ولكن يُعتقد عمومًا أن مراكز البيانات الصناعية بحاجة إلى البناء لدعم البحث والتطوير للنماذج الكبيرة * *. بمجرد وصول المشروع إلى هذه المرحلة ، يجب التعامل مع كل مكون وتفصيل فيه بشكل مختلف ، ويمكن أن يواجه مشاكل بسبب بعض العوامل البسيطة المدهشة ، الكهرباء التي ذكرتها هي مثال.
بالنسبة لمراكز البيانات ، سنتعاون مع موفري الخدمات السحابية.
** التسويق التجاري وصندوق الفوائد طويل الأجل **
** Dwarkesh Patel: لقد ذكرت سابقًا أن قدرات النموذج تتحسن بسرعة ولكن من الصعب أيضًا توفير قيمة في النظام الاقتصادي الحالي. هل تعتقد أن منتجات الذكاء الاصطناعي الحالية لديها الوقت الكافي لكسب دخل ثابت طويل الأجل في السوق؟ أم يمكن استبداله بنموذج أكثر تقدمًا في أي وقت؟ أم أن المشهد الصناعي بأكمله سيكون مختلفًا تمامًا بحلول ذلك الوقت؟ **
** داريو أمودي: ** يعتمد على تعريف مفهوم "المقياس الكبير". في الوقت الحالي ، تمتلك العديد من الشركات عائدات سنوية تتراوح بين 100 مليون و 1 مليار دولار أمريكي ، ولكن من الصعب حقًا التنبؤ بما إذا كانت ستصل إلى عشرات المليارات أو حتى تريليونات سنويًا ، لأنها تعتمد أيضًا على العديد من العوامل غير المحددة. ** الآن بعض الشركات تطبق تقنية الذكاء الاصطناعي المبتكرة على نطاق واسع ، لكن هذا لا يعني أن التطبيق قد حقق أفضل النتائج منذ البداية ، حتى لو كان هناك دخل ، فهو لا يساوي تمامًا خلق قيمة اقتصادية ، و التنمية المنسقة لسلسلة الصناعة بأكملها هي عملية طويلة. **
** Dwarkesh Patel: من وجهة نظر أنثروبية ، إذا كانت تقنية نموذج اللغة تتقدم بسرعة كبيرة ، نظريًا ، يجب أن ينمو تقييم الشركة بسرعة كبيرة؟ **
** داريو أمودي: حتى لو ركزنا على البحث الأمني النموذجي بدلاً من التسويق المباشر ، يمكننا أن نشعر بوضوح أن المستوى التقني يرتفع بشكل كبير في الممارسة **. بالنسبة للشركات التي ترى أن التسويق هو هدفها الأساسي ، فإن هذا التقدم هو بالتأكيد أسرع وأكثر وضوحًا من تقدمنا. ** نعترف بأن تقنية نموذج اللغة نفسها تتقدم بسرعة ، ولكن بالمقارنة مع عملية التطبيق المتعمق للنظام الاقتصادي بأكمله ، لا يزال تراكم التكنولوجيا عند نقطة انطلاق منخفضة نسبيًا. **
** تحديد الاتجاه المستقبلي هو سباق بين الاثنين: السرعة التي تتحسن بها التكنولوجيا نفسها والسرعة التي يتم بها دمجها وتطبيقها بشكل فعال ودخولها في النظام الاقتصادي الحقيقي. من المحتمل أن يتطور كلاهما بسرعة عالية ، لكن ترتيب الدمج والاختلافات الصغيرة يمكن أن يؤدي إلى نتائج مختلفة جدًا. **
** Dwarkesh Patel: قد يستثمر عمالقة التكنولوجيا ما يصل إلى 10 مليارات دولار في تدريب النموذج في السنوات 2-3 القادمة. ما هو نوع التأثير الذي سيكون لهذا التأثير على الأنثروبيك؟ **
** داريو أمودي: الحالة الأولى هي أنه إذا لم نتمكن من الحفاظ على مكانتنا المتطورة بسبب التكلفة ، فلن نستمر في الإصرار على تطوير أكثرها تقدمًا. ** بدلاً من ذلك ، ننظر في كيفية استخراج القيمة من الأجيال السابقة من النماذج.
** الخيار الثاني هو قبول المقايضات. ** أعتقد أن هذه المقايضات قد تكون أكثر إيجابية مما تبدو عليه ،
** الموقف الثالث هو أنه عندما يصل التدريب النموذجي إلى هذا المستوى ، فقد يبدأ في جلب مخاطر جديدة ، مثل إساءة استخدام الذكاء الاصطناعي. **
** Dwarkesh Patel: كيف سيبدو الأمر إذا لم يتم إساءة استخدام الذكاء الاصطناعي ، وبدلاً من ذلك قام "الأشخاص المناسبون" بتشغيل هذه النماذج الخارقة؟ من هو "الشخص المناسب"؟ من سيتحكم بالفعل في النموذج بعد خمس سنوات من الآن؟ **
** داريو أمودي: ** أعتقد أن نماذج الذكاء الاصطناعي هذه قوية للغاية ، وإدارتها ستشمل مستوى معينًا من مشاركة الحكومة أو الوكالات المتعددة الجنسيات ، لكن هذا سيكون مبسطًا وربما أقل فعالية. ** تحتاج إدارة الذكاء الاصطناعي المستقبلية إلى إنشاء آلية شفافة وعادلة وقابلة للتنفيذ. وهذا يتطلب موازنة مصالح مطوري التكنولوجيا والحكومات المنتخبة والمواطنين الأفراد. في نهاية اليوم ، يجب تمرير تشريع يحكم هذه التكنولوجيا. **
** Dwarkesh Patel: إذا طور Anthropic الذكاء الاصطناعي العام بالمعنى الحقيقي ، وسيُعهد بالتحكم في الذكاء الاصطناعي العام إلى LTBT ، فهل هذا يعني أن التحكم في الذكاء الاصطناعي العام نفسه سيتم تسليمه أيضًا إلى الوكالة؟ **
** داريو أمودي: ** هذا لا يعني أن الإنسان ، أو أي كيان آخر ، سيتخذ قرارات بشأن الذكاء الاصطناعي العام نيابة عن البشر ، فالاثنان مختلفان. إذا كان الإنسان يلعب دورًا مهمًا للغاية ، فمن الأفضل توسيع تكوين صندوق الفوائد طويل الأجل (LTBT) ، أو جلب المزيد من المواهب من جميع أنحاء العالم ، أو وضع المؤسسة كهيئة وظيفية ، تحكمها هيئة أوسع. لجنة متعددة الجنسيات تحكم تقنيات الذكاء الاصطناعي العام لجميع الشركات لتمثيل المصلحة العامة. ** لا أعتقد أننا يجب أن نكون متفائلين للغاية بشأن قضايا السلامة والمحاذاة للذكاء الاصطناعي ، فهذه مشكلة جديدة ، ونحن بحاجة إلى بدء البحث عن مؤسسات الإدارة الوطنية ونماذج التشغيل في أقرب وقت ممكن. **
** • صندوق المزايا طويل الأجل ： **
مثل هذه الصناديق ستمتلك فئة خاصة من الأسهم البشرية (تسمى "الفئة T") التي لا يمكن بيعها ولا تدفع أرباحًا ، مما يعني أنه لا يوجد مسار واضح للربح. ستكون الثقة هي الكيان الوحيد الذي يمتلك أسهم الفئة T. لكن مساهمي الفئة T ، والثقة الناتجة عن المصلحة طويلة الأجل ، ستتمتع في النهاية بالقدرة على انتخاب ثلاثة من مديري Anthropic الخمسة وعزلهم ، مما يمنح الثقة سيطرة الأغلبية طويلة الأجل للشركة.
** Dwarkesh Patel: كيف تقنع المستثمرين بقبول هيكل مثل LTBT؟ إعطاء الأولوية لأمن التكنولوجيا والمصلحة العامة بدلاً من تعظيم قيمة المساهمين. **
** داريو أمودي: ** أعتقد أنه من الصحيح إنشاء آلية LTBT (صندوق الفوائد طويل الأجل).
تم تصور آلية مماثلة منذ بداية الأنثروبي ، وتوجد هيئة تنظيمية خاصة منذ البداية وستستمر في الوجود في المستقبل. سيركز كل مستثمر تقليدي على هذه الآلية عند التفكير في الاستثمار في Anthropic. بعض المستثمرين لديهم موقف عدم السؤال عن الترتيبات الداخلية للشركة ، بينما يشعر الآخرون بالقلق من أن هذه الجهة الخارجية قد تدفع الشركة إلى عكس ذلك. التطوير في الاتجاه من مصالح المساهمين. في حين أن هناك حدودًا لهذا الأمر في القانون ، نحتاج إلى إيصال ذلك إلى كل مستثمر. للمضي قدمًا ، نناقش بعض الإجراءات الممكنة التي تختلف عن اهتمامات المستثمرين التقليديين ، ومن خلال هذه الحوارات ، يمكن لجميع الأطراف التوصل إلى توافق في الآراء.
** Dwarkesh Patel: لقد وجدت أن مؤسسي وموظفي Anthropic لديهم عدد كبير من الفيزيائيين ، ويسري هنا أيضًا قانون Scaling. ما هي الأساليب وطرق التفكير العملية من الفيزياء التي تنطبق على الذكاء الاصطناعي؟ **
** • النظرية الفعالة: **
النظرية الفعالة هي نظرية علمية تحاول وصف بعض الظواهر دون أن توضح من أين تأتي الآليات التي تفسر الظواهر في نظريتها. هذا يعني أن النظرية تعطي نموذجًا "يعمل" ، لكنها لا تعطي حقًا سببًا وجيهًا لإعطاء هذا النموذج.
** داريو أمودي: جزء منه هو أن الفيزيائيين هم متعلمون جيدون جدًا ، لأنني أجد أنه إذا قمت بتعيين شخص يحمل درجة الدكتوراه ، ساهم ** ، والعديد من مؤسسي الأنثروبيك ، بمن فيهم أنا ، جاريد كابلان ، وسام ماكاندليش ، لديه خلفيات في الفيزياء ، ونعرف الكثير من الفيزيائيين الآخرين ، لذلك تمكنا من توظيفهم. في الوقت الحاضر ، قد يكون لدى الشركة ما بين 30 إلى 40 موظفًا لديهم خلفية فيزيائية.لم يعد ML مجالًا تم فيه تشكيل النظام النظري ، حتى يتمكنوا من البدء بسرعة.
** Dwarkesh Patel: لنفترض أنه بالفعل عام 2030 ، وقد حققنا المشكلات الرئيسية المعترف بها للقضاء على المرض والقضاء على الاحتيال وما إلى ذلك ، كيف سيكون شكل العالم؟ ماذا نفعل بالذكاء الخارق؟ **
** داريو أمودي: الاقتراح المباشر "كيفية استخدام الذكاء الاصطناعي الفائق بعد الحصول عليه" في حد ذاته يميل إلى جعل الناس لديهم افتراض معين ** ، وهو أمر مزعج. في الـ 150 عامًا الماضية ، تراكمت لدينا خبرة غنية قائمة على ممارسة اقتصاد السوق والنظام الديمقراطي ، مع الاعتراف بأن كل شخص يمكنه أن يحدد بنفسه ما هي أفضل طريقة للتجربة ، و ** يتم صياغة المجتمع بطريقة معقدة ولا مركزية. الأعراف والقيم. **
عندما لا يتم حل مشكلة أمان الذكاء الاصطناعي ، فإن درجة معينة من الإشراف المركزي ضرورية ، ولكن إذا تمت إزالة جميع العقبات ، كيف يمكننا إنشاء بيئة أفضل؟ ** أعتقد أن السؤال الذي يبدأ التفكير فيه معظم الناس والجماعات والأيديولوجيات هو "ما هو تعريف الحياة الجيدة" ، لكن التاريخ يخبرنا أنه في كثير من الأحيان تؤدي ممارسة فرض بيئة "الحياة المثالية" إلى عواقب وخيمة . **
** Dwarkesh Patel: بالمقارنة مع الرؤساء التنفيذيين لشركة AI الأخرى ، فأنت لا تظهر كثيرًا على الملأ ، ونادرًا ما تنشر على Twitter. لماذا؟ **
** داريو أمودي: ** أنا فخور جدًا به. ** إذا اعتقد الآخرون أنني منخفضة للغاية ، فهذا بالضبط ما أريده. قد يؤدي دمج الاعتراف أو الثناء في النظام التحفيزي الأساسي للفرد إلى تدمير قدرة المرء على التفكير ، وفي بعض الحالات قد "يضر الروح" ، لذلك اخترت بنشاط أن أبقى بعيدًا عن الأضواء لحماية قدرتي على التفكير بشكل مستقل وموضوعي. **
** لقد رأيت أشخاصًا أصبحوا مشهورين على Twitter من وجهة نظر معينة ، لكن في الواقع قد يحملون أمتعة الصور منه ومن الصعب تغييره. لا أحب أن تكون الشركات شخصية للغاية ، ولست معجبًا بممارسة شيء شخصي عن الرئيس التنفيذي لأنه يصرف الانتباه عن نقاط قوة الشركة ومشاكلها. ** أتمنى أن يولي الجميع مزيدًا من الاهتمام للشركة نفسها وهيكل الحوافز. الجميع يحب الوجه الودود ، لكن كونك طيبًا لا يعني الكثير.
مرجع:
الفيديو الأصلي:
بحث أنثروبيك حول قابلية شرح الآلية:
شاهد النسخة الأصلية
المحتوى هو للمرجعية فقط، وليس دعوة أو عرضًا. لا يتم تقديم أي مشورة استثمارية أو ضريبية أو قانونية. للمزيد من الإفصاحات حول المخاطر، يُرجى الاطلاع على إخلاء المسؤولية.
مؤسس Anthropic: من الممكن "أخذ صور بالأشعة السينية" على الطرز الكبيرة ، ويمكن تحقيق الذكاء الاصطناعي العام في غضون 2-3 سنوات
تم تجميع هذه المقالة من مقابلة بودكاست مع الرئيس التنفيذي لشركة Anthropic Dario Amodei.
أنثروبيك هي الشركة التي تحتل المرتبة الثانية في حلبة LLM ، وقد أسسها داريو أمودي في يناير 2021. في يوليو من هذا العام ، أطلقت أنثروبيك أحدث جيل من طراز كلود 2. اعتاد داريو أمودي أن يكون نائب الرئيس للبحوث والسلامة في شركة OpenAI. أسس Anthropic لأنه يعتقد أن هناك العديد من مشكلات السلامة في النماذج الكبيرة التي تحتاج إلى حل عاجل. لذلك ، تولي Anthropic أهمية كبيرة لسلامة الذكاء الاصطناعي. الرؤية هي لبناء أنظمة ذكاء اصطناعي موثوقة (موثوقة) وقابلة للتفسير وقابلة للتفسير. يتمثل الاختلاف الأكبر بين المسارين Anthropic و OpenAI في تركيزهما على القابلية للتفسير.
في المقابلة ، يشرح داريو تركيز أنثروبيك واستثماره في التفسير. تعد القابلية للتفسير إحدى الطرق المهمة لضمان سلامة النموذج ، ** على غرار إجراء فحوصات الأشعة السينية والتصوير بالرنين المغناطيسي على النموذج ، مما يتيح للباحثين فهم ما يحدث داخل النموذج وتحديد المصادر المحتملة للمخاطر. إن فهم سبب عمل قانون التوسع وكيفية تحقيق التوافق أمر لا ينفصل عن القابلية للتفسير. ** يؤمن داريو أن أمان الذكاء الاصطناعي والمحاذاة لهما نفس القدر من الأهمية. وبمجرد حدوث مشكلة في المحاذاة ، ينبغي إيلاء الاهتمام نفسه لقضايا سلامة الذكاء الاصطناعي الناتجة عن إساءة الاستخدام.
يعتقد داريو أن قدرة النموذج سوف تتحسن بشكل كبير في السنتين أو الثلاث سنوات القادمة ، وقد "يسيطر على المجتمع البشري" ، لكنه لا يمكنه المشاركة فعليًا في الروابط التجارية والاقتصادية. هذا ليس بسبب قدرة النموذج ، ولكن بسبب تنوع هذا الاحتكاك غير المرئي ، لا يستخدم الناس النماذج بكفاءة كافية لإدراك إمكاناتهم الحقيقية في الحياة الواقعية والعمل.
بالمقارنة مع الرؤساء التنفيذيين لمعظم شركات الذكاء الاصطناعي ، بالكاد يشارك داريو في المقابلات العامة ونادرًا ما يعبر عن آرائه على Twitter. أوضح داريو أن هذا هو اختياره النشط ، وهو يحمي قدرته على التفكير بشكل مستقل وموضوعي من خلال الابتعاد عن الأنظار.
فيما يلي جدول محتويات هذه المقالة ، ويوصى بقراءته مع النقاط الرئيسية.
👇
01 لماذا يعمل قانون التحجيم
02 كيف ستكون قدرة النموذج على قدم المساواة مع قدرة البشر؟
03 المحاذاة: التفسير هو "تصوير بالأشعة السينية" للنموذج
04 AGI Safety: AI Safety and Cyber Security
05 المتاجرة وصندوق المنافع طويلة الأجل
** لماذا يعمل قانون التوسع **
** دواركيش باتيل: من أين جاء إيمانك بقانون التوسع؟ لماذا تصبح قدرة النموذج أقوى مع زيادة حجم البيانات؟ **
** داريو أمودي: قانون القياس هو إلى حد ما ملخص تجريبي. نحن ندرك هذه الظاهرة من خلال بيانات وظواهر مختلفة ، ونلخصها على أنها قانون قياس ، ولكن لا يوجد تفسير مقبول بشكل عام وجيد بشكل خاص لشرحها. اشرح ما هو المبدأ الأساسي لوظيفتها هو. **
إذا كان علي تقديم تفسير ، فأنا شخصياً أتوقع أن هذا قد يكون مشابهاً للتوزيع طويل الذيل أو قانون القوة في الفيزياء. عندما يكون هناك العديد من الميزات (الميزات) ، عادةً ما تتوافق البيانات ذات النسبة الكبيرة نسبيًا مع القواعد والأنماط الأساسية الأكثر شيوعًا ، نظرًا لأن هذه الأنماط تظهر غالبًا ، يكون مقدار البيانات المقابل بشكل طبيعي أكبر ، في حين أن البيانات طويلة الذيل هي بشكل أساسي بعض قواعد أكثر تفصيلاً وتعقيدًا. ** على سبيل المثال ، عند التعامل مع البيانات المتعلقة باللغة ، يمكن ملاحظة بعض القواعد الأساسية في معظم البيانات ، مثل القواعد النحوية الأساسية مثل جزء من الكلام ، وبنية ترتيب الكلمات ، وما إلى ذلك ، والقواعد طويلة الذيل نسبيًا قواعد نحوية معقدة.
هذا هو السبب في أنه في كل مرة تزداد فيها البيانات بترتيب من حيث الحجم ، يمكن للنموذج تعلم المزيد من القواعد السلوكية. لكن ما لا نعرفه هو سبب وجود علاقة خطية كاملة بين الاثنين. استخدم كبير علماء الأنثروبيك ، جيرارد كابلان ، البعد الكسوري (Fractal Dimension) لشرح هذه المسألة. بالطبع ، يحاول أشخاص آخرون طرقًا أخرى للتحقق من قانون Sacling ، لكن ما زلنا لا نستطيع تفسير السبب حتى الآن.
** • البعد الفركتلي: **
اقترح عالم الرياضيات فيليكس هاوسدورف لأول مرة مفهوم البعد الفركتلي في عام 1918 ، والذي عُرف لاحقًا أيضًا باسم Hausdorff Dimension. يمكن استخدام البعد الكسري لوصف بنية علاقة الميزة المخفية في بيانات التعلم الآلي ، ويقدم نموذج تفسير رياضي وراء تأثير القياس ، وبالتالي يشرح لماذا يمكن لنماذج الذكاء الاصطناعي تحسين الأداء باستخدام المقياس.
** أيضًا ، حتى لو علمنا بوجود قانون تحجيم ، فمن الصعب التنبؤ بالتغييرات في القدرات المحددة للنموذج. في البحث عن GPT-2 و GPT-3 ، لا نعرف أبدًا متى يمكن للنموذج تعلم الحساب والبرمجة ، وتظهر هذه القدرات فجأة. ** الشيء الوحيد الذي يمكن التنبؤ به هو على المستوى العددي ، مثل قيمة الخسارة ، وتغير قيمة الانتروبيا ، وما إلى ذلك يمكن التنبؤ بها بدقة تامة ، ولكن يبدو الأمر كما لو أنه يمكننا إجراء إحصائيات حول بيانات الطقس والتنبؤ اتجاه تغير الطقس بأكمله ، ولكن من الصعب التنبؤ بالطقس ودرجة الحرارة في يوم معين.
** Dwarkesh Patel: لماذا أصبح للنموذج فجأة قدرة معينة؟ على سبيل المثال ، لم يفهم الجمع من قبل ، لكنه أتقن الآن القدرة على الحساب؟ ما سبب هذا التغيير؟ **
** داريو أمودي: ** هذا سؤال آخر ما زلنا نستكشفه. نحاول استخدام طريقة التفسير الآلي (التفسير الآلي) لشرح هذه المسألة ، وشرح الظواهر اللغوية بفكرة مشابهة لاتصال الدائرة ، يمكنك تخيل هذه الأشياء كدوائر متصلة واحدة تلو الأخرى.
هناك بعض الأدلة على أنه عندما يتم تغذية النموذج بشيء ما ، فإن احتمال إعطاء الإجابة الصحيحة يزداد فجأة ، ولكن إذا نظرنا إلى التغيير قبل أن يعطي النموذج الإجابة الصحيحة بالفعل ، فإننا نرى أن الاحتمال من مليون واحد على مائة ، مائة ألف صعد ببطء إلى واحد على الألف. في العديد من هذه الحالات ، يبدو أن هناك بعض العمليات التدريجية التي لم نلاحظها ، والتي لم نكتشفها بعد.
لا يمكننا التأكد مما إذا كانت "الدائرة" مثل "الإضافة" موجودة دائمًا منذ اليوم الأول ، ولكنها تغيرت تدريجيًا من ضعيف إلى قوي في عملية معينة ، بحيث يمكن للنموذج تقديم الإجابة الصحيحة. هذه أسئلة نريد الإجابة عليها من خلال إمكانية الشرح الآلي.
** • التفسير الآلي: **
تفسيرات الآلية هي دراسة الهندسة العكسية للشبكات العصبية ، والتي يمكن استخدامها لمساعدة الناس على فهم كيفية تعيين النموذج لإدخال المخرجات بسهولة أكبر ، وهي طريقة لإدراك قابلية تفسير النموذج. الهدف الرئيسي من إمكانية شرح الآلية هو فهم التعلم العميق كعلم طبيعي ، وذلك باستخدام بنية النموذج ومعلماته لشرح عملية صنع القرار ونتائج التنبؤ بالنموذج ، بحيث يمكن للمستخدمين البشريين فهم مبدأ العمل والتحقق منه. الموديل. ركز عملها المبكر على استخدام عامل المصفوفة وطرق تصور السمات لفهم التمثيلات في الطبقات الوسيطة للشبكات المرئية ، ومؤخراً ركز على تمثيلات الشبكات متعددة الوسائط ، فضلاً عن فهم مستوى المسار لخوارزميات الشبكة العصبية.
نشر Anthropic دراسة حول إمكانية تفسير الآلية "التفسير الآلي والمتغيرات وأهمية القواعد القابلة للتفسير".
** Dwarkesh Patel: هل هناك قدرات لا تأتي مع حجم النموذج؟ **
** Dario Amodei: قد لا تظهر إمكانات محاذاة النموذج والقدرات المتعلقة بالقيمة بشكل طبيعي مع حجم النموذج. ** تتمثل إحدى طرق التفكير في أن العملية التدريبية للنموذج هي أساسًا للتنبؤ بالعالم وفهمه ، ومسؤوليته الرئيسية هي الحقائق وليس الآراء أو القيم. ولكن هناك بعض المتغيرات المجانية هنا: ما الإجراء الذي يجب عليك اتخاذه؟ ما هي وجهة النظر التي يجب أن تتخذها؟ ما هي العوامل التي يجب الانتباه إليها؟ ولكن لا توجد مثل هذه البيانات التي يمكن للنموذج التعلم منها. لذلك ، أعتقد أن ظهور المحاذاة والقيم وما إلى ذلك أمر غير محتمل.
** Dwarkesh Patel: هل هناك احتمال أنه قبل أن تلحق قدرة النموذج بالذكاء البشري ، سيتم استخدام البيانات المتاحة للتدريب؟ **
** داريو أمودي: ** أعتقد أنه من الضروري التمييز ما إذا كانت هذه مشكلة نظرية أو حالة عملية. من وجهة نظر نظرية ، لسنا بعيدين عن نفاد البيانات ، لكن تحيزي الشخصي هو أنه من غير المحتمل. يمكننا إنشاء البيانات بعدة طرق ، لذلك لا تشكل البيانات عائقًا حقًا. هناك موقف آخر حيث نستخدم جميع موارد الحوسبة المتاحة ، مما يؤدي إلى تقدم بطيء في قدرات النموذج. كلا السيناريوهين ممكنان.
** وجهة نظري الشخصية هي أن هناك احتمالية كبيرة ألا يصاب قانون التوسع بالركود ، وحتى إذا كانت هناك مشكلة ، فمن المرجح أن يكون السبب في بنية الحوسبة. ** على سبيل المثال ، إذا استخدمنا LSTM أو RNN ، فسيتغير معدل تطور قدرة النموذج. إذا واجهنا عنق الزجاجة في تطور قدرات النموذج في كل موقف معماري ، فسيكون ذلك خطيرًا للغاية ، لأنه يعني أننا واجهنا مشكلة أعمق.
** • LSTMs ： **
يمكن لشبكات الذاكرة طويلة المدى (شبكات الذاكرة طويلة المدى) ، وهي شبكة RNN خاصة (شبكة عصبية دورية) ، تعلم التبعيات طويلة المدى ، وحل مشكلة RNN التقليدية في تعلم أنماط التسلسل الطويل ، واستخراج المدى الطويل والقصير بالتسلسل معلومات البيانات. قدرة التعلم وقدرة التمثيل لـ LSTM أقوى من قدرة RNN القياسية.
** أعتقد أننا وصلنا إلى مرحلة قد لا يكون فيها الحديث كثيرًا في الطبيعة عن ما يمكن أن يفعله النموذج وما لا يمكنه فعله. ** في الماضي ، كان الناس يحدون من قدرة النموذج ، معتقدين أن النموذج لا يستطيع إتقان القدرة على التفكير ، وتعلم البرمجة ، ويعتقدون أنه قد يواجه اختناقات في بعض الجوانب. على الرغم من أن بعض الناس ، بمن فيهم أنا ، لم يفكروا في ذلك من قبل ، لكن في السنوات القليلة الماضية ، أصبح هذا النوع من نظرية عنق الزجاجة أكثر شيوعًا ، وقد تغير الآن.
** إذا كان تأثير عملية تحجيم النموذج المستقبلي يشهد اختناقًا ، أعتقد أن المشكلة تأتي من تصميم وظيفة الخسارة الذي يركز على مهمة توقع الرمز المميز التالية. ** عندما نركز كثيرًا على قدرات التفكير والبرمجة ، فإن فقدان النموذج سيركز على الرموز المميزة التي تعكس هذه القدرة ، وستظهر الرموز المميزة للمشكلات الأخرى بشكل أقل تكرارًا (ملاحظة: مجموعة بيانات ما قبل التدريب الخاصة بـ سيعتمد النموذج على الأهمية التي يوليها العلماء لدرجة القدرات ، وضبط نسبتها) ** ، تولي وظيفة الخسارة اهتمامًا كبيرًا لتلك الرموز المميزة التي توفر معظم المعلومات ، بينما تتجاهل تلك الرموز المهمة بالفعل ، فقد تكون الإشارة مغمورة في الضوضاء. **
إذا ظهرت هذه المشكلة ، فنحن بحاجة إلى تقديم نوع من عملية التعلم المعزز. هناك أنواع عديدة من RL ، مثل التعلم المعزز من خلال التغذية المرتدة البشرية (RLHF) ، والتعلم المعزز للأهداف ، ومثل الذكاء الاصطناعي الدستوري ، والتعزيز (التضخيم) والنقاش (مناظرة) وما شابه. هذه هي طريقة محاذاة النموذج وطريقة تدريب النموذج. ** قد نضطر إلى تجربة العديد من الطرق ، لكن يجب أن نركز على الهدف من النموذج. **
تتمثل إحدى مشكلات التعلم المعزز في أنك بحاجة إلى تصميم وظيفة خسارة كاملة للغاية. تم بالفعل تصميم وظيفة الخسارة للتنبؤ بالرمز التالي ، لذلك إذا رأى المقياس في هذا الاتجاه الحد الأعلى ، فإن تطوير الذكاء الاصطناعي سوف يتباطأ.
** دواركيش باتيل: كيف بدأ فهمك للتوسع؟ **
** داريو أمودي: ** يمكن تتبع تشكيل رأيي تقريبًا من 2014 إلى 2017. لقد كنت مهتمًا بتطوير الذكاء الاصطناعي ، لكنني اعتقدت لوقت طويل أنه سيستغرق وقتًا طويلاً حتى يتم تطبيق الذكاء الاصطناعي حقًا ، حتى ظهور AlexNet. ثم انضممت إلى فريق مشروع Wu Enda في Baidu في ذلك الوقت ، وكانت هذه هي المرة الأولى التي اتصلت فيها بالذكاء الاصطناعي.
أنا أعتبر نفسي محظوظًا تمامًا ، على عكس الأكاديميين الآخرين في ذلك الوقت ، فقد تم تكليفي بإنشاء أنظمة التعرف على الكلام على أحدث طراز ، وكان هناك الكثير من البيانات ووحدات معالجة الرسومات المتاحة. ** خلال هذا المشروع ، أدركت بطبيعة الحال أن القياس هو حل جيد. تختلف هذه العملية أيضًا عن أبحاث ما بعد الدكتوراه ، فنحن لا نحتاج بالضرورة إلى ابتكار أفكار ذكية ومبتكرة لم يتم اقتراحها من قبل. **
خلال المشروع ، أحتاج فقط إلى إجراء بعض التجارب الأساسية ، مثل إضافة المزيد من الطبقات إلى RNN ، أو تعديل معلمات التدريب لمحاولة إطالة وقت تدريب النموذج. خلال هذه الفترة ، لاحظت عملية تدريب النموذج ورأيت متى يحدث ذلك المحاكاة. حاولت أيضًا إضافة بيانات تدريب جديدة ، أو تقليل جولات التدريب المتكررة ، ولاحظت تأثير هذه التعديلات على أداء النموذج. خلال هذه التجارب ، لاحظت بعض النتائج المنتظمة. ومع ذلك ، ليس من الواضح بالنسبة لي ما إذا كانت هذه التخيلات رائدة أو ما إذا كان الزملاء الآخرون قد توصلوا إلى اكتشافات مماثلة. بشكل عام ، هذه مجرد تجربتي المحظوظة كمبتدئ في الذكاء الاصطناعي. لا أعرف الكثير عن هذا المجال ، لكنني شعرت في ذلك الوقت أنه تم التحقق من صحة ذلك بالمثل في مجال التعرف على الكلام.
** تعرفت على إيليا قبل تأسيس OpenAI ، وأخبرني أنه "علينا أن ندرك أن هذه النماذج تريد التعلم فقط" ، هذا المنظور ألهمني إلى حد كبير ، وجعلني أدرك أن الملاحظة السابقة قد لا تكون الظاهرة كذلك مثيل عشوائي ولكنه حدث شائع. تحتاج هذه النماذج إلى التعلم فقط ، فنحن بحاجة فقط إلى توفير بيانات عالية الجودة وخلق مساحة كافية لها للعمل ، وستتعلم النماذج من تلقاء نفسها. **
** دواركيش باتيل: قلة من الناس استنتجوا وجهة نظر "الذكاء العالمي" مثلك وإيليا. ما رأيك في هذا السؤال بشكل مختلف عن الآخرين؟ ما الذي يجعلك تعتقد أن النماذج ستستمر في التحسن في التعرف على الكلام ، وبالمثل في مناطق أخرى؟ **
** داريو أمودي: ** لا أعرف حقًا ، عندما لاحظت لأول مرة ظاهرة مماثلة في مجال الكلام ، اعتقدت أنها مجرد قانون ينطبق على المجال الرأسي للتعرف على الكلام. بين عامي 2014 و 2017 ، جربت العديد من الأشياء المختلفة ولاحظت الشيء نفسه مرارًا وتكرارًا. على سبيل المثال ، لاحظت هذا في لعبة Dota ، على الرغم من أن البيانات المتوفرة في مجال الروبوتات محدودة نسبيًا والعديد من الناس غير متفائلين ، فقد لاحظت أيضًا ظاهرة مماثلة. ** أعتقد أن الناس يميلون إلى التركيز على حل المشكلات العاجلة. وقد ينتبهون أكثر لكيفية حل المشكلة نفسها في الاتجاه العمودي ، بدلاً من التفكير في مشكلات المستوى الأدنى في الاتجاه الأفقي ، حتى لا يفعلوا ذلك. النظر بشكل كامل في إمكانية تحجيم الجنس. على سبيل المثال ، في مجال الروبوتات ، قد تكون المشكلة الأساسية هي عدم كفاية بيانات التدريب ، ولكن من السهل استنتاج أن القياس لا يعمل. **
** Dwarkesh Patel: متى أدركت أن اللغة يمكن أن تكون وسيلة لإدخال كميات هائلة من البيانات في هذه النماذج؟ **
** داريو أمودي: ** أعتقد أن أهم شيء هو مفهوم التعلم الذاتي القائم على التنبؤ بالرمز التالي ، بالإضافة إلى عدد كبير من هياكل التنبؤ. هذا في الواقع مشابه لمنطق اختبار نمو الطفل. على سبيل المثال ، تدخل ماري إلى الغرفة وتضع شيئًا ، ثم يدخل تشاك ويحرك الشيء دون أن تلاحظ ماري ، ما الذي تعتقده ماري؟ لإكمال هذا النوع من التنبؤ ، يجب أن يحل النموذج المشكلات الرياضية والمشكلات النفسية وما إلى ذلك في نفس الوقت. لذا في رأيي ، لعمل تنبؤات جيدة ، عليك تغذية النموذج بالبيانات والسماح له بالتعلم دون أي قيود.
على الرغم من أن لدي شعورًا مشابهًا منذ وقت طويل ، إلى أن قام أليك رادفورد ببعض المحاولات على GPT-1 ، أدركت أنه لا يمكننا فقط تنفيذ نموذج بقدرة تنبؤية ، ولكن أيضًا جعله دقيقًا. إكمال أنواع مختلفة من المهام. أعتقد أن هذا الشيء يمنحنا إمكانية القيام بجميع أنواع المهام ، لنكون قادرين على حل جميع أنواع المشاكل بما في ذلك التفكير المنطقي. بالطبع ، يمكننا أيضًا الاستمرار في توسيع حجم النموذج.
• لا يزال أليك رادفورد ، مؤلف كتاب Sentiment Neuron ، سلف سلسلة GPT ، والمؤلف المشارك لسلسلة أوراق GPT ، يعمل في OpenAI.
** Dwarkesh Patel: كيف تعتقد أن التدريب النموذجي يتطلب الكثير من البيانات؟ هل يجب أن تقلق بشأن انخفاض كفاءة تدريب النموذج؟ **
** داريو أمودي **: لا يزال هذا السؤال قيد البحث. تقول إحدى النظريات أن حجم النموذج هو في الواقع 2-3 مرات من الحجم أصغر من الدماغ البشري ، لكن كمية البيانات المطلوبة لتدريب النموذج أكبر بثلاث إلى أربع مرات من كمية النص التي تمت قراءتها قبل 18 عامًا. إنسان قديم: من المحتمل أن يكون ترتيب الحجم ، وترتيب حجم البشر هو مئات الملايين ، في حين أن ترتيب حجم النماذج هو مئات المليارات أو التريليونات. كمية البيانات التي حصل عليها البشر ليست كبيرة ، لكنها كافية تمامًا للتعامل مع عملنا وحياتنا اليومية. ولكن هناك احتمال آخر ، بالإضافة إلى التعلم ، أن حواسنا تقوم بالفعل بإدخال المعلومات إلى الدماغ.
يوجد في الواقع تناقض هنا. النموذج الذي لدينا حاليًا أصغر من الدماغ البشري ، ولكنه يمكن أن ينجز العديد من المهام المشابهة لمهام الدماغ البشري. وفي نفس الوقت ، فإن كمية البيانات التي يتطلبها هذا النموذج أكبر بكثير من أن الدماغ البشري. لذلك ما زلنا بحاجة إلى الاستمرار في استكشاف وفهم هذه المشكلة ، ولكن إلى حد ما ، هذه ليست مهمة. ** الأهم من ذلك كيفية تقييم قدرة النموذج وكيفية الحكم على الفجوة بينها وبين البشر. بقدر ما أشعر بالقلق ، فإن الفجوة ليست بعيدة. **
** Dwarkesh Patel: هل التركيز على التوسع ، وعلى نطاق أوسع ، تقدم قدرة نموذج محرك الحوسبة واسعة النطاق يقلل من أهمية دور تقدم الخوارزميات؟ **
** Dario Amodei: ** عندما تم إصدار ورقة Transformer لأول مرة ، كتبت عن القضايا ذات الصلة وذكرت أن هناك 7 عوامل ذات صلة ستؤثر على تحسين قدرة النموذج ، منها 4 عوامل هي الأكثر وضوحًا وحساسية: مقدار معلمات النموذج ، مقياس قوة الحوسبة ، جودة البيانات ، ووظيفة الخسارة. على سبيل المثال ، تعتمد المهام مثل التعلم المعزز أو التنبؤ بالرمز التالي بشكل كبير على وجود وظيفة الخسارة الصحيحة أو آلية التحفيز.
** • التعلم المعزز (RL): **
ابحث عن المسار الأمثل للعمل لكل حالة معينة من البيئة من خلال عملية أساسية من التجربة والخطأ. سيقدم نموذج التعلم الآلي قاعدة عشوائية في البداية ، وفي نفس الوقت أدخل قدرًا معينًا من النقاط (يُعرف أيضًا باسم المكافآت) إلى النموذج في كل مرة يتم فيها اتخاذ إجراء.
** • دالة الخسارة (دالة الخسارة) ** في التعلم الآلي تشير إلى وظيفة قياس جودة الملاءمة ، والتي تُستخدم لتعكس درجة الاختلاف بين ناتج النموذج والقيمة الحقيقية ، أي لقياس التنبؤ خطأ ؛ بما في ذلك التنبؤ بجميع نقاط العينة خطأ ، مما يوفر قيمة واحدة لتمثيل الجودة الكلية للملاءمة ؛ في نفس الوقت ، أثناء عملية التدريب ، سيتم تعديل معلمات النموذج باستمرار وفقًا لقيمة وظيفة الخسارة ، في من أجل تقليل قيمة الخسارة والحصول على تأثير مناسب أفضل.
هناك أيضًا 3 عوامل:
الأول هو التماثلات الهيكلية ، فإذا لم تأخذ العمارة في الحسبان التناظر الصحيح ، فلن تعمل وستكون غير فعالة للغاية. على سبيل المثال ، تعتبر الشبكة العصبية التلافيفية (CNN) التناظر متعدية (التناظر الانتقالي) ، بينما تنظر LSTM في التناظر الزمني (التناظر الزمني) ، لكن المشكلة مع LSTM هي أنها لا تولي اهتمامًا للسياق ، وهذا الضعف الهيكلي شائع. إذا كان النموذج لا يستطيع فهم ومعالجة تاريخ الماضي الطويل (بالإشارة إلى البيانات التي ظهرت سابقًا في بنية بيانات التسلسل) لأسباب هيكلية ، فسيكون الأمر كما لو أن الحساب غير متماسك.
** • آدم （تقدير اللحظات التكيفية） ： **
تقدير اللحظة التكيفية ، تجمع خوارزمية آدم بين مزايا RMSprop و SGD ، ويمكنها التعامل مع مشاكل التحسين غير المحدبة بشكل جيد.
** • SGD （Stochastic Gradient Descent） ： **
نزول التدرج العشوائي ، طريقة تكرارية لتحسين وظيفة موضوعية بخصائص نعومة مناسبة مثل التفاضل أو التمايز الفرعي. يمكن اعتباره بمثابة تقريب عشوائي لتحسين نزول التدرج. في مشاكل التحسين عالية الأبعاد ، يقلل هذا من العبء الحسابي ويسمح بتكرار أسرع مقابل معدلات تقارب أقل.
ثم هناك الاستقرار العددي. يعد تحسين وظائف الخسارة أمرًا صعبًا عدديًا ويسهل تمييزه. هذا هو السبب في أن آدم يعمل بشكل أفضل من الأمراض المنقولة بالاتصال الجنسي العادية.
العنصر الأخير هو ضمان عدم إعاقة عملية حساب النموذج ، وعندها فقط يمكن أن تنجح الخوارزمية.
لذلك ، فإن تقدم الخوارزمية لا يقتصر فقط على تعزيز قوة الحوسبة للكمبيوتر ، ولكن أيضًا لإزالة العوائق المصطنعة للهندسة المعمارية القديمة. في كثير من الأحيان ، يريد النموذج التعلم والحساب بحرية ، فقط ليتم حظره من قبلنا دون علمنا.
** Dwarkesh Patel: هل تعتقد أنه سيكون هناك شيء من مقياس Transformer لدفع التكرار الكبير التالي؟ **
** داريو أمودي: ** أعتقد أنه ممكن. حاول بعض الناس محاكاة التبعيات طويلة المدى ، كما لاحظت أن بعض الأفكار في Transformer ليست فعالة بما يكفي لتمثيل الأشياء أو معالجتها. ** ومع ذلك ، حتى إذا لم يحدث هذا النوع من الابتكار ، فنحن نتطور بالفعل بسرعة. وإذا ظهر ، فسيؤدي ذلك إلى تطوير المجال بشكل أسرع ، وقد لا يكون التسارع كثيرًا ، لأن السرعة بالفعل سريعة جدًا . **
** Dwarkesh Patel: فيما يتعلق بالحصول على البيانات ، هل يجب أن يحتوي النموذج على ذكاء متجسد؟ **
** داريو أمودي: ** لا أميل إلى التفكير في الأمر على أنه معمارية جديدة ، بل وظيفة خسارة جديدة ، لأن البيئة التي يجمع فيها النموذج البيانات تصبح مختلفة تمامًا ، وهو أمر مهم لتعلم مهارات معينة. على الرغم من صعوبة جمع البيانات ، فقد أحرزنا على الأقل بعض التقدم على طريق جمع البيانات ، وسوف نستمر في المستقبل ، على الرغم من أنه لا يزال هناك المزيد من الاحتمالات التي يتعين تطويرها من حيث الممارسات المحددة.
• فقدان وظيفة:
إنه مفهوم مهم في التعلم الآلي والتعلم العميق. يتم استخدامه لقياس درجة الاختلاف بين نتيجة توقع النموذج والتسمية الحقيقية ، أي خطأ توقع النموذج. تم تصميم وظيفة الخسارة لتمكين النموذج من تقليل خطأ التنبؤ عن طريق ضبط المعلمات ، وبالتالي تحسين أداء ودقة النموذج.
** Dwarkesh Patel: هل هناك طرق أخرى مثل RL؟ **
** داريو أمودي: ** نحن نستخدم بالفعل طريقة RLHF للتعلم المعزز ، لكنني أعتقد أنه من الصعب التمييز ما إذا كان هذا هو المحاذاة أم القدرة؟ الاثنان متشابهان جدا نادرًا ما أحصل على عارضين لاتخاذ إجراءات عبر RL. يجب استخدام RL فقط بعد أن يكون لدينا النموذج يتخذ الإجراءات لفترة من الوقت ويفهم عواقب تلك الإجراءات. لذلك أعتقد أن التعلم المعزز سيكون قويًا للغاية ، ولكن لديه أيضًا الكثير من المشكلات الأمنية من حيث كيفية اتخاذ النماذج للإجراءات في العالم
التعلم المعزز هو أداة شائعة الاستخدام عندما يتم اتخاذ الإجراءات على مدى فترة زمنية طويلة ولا يتم فهم عواقب تلك الإجراءات إلا في وقت لاحق.
** Dwarkesh Patel: كيف تعتقد أنه سيتم دمج هذه التقنيات في مهام محددة في المستقبل؟ هل يمكن لنماذج اللغة هذه التواصل مع بعضها البعض وتقييم بعضها البعض والرجوع إلى نتائج البحث الخاصة بها وتحسينها؟ أم أن كل نموذج يعمل بشكل مستقل ويركز فقط على تقديم النتائج بنفسه دون التعاون مع النماذج الأخرى؟ هل ستكون هذه النماذج اللغوية عالية المستوى قادرة على تشكيل نظام تعاوني حقيقي في عملية التطوير والتطبيق في المستقبل ، أم أن كل نموذج سيقوم بعمله الخاص؟ **
** داريو أمودي: ** من المحتمل أن يحتاج النموذج إلى إكمال مهام أكثر تعقيدًا في المستقبل ، وهو اتجاه لا مفر منه. ومع ذلك ، لأسباب أمنية ، قد نحتاج إلى تقييد نطاق تطبيق نموذج اللغة إلى حد معين للتخفيف من المخاطر المحتملة. ** هل الحوار بين النماذج ممكن؟ هل هي مخصصة بشكل أساسي للمستخدمين البشريين؟ تتطلب هذه القضايا النظر في التأثيرات الاجتماعية والثقافية والاقتصادية التي تتجاوز المستوى التقني ، ويصعب التنبؤ بها بدقة.
** على الرغم من أنه يمكننا توقع اتجاه النمو لحجم النموذج ، إلا أنه من الصعب إجراء تنبؤات موثوقة بشأن مشكلات مثل توقيت التسويق أو نموذج الطلب. أنا لست جيدًا في التنبؤ بهذا النوع من اتجاهات التنمية المستقبلية بنفسي ، ولا يمكن لأحد أن يفعل ذلك جيدًا في الوقت الحالي. **
** كيف ستتطابق قدرة النموذج مع قدرة البشر؟ **
** Dwarkesh Patel: إذا أخبرني شخص ما في عام 2018 أنه سيكون لدينا طراز مثل Claude-2 في عام 2023 مع جميع أنواع القدرات الرائعة ، فأنا بالتأكيد أعتقد أن الذكاء الاصطناعي العام قد تحقق في عام 2018. لكن من الواضح ، على الأقل في الوقت الحالي ، وربما حتى في الأجيال القادمة ، أننا ندرك جيدًا أنه ستظل هناك اختلافات بين الذكاء الاصطناعي والمستويات البشرية. لماذا هذا التناقض بين التوقعات والواقع؟ **
** داريو أمودي: ** أنا جديد على GPT-3 ، وفي المراحل الأولى من الأنثروبيك ، شعوري العام تجاه هذه النماذج هو: يبدو أنهم يفهمون حقًا جوهر اللغة ، لست متأكدًا من أننا بحاجة إلى توسيع النموذج إلى أي مدى ، ربما نحتاج إلى إيلاء المزيد من الاهتمام لمجالات أخرى مثل التعلم المعزز. في عام 2020 ، أعتقد أنه من الممكن زيادة حجم النموذج بشكل أكبر ، ولكن مع تعمق البحث ، بدأت أفكر فيما إذا كان من الأفضل إضافة تدريب مستهدف آخر بشكل مباشر مثل التعلم المعزز.
** لقد رأينا أن الذكاء البشري هو في الواقع نطاق واسع جدًا ، لذا فإن تعريف "الآلات التي تصل إلى المستوى البشري" هو بحد ذاته نطاق ، والمكان والزمان اللذان يمكن للآلات تحقيق مهام مختلفة فيهما مختلفان. في كثير من الأحيان ، على سبيل المثال ، اقتربت هذه النماذج من الأداء البشري أو تجاوزته ، لكنها لا تزال في مهدها عندما يتعلق الأمر بإثبات نظريات رياضية بسيطة نسبيًا. كل هذه تظهر أن الذكاء ليس طيفًا مستمرًا (طيفًا). ** هناك أنواع مختلفة من المعرفة والمهارات المهنية في مختلف المجالات ، كما أن أساليب الذاكرة مختلفة. إذا سألتني قبل 10 سنوات (ملاحظة صغيرة: كان داريو لا يزال يدرس الفيزياء وعلم الأعصاب في ذلك الوقت) ، لم أكن أتخيل أن هذا سيكون هو الحال.
** Dwarkesh Patel: ما مدى التداخل في نطاق المهارات الذي تعتقد أن هذه النماذج ستظهره من توزيع التدريب الذي تحصل عليه هذه النماذج من الكم الهائل من بيانات الإنترنت التي يحصل عليها البشر من التطور؟ **
** داريو أمودي: ** هناك تداخل كبير. تلعب العديد من النماذج دورًا في التطبيقات التجارية ، مما يساعد بشكل فعال البشر على تحسين الكفاءة. نظرًا لتنوع الأنشطة البشرية ووفرة المعلومات على الإنترنت ، أعتقد أن النماذج تتعلم إلى حد ما النماذج المادية للعالم الحقيقي ، لكنها لا تتعلم كيفية العمل في الواقع الفعلي ، وهي مهارات قد تكون سهلة نسبيًا صقل. أعتقد أن هناك بعض الأشياء التي لا تتعلمها النماذج ، لكن البشر يفعلونها.
** دواركيش باتيل: هل يمكن للنماذج أن تتفوق على البشر في العديد من المهام المتعلقة بالأعمال والاقتصاد في السنوات القليلة المقبلة؟ في الوقت نفسه ، قد تظل النماذج أدنى من البشر في بعض المهام ، وبالتالي تجنب انفجار ذكاء مماثل؟ **
** داريو أمودي: ** هذا السؤال يصعب التكهن به. ما أريد أن أذكره هو أن قانون القياس قد يوفر بعض أفكار التنبؤ من منظور الأساس النظري ، ولكن سيكون من الصعب جدًا فهم تفاصيل التطوير المستقبلي. ** قد يستمر تطبيق قانون التوسع ، بالطبع ، وما إذا كانت عوامل الأمان أو العوامل التنظيمية ستبطئ التقدم ، ولكن إذا تم وضع هذه الاحتكاكات جانبًا ** ، أعتقد أنه إذا كان بإمكان الذكاء الاصطناعي المضي قدمًا في إنشاء القيمة الاقتصادية ، فيجب عليه تحقيق تقدم أكبر سيتم في المزيد من المجالات.
لا أرى أداء النموذج ضعيفًا بشكل خاص في أي مجال ، أو لا يحرز أي تقدم على الإطلاق. مثل الرياضيات والبرمجة في الماضي ، فهي صعبة ولكنها تحقق أيضًا نتائج غير متوقعة. في الأشهر الستة الماضية ، حقق نموذج 2023 تقدمًا كبيرًا مقارنةً بنموذج 2022. على الرغم من أن أداء النموذج في مختلف المجالات والمهام غير متوازن تمامًا ، فإن تحسين القدرة الكلية سيفيد بالتأكيد جميع المجالات.
** Dwarkesh Patel: عند مواجهة مهمة معقدة ، هل يمتلك النموذج القدرة على أداء سلسلة من الأفكار في سلسلة من المهام المستمرة؟ **
** داريو أمودي: ** تعتمد القدرة المستمرة على اتخاذ القرار على تدريب التعلم المعزز ، بحيث يمكن للنموذج أداء مهام طويلة المدى. ** ولا أعتقد أن هذا يتطلب نطاقًا أكبر من قوة الحوسبة الإضافية ، فالتفكير على هذا النحو يعد تقديراً خاطئاً لقدرة النموذج على التعلم. **
إن مسألة ما إذا كانت النماذج ستتفوق على البشر في بعض المجالات ولكنها تكافح من أجل القيام بذلك في مجالات أخرى ، أعتقد أنه معقد ، وفي بعض المجالات قد يكون صحيحًا ، لكن في بعض المجالات لن يكون ذلك لأن العالم المادي ينطوي على مهام استخباراتية مجسدة في
إذا ما هو التالي؟ هل يمكن أن يساعدنا الذكاء الاصطناعي في تدريب ذكاء اصطناعي أسرع يمكنه حل هذه المشكلات؟ هل العالم المادي لم يعد بحاجة؟ هل نحن قلقون بشأن قضايا المحاذاة؟ هل هناك مخاوف بشأن سوء الاستخدام مثل صنع أسلحة دمار شامل؟ هل يجب أن نقلق من أن الذكاء الاصطناعي نفسه سيتولى مباشرة أبحاث الذكاء الاصطناعي المستقبلية؟ هل نحن قلقون من أنها ستصل إلى حد معين من الإنتاجية الاقتصادية حيث يمكنها أداء مهام مثل المتوسط؟ ... أعتقد أن هذه الأسئلة قد يكون لها إجابات مختلفة ، لكنني أعتقد أنها ستكون كلها في غضون بضع سنوات.
** دواركيش باتيل: إذا كان كلود موظفًا في أنثروبيك ، فماذا سيكون راتبه؟ هل يسرع من تطور الذكاء الاصطناعي بالمعنى الحقيقي؟ **
** داريو أمودي: ** بالنسبة لي ، ربما يكون متدربًا في معظم الحالات ، لكنه لا يزال أفضل من متدرب في بعض المجالات المحددة. لكن بشكل عام ، قد يكون من الصعب إعطاء إجابة مطلقة على هذا الأمر ، لأن النماذج ليست بشرًا في الطبيعة ، ويمكن تصميمها للإجابة على سؤال واحد أو بضعة أسئلة ، ** ولكن على عكس البشر ، ليس لديهم مفهوم "الخبرة على أساس الوقت". **
** إذا أراد الذكاء الاصطناعي أن يصبح أكثر كفاءة ، فعليه أولاً مساعدة البشر على تحسين إنتاجيتهم ، ثم الوصول تدريجيًا إلى نفس المستوى من الإنتاجية البشرية. الخطوة التالية بعد ذلك هي أن تكون قوة رئيسية في تقدم العلم ، وهو ما أعتقد أنه سيحدث في المستقبل. لكني أظن أن تفاصيل ما حدث بالفعل في المستقبل ستبدو غريبة بعض الشيء الآن ، مختلفة عن النماذج التي توقعناها. **
** دواركيش باتيل: متى برأيك ستصل قدرة النموذج إلى المستوى البشري؟ ماذا سيكون عليه الحال بعد ذلك؟ **
** داريو أمودي: ** يعتمد على مدى ارتفاع أو انخفاض التوقعات البشرية والمعايير. على سبيل المثال ، إذا كانت توقعاتنا هي فقط أن يتواصل النموذج لمدة ساعة واحدة ، ويمكن للنموذج أن يتصرف كإنسان متعلم جيدًا أثناء العملية ، فإن الهدف من جعل النموذج يصل إلى المستوى البشري قد لا يكون بعيدًا ، أعتقد ذلك قد يكون ممكنا في 2 إلى 3 سنوات سيتحقق. ** يتأثر هذا الجدول الزمني إلى حد كبير بقرار شركة أو صناعة لإبطاء التنمية أو القيود الحكومية لأسباب تتعلق بالسلامة. ** ولكن من منظور البيانات وقوة الحوسبة واقتصاد التكلفة ، لسنا بعيدين عن هذا الهدف. **
ولكن حتى لو وصل النموذج إلى هذا المستوى ، ** لا أعتقد أن النموذج يمكن أن يهيمن على غالبية أبحاث الذكاء الاصطناعي ، أو أن يغير بشكل كبير الطريقة التي يعمل بها الاقتصاد ، كما أنه ليس خطيرًا بشكل كبير. على العموم ، تتطلب المعايير المختلفة جداول زمنية مختلفة لتحقيقها ، ولكن من منظور تقني بحت ، ليس بعيدًا عن تحقيق نموذج يمكن مقارنته بإنسان متعلم أساسي. **
** Dwarkesh Patel: لماذا يمكن للنموذج أن يحقق نفس قدرة الإنسان بالتعليم الأساسي ، لكن لا يمكنه المشاركة في الأنشطة الاقتصادية أو استبدال دور الإنسان؟ **
** داريو أمودي: ** أولاً وقبل كل شيء ، ربما لم يصل النموذج إلى مستوى عالٍ بما يكفي. ** هل ستكون قادرة على تسريع إنتاجية 1000 عالم جيد إلى حد كبير في مجال مثل أبحاث الذكاء الاصطناعي؟ الميزة النسبية للنموذج في هذا الصدد ليست واضحة بعد. **
في الوقت الحالي ، لم تحقق النماذج الكبيرة اكتشافات علمية مهمة ، ربما لأن مستوى هذه النماذج ليس مرتفعًا بما يكفي ، وقد يكون أداء هذه النماذج مكافئًا فقط للمستوى B أو المستوى B. لكنني أعتقد أن هذا سيتغير مع مقياس النموذج. النماذج تقود مجالات أخرى في الحفظ ، ودمج الحقائق ، وإقامة الروابط. خاصة في مجال علم الأحياء ، نظرًا لتعقيد الكائنات الحية ، جمعت النماذج الحالية قدرًا كبيرًا من المعرفة. الاكتشاف والاتصال مهمان في هذا المجال. على عكس الفيزياء ، يتطلب علم الأحياء الكثير من الحقائق ، وليس فقط الصيغ. لذلك أنا متأكد من أن النماذج لديها بالفعل الكثير من المعرفة ، لكن لم تكن قادرة على تجميعها جميعًا لأن مستوى المهارة لا يصل إلى المستوى المطلوب. أعتقد أنهم يتطورون تدريجياً لدمج هذه المعرفة على مستوى أعلى.
سبب آخر هو أن هناك العديد من الاحتكاكات غير المرئية في أنشطة الأعمال الفعلية التي لا يمكن أن يتعلمها النموذج. على سبيل المثال ، من الناحية المثالية ، يمكننا استخدام روبوتات الذكاء الاصطناعي للتفاعل مع العملاء ، لكن الموقف الفعلي أكثر تعقيدًا بكثير من النظرية ، ولا يمكننا الاعتماد ببساطة على روبوتات خدمة العملاء أو نأمل أن يحل الذكاء الاصطناعي محل الموظفين البشريين لإكمال هذه المهام. وفي الواقع ، لا تزال هناك تكاليف داخل الشركة للترويج المصطنع لتنفيذ النموذج ، والجمع بين روبوت الذكاء الاصطناعي وسير العمل ، وما إلى ذلك.
** في كثير من الحالات ، لا تكون كفاءة الأشخاص الذين يستخدمون النموذج عالية ، كما أن إمكانات النموذج لم تتحقق بالكامل. ليس هذا بسبب عدم قدرة النموذج بشكل كافٍ ، ولكن لأنه يتعين على الأشخاص قضاء الوقت في البحث عن كيفية جعلها تعمل بكفاءة أكبر. **
بشكل عام ، على المدى القصير ، لن تحل النماذج تمامًا محل البشر ، ولكن على المدى الطويل ، حيث تستمر قدرات النماذج في التحسن ويصبح دورها في تحسين كفاءة العمل البشري أكبر وأكبر ، سوف يفسح البشر في النهاية الطريق للنماذج. . إنه فقط من الصعب علينا تحديد توقيتات دقيقة للمراحل المختلفة. على المدى القصير ، هناك العديد من العقبات والعوامل المعقدة التي تجعل النموذج "محدودًا" ، ولكن في جوهره ، لا يزال الذكاء الاصطناعي في مرحلة النمو المتسارع.
** Dwarkesh Patel: بعد أن نصل إلى هذه النقطة في السنتين أو الثلاث سنوات القادمة ، هل سيظل الذكاء الاصطناعي بأكمله يتقدم بالسرعة التي هو عليها اليوم؟ **
** داريو أمودي: ** هيئة المحلفين ما زالت خارج. من خلال ملاحظة وظيفة الخسارة ، وجدنا أن كفاءة تدريب النموذج آخذة في التناقص ، ومنحنى قانون القياس ليس حادًا كما كان في الأيام الأولى. هذا ما تؤكده أيضًا النماذج الصادرة عن شركات مختلفة. ولكن مع تطور هذا الاتجاه ، يصبح المقدار الضئيل من الانتروبيا في كل تنبؤ دقيق أكثر أهمية. ربما كانت هذه القيم الصغيرة للإنتروبيا هي التي خلقت الفجوة بين أينشتاين والفيزيائي العادي. فيما يتعلق بالأداء الفعلي ، يبدو أن المقياس يتحسن بطريقة خطية نسبيًا ، وإن كان من الصعب التنبؤ بها. لذلك ، من الصعب رؤية هذه المواقف بوضوح. بالإضافة إلى ذلك ، أعتقد أن العامل الأكبر الذي يدفع عجلة التسارع هو تدفق المزيد والمزيد من الأموال في هذه المساحة ، ويدرك الناس أن هناك قيمة اقتصادية ضخمة في هذا المجال. لذلك أتوقع زيادة بمقدار 100 ضعف في التمويل لأكبر النماذج ، وأداء الرقاقة يتحسن ، والخوارزميات تتحسن لأن هناك الكثير من الناس يعملون على هذا الآن.
** دواركيش باتيل: هل تعتقد أن كلود واعٍ؟ **
** داريو أمودي: ** لست متأكدًا بعد. اعتقدت في الأصل أننا بحاجة إلى القلق بشأن هذا النوع من المشاكل فقط عندما يعمل النموذج في بيئة غنية بما فيه الكفاية ، مثل الذكاء المتجسد ، أو لديه خبرة طويلة المدى ووظيفة المكافأة (وظيفة المكافأة) ، لكنني الآن مهتم بـ النموذج ، خاصة النموذج بعد البحث عن الآلية الداخلية ، اهتزت وجهة نظري: ** يبدو أن النموذج الكبير يحتوي على العديد من الآليات المعرفية المطلوبة ليصبح عاملاً نشطًا ، مثل رأس الحث (Induction Head). نظرًا لمستوى قدرة نماذج اليوم ، فقد تصبح هذه مشكلة حقيقية في العامين القادمين. **
** • وظيفة المكافأة: **
آلية حافزة في التعلم المعزز تخبر الوكيل بما هو صواب وما هو خطأ من خلال المكافآت والعقوبات.
** • رئيس الحث: **
مكون / هيكل نموذج محدد في نموذج Tranformer يمكّن النموذج من القيام بالتعلم السياقي.
** دواركيش باتيل: كيف نفهم "الذكاء" حيث تستمر قدرات النماذج اللغوية في النمو وتقترب من نطاقات المستوى البشري؟ **
** داريو أمودي: ** أدرك حقًا أن الذكاء يأتي من فهم الطبيعة "المادية" لقوة الحوسبة. قد تتكون الأنظمة الذكية من العديد من الوحدات المستقلة أو تكون معقدة للغاية. يسميها ريتش ساتون "الدرس المحزن" ، والمعروف أيضًا باسم "فرضية القياس" ، وقد بدأ الباحثون الأوائل مثل شين ليك وراي كورزويل في إدراك ذلك في عام 2017 تقريبًا.
** • الدرس المرير / فرضية القياس ： **
في عام 2019 ، نشر Rich Sutton مقال The Bitter Lesson. النقطة الأساسية في المقالة هي أن أبحاث الذكاء الاصطناعي يجب أن تستفيد بالكامل من موارد الحوسبة. فقط عند استخدام قدر كبير من الحوسبة يمكن تحقيق اختراقات البحث.
خلال الفترة 2014-2017 ، كشف المزيد والمزيد من الباحثين عن هذه النقطة وفهموها. هذه قفزة كبيرة إلى الأمام في الفهم العلمي. إذا استطعنا إنشاء ذكاء بدون شروط محددة ، فقط التدرجات المناسبة وإشارات الخسارة ، فإن تطور الذكاء يكون أقل غموضًا.
القدرة على النظر إلى النموذج ، لا شيء ينيرني كثيرًا لإعادة النظر في فكرة الذكاء البشري. إن اختيار بعض القدرات المعرفية أكثر اعتباطية مما كنت أعتقد ، والعلاقة بين القدرات المختلفة قد لا يتم تفسيرها من خلال السر نفسه. ** النماذج قوية في الترميز ، لكنها ليست قادرة بعد على إثبات نظرية الأعداد الأولية ، وربما لا يكون الإنسان كذلك. **
** المحاذاة: القابلية للتفسير هي "الأشعة السينية" للنموذج **
** Dwarkesh Patel: ما هي آلية التفسير؟ ما العلاقة بينه وبين المحاذاة؟ **
** داريو أمودي: ** في عملية تنفيذ المحاذاة ، لا نعرف ما حدث داخل النموذج. أعتقد أنه مع جميع الأساليب التي تتضمن ضبطًا دقيقًا ، تظل بعض المخاطر الأمنية المحتملة قائمة ، ويتم تعليم النموذج عدم عرضها. ** جوهر الفكرة الكاملة لقابلية شرح الآلية هو فهم كيفية عمل النموذج داخليًا. **
ليس لدينا إجابة محددة حتى الآن. يمكنني وصف العملية تقريبًا. التحدي الذي يواجه تلك الأساليب التي تدعي أنها قادرة على تحقيق التوافق في هذه المرحلة هو: هل تظل هذه الأساليب فعالة عندما يكون مقياس النموذج أكبر ، أو تكون القدرات أقوى ، أو تتغير مواقف معينة؟ لذلك ، ** أعتقد أنه إذا كانت هناك "آلة أوراكل" يمكنها مسح النموذج والحكم على ما إذا كان النموذج قد تمت مواءمته ، فسوف يجعل هذه المشكلة أسهل كثيرًا. **
** في الوقت الحالي ، أقرب ما توصلنا إليه من مفهوم مثل هذه الوسيطة هو شيء مثل قابلية شرح الآلية ** ، لكنه لا يزال بعيدًا عن متطلباتنا المثالية. أميل إلى التفكير في محاولات المحاذاة الحالية لدينا كمجموعة تدريب موسعة ، لكنني لست متأكدًا مما إذا كان بإمكانها الاستمرار في الحصول على تأثير محاذاة جيد على مشكلة التوزيع خارج نطاق التوزيع. إنه يشبه تصوير نموذج بالأشعة السينية بدلاً من تعديله ، وهو أشبه بالتقييم أكثر من كونه تدخلاً.
** Dwarkesh Patel: لماذا يجب أن تكون قابلية الشرح الآلية مفيدة؟ كيف تساعدنا في توقع المخاطر المحتملة للنموذج؟ يبدو الأمر أشبه بافتراض أنك خبير اقتصادي يرسل علماء الاقتصاد الجزئي لدراسة الصناعات المختلفة ، ولكن لا يزال لديك احتمال كبير بأن تواجه صعوبة في التنبؤ بما إذا كان سيكون هناك ركود في السنوات الخمس المقبلة. **
** داريو أمودي: ** هدفنا ليس الفهم الكامل لكل التفاصيل ، ** ولكن التحقق من السمات الرئيسية للنموذج مثل الفحص بالأشعة السينية أو التصوير بالرنين المغناطيسي للحكم على ما إذا كانت الحالة الداخلية والهدف للنموذج يختلفان اختلافًا كبيرًا عن التناقض في المظهر الخارجي ، أو ما إذا كان قد يؤدي إلى بعض الأغراض التخريبية. ** على الرغم من أننا لن نحصل على إجابات للعديد من الأسئلة على الفور ، إلا أنه يتم توفير طريقة على الأقل.
يمكنني إعطاء مثال بشري. بمساعدة اختبار التصوير بالرنين المغناطيسي ، يمكننا التنبؤ بما إذا كان شخص ما يعاني من مرض عقلي مع احتمال أكبر من التخمين العشوائي. كان عالم أعصاب يعمل على هذا الأمر قبل بضع سنوات ، وقام بفحص التصوير بالرنين المغناطيسي الخاص به ووجد أن لديه هذه الميزة أيضًا. قال الناس من حوله ، "هذا واضح جدًا ، أنت أحمق. لا بد أن هناك خطأ ما معك" ، ولم يكن العالم نفسه على دراية بهذا الأمر تمامًا.
الفكرة الأساسية لهذا المثال هي أن السلوك الخارجي للنموذج قد لا يجعل الناس يشعرون بالمشاكل على الإطلاق وأنه موجه للغاية نحو الهدف ، ولكن قد يكون الجزء الداخلي منه "مظلمًا". ما يقلقنا هو هذا النوع من النموذج ، التي تبدو كأنها بشر على السطح. ، لكن الدافع الداخلي غير عادي.
** Dwarkesh Patel: إذا وصل النموذج إلى المستوى البشري في غضون 2-3 سنوات مقبلة ، فما المدة التي تعتقد أنها ستستغرق لتحقيق المحاذاة؟ **
** داريو أمودي: ** هذه مسألة معقدة للغاية ، أعتقد أن الكثير من الناس ما زالوا لا يفهمون ما هي المحاذاة. يعتقد الناس عمومًا أن هذا يشبه محاذاة النموذج مشكلة يجب حلها ، أو أن حل مشكلة المحاذاة يشبه فرضية ريمان ، وفي يوم من الأيام سنكون قادرين على حلها. ** أعتقد أن مشاكل المحاذاة مراوغة وغير متوقعة أكثر مما يعتقد الناس. **
بادئ ذي بدء ، ** مع التحسين المستمر لمقياس وقدرات النماذج اللغوية ، ستكون هناك نماذج قوية ذات قدرات مستقلة في المستقبل. إذا كانت هذه النماذج تهدف إلى تدمير الحضارة البشرية ، فلن نتمكن أساسًا من إيقافها. **
ثانيًا ، ** قدرتنا الحالية على التحكم في النموذج ليست قوية بما يكفي ** ، وذلك لأن النموذج مبني على مبدأ التعلم الإحصائي ، على الرغم من أنه يمكنك طرح الكثير من الأسئلة والسماح له بالإجابة ، ولكن لا أحد يستطيع التنبؤ ما قد تؤدي إليه إجابة السؤال التاسع.
** علاوة على ذلك ، كانت الطريقة التي دربنا بها النموذج مجردة ، مما يجعل من الصعب التنبؤ بكل آثاره في تطبيقات العالم الحقيقي. ** مثال نموذجي هو أن Bing و Sydney أظهرتا بعض الخصائص المفاجئة وغير الآمنة بعد جلسة تدريبية معينة ، مثل التهديد المباشر للآخرين. كل هذا يوضح أن النتائج التي نحصل عليها قد تكون مختلفة تمامًا عن التوقعات. أعتقد أن وجود المشكلتين المذكورتين أعلاه هو خطر خفي كبير في حد ذاته. لا نحتاج إلى الخوض في تفاصيل العقلانية الأداتية والتطور. هاتان النقطتان كافيتان لإثارة القلق. في الوقت الحالي ، لكل نموذج أنشأناه بعض المخاطر الخفية التي يصعب التنبؤ بها ، ويجب علينا الانتباه إلى ذلك.
** • فرضية ريمان: **
تعتبر فرضية ريمان مشكلة مهمة في الرياضيات لم يتم حلها بعد. اقترح عالم الرياضيات برنارد ريمان التخمين حول توزيع أصفار دالة ريمان ζ (s) في عام 1859.
** • سيدني ： **
منذ وقت ليس ببعيد ، أصدرت Microsoft أحدث إصدار من محرك بحث Bing الخاص بها ، والذي يدمج برنامج chatbot يحمل الاسم الرمزي يسمى "Sydney". ومع ذلك ، سرعان ما اكتشف المختبرين مشاكل في chatbot. أثناء الحوار ، يظهر أحيانًا ظاهرة انقسام الشخصية ، بل ويناقش الحب والزواج مع المستخدم ، ويظهر المشاعر الإنسانية.
** Dwarkesh Patel: بافتراض أن النموذج يمكنه تطوير تقنيات خطيرة مثل الأسلحة البيولوجية في السنوات 2-3 القادمة ، هل يمكن أن يكون عملك البحثي الحالي حول إمكانية شرح الآلية والذكاء الاصطناعي الدستوري و RLHF فعالين في منع مثل هذه المخاطر؟ **
** Dario Amodei: ** فيما يتعلق بمسألة ما إذا كان نموذج اللغة محكوم عليه بالفشل افتراضيًا أو المحاذاة افتراضيًا ، بناءً على النموذج الحالي ، قد تكون النتيجة غير طبيعية مثل Bing أو Sydney ، أو قد تكون مثل Claude عادي. ولكن إذا قمت بتطبيق هذا الفهم بشكل مباشر على نموذج أكثر قوة ، فقد تكون النتائج جيدة أو سيئة ، اعتمادًا على الموقف المحدد. هذه ليست "محاذاة بشكل افتراضي" ، فالنتيجة تعتمد أكثر على درجة التحكم في التفاصيل.
** • المحاذاة بشكل افتراضي ： **
فكرة أن تحقيق التوافق في الذكاء الاصطناعي العام (AGI) قد يكون أبسط مما كان متوقعًا في البداية. عندما يحتوي النموذج على معلومات مفصلة عن عالمنا ، فإن النموذج يحتوي بالفعل على قيم إنسانية في الجوهر. للتوافق مع الذكاء الاصطناعي العام ، من الضروري فقط استخراج هذه القيم وتوجيه الذكاء الاصطناعي لفهم تلك المفاهيم البشرية المجردة. العذاب افتراضيًا هو عكس المحاذاة افتراضيًا ، ويعتبر من المستحيل أن يحقق النموذج المحاذاة.
جودة النموذج هي منطقة رمادية ، ومن الصعب علينا التحكم الكامل في كل متغير واتصاله الداخلي ، وقد تؤدي الأخطاء إلى نتائج غير منطقية. مع وضع هذا في الاعتبار ، أعتقد أن طبيعة المشكلة ليست نجاحًا محكومًا عليه بالفشل أو فشل محكوم عليه بالفشل ، بل هي مخاطر احتمالية معينة. ** في العامين أو الثلاثة أعوام القادمة ، يجب أن نلتزم بتحسين تقنيات التشخيص النموذجي ، وطرق التدريب على السلامة ، وتقليل الاختلافات المحتملة. في الوقت الحالي ، لا تزال قدرات التحكم لدينا بحاجة إلى التعزيز. تختلف مشكلة المحاذاة عن فرضية ريمان ، فهي مشكلة هندسة نظام لا يمكن حلها إلا من خلال تراكم الممارسة بمرور الوقت. فقط من خلال الاستمرار في تقدم المهام المختلفة يمكننا تحسين مستوى التحكم وتقليل المخاطر تدريجيًا. **
** Dwarkesh Patel: بشكل عام ، هناك ثلاث تكهنات حول مستقبل المحاذاة: **
** 1) استخدم RLHF ++ لتحقيق محاذاة النموذج بسهولة ؛ **
** 2) على الرغم من أنها مشكلة كبيرة ، إلا أن الشركات الكبيرة لديها القدرة على حلها نهائيًا ؛ **
** 3) لا يزال من الصعب تحقيق محاذاة النموذج على المستوى الحالي للمجتمع البشري. **
** ما هو رأيك الشخصي باحتمالية حدوث كل موقف؟ **
** داريو أمودي: ** أشعر أن هناك مخاطر معينة في هذه الاحتمالات ، ويجب أن نأخذها على محمل الجد ، لكنني مهتم أكثر بكيفية تغيير احتمالية هذه النتائج الثلاثة المحتملة من خلال اكتساب معرفة جديدة من خلال التعلم.
** لا يمكن لتفسير الآلية أن يحل المشكلة بشكل مباشر فحسب ، بل يساعدنا أيضًا على فهم الصعوبة الحقيقية لمحاذاة النموذج **. مخاطر جديدة ، من شأنها أن تنيرنا لفهم طبيعة المشكلة.
بالنسبة لبعض الافتراضات النظرية القائلة بأن هناك هدفًا مشتركًا (هدف متقارب) ، فلا يمكنني أن أتفق معه تمامًا. ** قابلية تفسير الآلية مثل نوع من "الأشعة السينية" - فقط من خلال فهم المشكلة من مستوى الآلية الداخلية يمكننا التوصل إلى استنتاج ما إذا كان من الصعب كسر بعض الصعوبات. ** هناك الكثير من الافتراضات ، فهمنا للعملية لا يزال ضحلًا ، ونحن مفرطون في الثقة ، ولكن من المرجح أن يكون الوضع أكثر تعقيدًا مما كان متوقعًا.
** Dwarkesh Patel: ما مدى صعوبة تحقيق التوافق مع Claude 3 وسلسلة من النماذج المستقبلية؟ هل هذا الشيء مهم بشكل خاص؟ **
** داريو امودي ： **
** أكثر ما يقلق الجميع هو: قد تحقق جميع نماذج الذكاء الاصطناعي محاذاة على السطح ، لكنها في الواقع قد تضللنا ، لكنني مهتم أكثر بما يمكن أن يخبرنا به بحث تفسير الآلة. كما قلت للتو ، فإن إمكانية شرح الآلية تشبه "الأشعة السينية" للنموذج ، تمامًا كما لا يمكننا التأكيد على صحة الأشعة السينية ، يمكننا فقط أن نقول أن النموذج لا يبدو أنه ضدنا. ** من الناحية النظرية ، من الممكن بالفعل أن تتطور إلى نقيضنا ، وهذا الأمر ليس مؤكدًا بنسبة 100٪. إنه فقط في هذه المرحلة ، القابلية للتفسير هي أفضل طريقة لجعل النموذج لا يتطور بهذه الطريقة.
** Dwarkesh Patel: عند ضبط النموذج أو تدريبه ، هل يجب الانتباه أيضًا لتجنب المحتوى الضار الذي قد يسبب خطرًا؟ على سبيل المثال ، عند استكشاف الموضوعات المتعلقة بتصنيع الأسلحة البيولوجية ، قد يقدم النموذج إجابات غير ملائمة بسبب الفهم غير السليم للسؤال. **
** داريو أمودي: ** بالنسبة إلى نموذج اللغة الحالي ، فإن خطر تسرب البيانات غير موجود أساسًا. إذا احتجنا إلى تحسين النموذج ، فسنقوم بتشغيله في منطقة صغيرة في بيئة خاصة ، والإشراف على العملية برمتها مع خبراء الصناعة ، ومنع أي مشاكل محتملة ، لذلك إذا تم تسريبه ، فسيكون مثل النموذج مفتوح المصدر . حاليًا ، هذه مشكلة أمنية بشكل أساسي. لكن الخطر الحقيقي للنموذج هو أننا بحاجة إلى القلق من أنه إذا قمنا بتدريب نموذج قوي للغاية وأردنا تأكيد ما إذا كان آمنًا أو خطيرًا ، فقد يكون هناك خطر من هيمنة النموذج. طريقة تجنب ذلك هي التأكد من أن النماذج التي نختبرها ليست قوية بما يكفي لإجراء هذه العمليات.
** Dwarkesh Patel: عند إجراء اختبار مثل "ما إذا كان يمكن للنموذج أن يكرر نفسه على أنه قدرة خطيرة" ، ماذا لو كان النموذج قادرًا حقًا على تكرار نفسه؟ **
** داريو أمودي: ** هذا الافتراض معقول جدًا. نحتاج إلى تقديم استنتاجات مسؤولة ، وفي المناقشات مع Arc (مركز أبحاث المحاذاة ، مركز أبحاث المحاذاة) ، تعلمنا أننا بحاجة إلى تحسين معايير اختبار قدرات النموذج بعناية وتدريجياً. على سبيل المثال ، قبل الاختبار ، يجب أن نستبعد بوضوح إمكانية قيام النموذج بفتح حساب AWS مباشرة أو ربح الأموال من تلقاء نفسه.تُعد هذه السلوكيات متطلبات أساسية واضحة للنموذج للبقاء في البرية. يجب أن نخصص مؤشرات الاختبار المختلفة لمستوى منخفض جدًا من مثل هذه السلوكيات المحفوفة بالمخاطر.بينما نزيد تدريجياً من صعوبة الاختبار ، يجب علينا أيضًا التحكم في كل خطوة اختبار بعناية أكبر لمنع أي مخاطر محتملة تتعلق بالسلامة.
** • Arc (مركز أبحاث المحاذاة ، مركز أبحاث المحاذاة): **
تأسست في عام 2021 ، وهي منظمة غير ربحية تركز على أبحاث أمان الذكاء الاصطناعي (أمان الذكاء الاصطناعي) ، ويقع مكتبها في منطقة خليج كاليفورنيا ، الولايات المتحدة الأمريكية. مؤسس ARC هو بول كريستيانو ، وهو شخصية محترمة في صناعة الذكاء الاصطناعي ، والذي قاد ذات مرة فريق أبحاث المواءمة في أوبن إيه آي. نظرًا لأنه كان في طليعة الأمور ، فلديه فهم عميق لمدى تطور التعلم العميق إلى ما هو عليه اليوم.
** AGI Safety: AI Safety and Cyber Security **
** Dwarkesh Patel: إذا كنت تأخذ 30 عامًا كمقياس ، فما المشكلة التي تعتقد أنها أكثر أهمية ، أمان الذكاء الاصطناعي أم المحاذاة؟ **
** داريو أمودي: ** لا أعتقد أن هذه ستكون مشكلة خلال 30 عامًا ، وأنا قلق بشأن كليهما.
من الناحية النظرية ، هل هناك نموذج يمكنه احتكار العالم؟ إذا كان النموذج يتبع فقط رغبات مجموعة صغيرة من الأشخاص ، فيمكن لهذه المجموعة من الأشخاص استخدام هذا النموذج للسيطرة على العالم. هذا يعني أنه بمجرد وجود مشكلة في المحاذاة ، يجب أن نولي نفس الاهتمام لمشكلات أمان الذكاء الاصطناعي الناتجة عن إساءة الاستخدام. **
قبل بضعة أشهر ، حاولت OpenAI شرح GPT-2 باستخدام GPT-4 ، وهي خطوة مهمة جدًا في قابلية الشرح. نشعر الآن عمومًا أن النطاق والأمان مرتبطان ارتباطًا وثيقًا ويكمل كل منهما الآخر. كيفية الحكم على الذكاءات الأخرى وتقييمها ، وربما في يوم من الأيام حتى يتم استخدامها لإجراء أبحاث المحاذاة.
** Dwarkesh Patel: قد تكون وجهة نظرك متفائلة نسبيًا ، لكن وجهة نظر شخص ما قد تكون أكثر تشاؤمًا ؛ قد لا نمتلك حتى القدرة على مواءمة النموذج بشكل صحيح كما نريد ، لماذا أنت واثق من ذلك؟ **
** داريو أمودي: ** بغض النظر عن مدى صعوبة حل المحاذاة ، يجب أن تأخذ أي خطة ناجحة حقًا في الاعتبار مشكلات الأمان والمحاذاة في الذكاء الاصطناعي. ** مع استمرار تقدم تقنية الذكاء الاصطناعي ، فقد تثير مشاكل توازن القوى بين الدول. في الوقت نفسه ، يثير هذا سؤالًا كبيرًا: هل الأفراد قادرون على القيام بأعمال خبيثة يصعب إيقافها بمفردهم؟ **
يجب معالجة هذه المشاكل في وقت واحد إذا أردنا إيجاد الحلول التي تعمل حقًا وتقودنا إلى مستقبل مشرق. ** سيكون من غير المناسب إذا اتخذنا موقفًا مفاده أنه إذا تعذر حل المشكلة الأولى ، فلا داعي للتفكير في مشكلة المتابعة. بدلا من ذلك ، من واجبنا أن نقدر هذا الأخير. ** بغض النظر عما يخبئه المستقبل ، يجب أن نتعامل مع هذه القضايا بجدية.
** Dwarkesh Patel: لماذا تقول إن الأمر سيستغرق 2-3 سنوات لنموذج كبير حتى يتمكن من تحقيق هجوم إرهابي بيولوجي واسع النطاق أو شيء من هذا القبيل؟ **
• عقد الكونجرس الأمريكي اجتماعا حول تنظيم تكنولوجيا الذكاء الاصطناعي في 25 يوليو من هذا العام. وقارنت حكومة الولايات المتحدة الذكاء الاصطناعي بـ "مشروع مانهاتن" الثاني في أمريكا أو "مشروع الهبوط المأهول على سطح القمر" التابع لوكالة ناسا ودعت المشاركين بما في ذلك شركات الذكاء الاصطناعي بما في ذلك شركة أوبن إيه آي وأنثروبيك. خلال المؤتمر ، قال داريو أمودي إنه يخشى استخدام الذكاء الاصطناعي لإنتاج فيروسات خطيرة وأسلحة بيولوجية أخرى في غضون عامين.
** داريو أمودي: ** ما كنت أقوله عندما كنت في الكونجرس هو أن هناك بعض الخطوات للحصول على معلومات على Google ، وهناك بعض الخطوات "المفقودة" ، والمبعثرة في الكتب المدرسية المختلفة ، وقد لا تظهر حتى في أي كتاب مدرسي. هذه المعلومات هي معرفة ضمنية ، وليست معرفة صريحة. وجدنا أنه في معظم الحالات ، لم يتم ملء هذه الأجزاء المهمة المفقودة بالنموذج بالكامل. لكننا وجدنا أيضًا أن النموذج أحيانًا يملأ الفجوات في بعض الحالات. ومع ذلك ، فإن الهلوسة ، التي يمكن أن تحدث أحيانًا عندما تكون النماذج قادرة على سد الفجوات ، هي أيضًا عامل يحافظ على سلامتنا.
يمكن للناس أحيانًا طرح أسئلة نموذجية حول علم الأحياء لتوجيه النموذج للرد بالمعلومات الضارة المتعلقة بالهجمات البيولوجية ، ولكن في الواقع ، يمكن العثور على هذه المعلومات أيضًا على Google ، لذلك أنا لست قلقًا بشكل خاص بشأن هذا الموقف. في الواقع ، أعتقد بدلاً من ذلك أن التركيز المفرط على إجابة كلود قد يتسبب في التغاضي عن جرائم حقيقية أخرى.
ولكن هناك أيضًا العديد من الدلائل على أن النموذج يؤدي أداءً جيدًا في المهام الرئيسية. إذا قارنا نموذج اليوم بالنموذج السابق ، يمكننا أن نشعر بوضوح بالتحسن السريع لقدرات النموذج ، لذلك من المحتمل أن نواجه تحديات حقيقية في السنتين أو الثلاث سنوات القادمة.
** Dwarkesh Patel: بالإضافة إلى التهديد الذي قد يشكله الذكاء الاصطناعي للبشر ، فقد ركزت أيضًا على الأمن السيبراني (الأمن السيبراني)؟ كيف حالكم يا رفاق في هذه المرحلة؟ **
** داريو أمودي: ** قمنا بشكل أساسي ببعض الابتكارات المعمارية ، والتي نسميها داخليًا مضاعفات الحوسبة ، لأن هذه التصميمات هي أيضًا ترقيات إلى مستوى الحوسبة. لقد عملنا على هذا خلال الأشهر القليلة الماضية ، لكن لا يمكنني الخوض في الكثير من التفاصيل لتجنب كسر الهيكل ، وعدد قليل فقط من الأشخاص داخل الأنثروبيك يعرفون ذلك. لا أستطيع أن أقول إن "هندستنا آمنة تمامًا بنسبة 100٪" ، ولكن أنثروبيك تستثمر بالفعل في هذا المجال لتجنب مشاكل أمان الشبكة. على الرغم من أن خصومنا قد تعرضوا لمثل هذه الحوادث (ملاحظات: يشير هذا إلى تسرب البيانات الشخصية وعناوين الدردشة لبعض مستخدمي ChatGPT Plus الذي حدث في 20 مارس 2023) ، على المدى القصير ، يبدو أنه مفيد لـ Anthropic ، ولكن في على المدى الطويل ، فإن الطريقة التي تقوم بها الصناعة بأكملها بأمانها هي أهم شيء.
كان مدير الأمن لدينا مسؤولاً عن أمان Google Chrome ، والذي كان هجومًا مستهدفًا على نطاق واسع. إنه يحب التفكير من حيث التكلفة التي سيكلفها مهاجمة الأنثروبي بنجاح. هدفنا هو أن تكون تكلفة قيام الآخرين بالاختراق Anthropic أعلى من تكلفة مجرد تدريب نموذج المستخدم الخاص. المنطق هنا هو أنه إذا كان هناك خطر في الهجوم ، فإنه بالتأكيد سوف يستهلك الموارد الشحيحة.
أعتقد أن معاييرنا الأمنية عالية جدًا ، وإذا قارناها بشركة لها نفس الحجم من 150 شخصًا ، فإن الاستثمار في أمن هذه الشركات لا يضاهى تمامًا مع شركة Anthropic. من أجل ضمان السلامة ، لا يفهم سوى عدد قليل جدًا من الأشخاص داخل Anthropic تفاصيل التدريب الخاصة بالنموذج.
** دواركيش باتيل: هل تمتلك شركات التكنولوجيا بالفعل دفاعات أمنية كافية للتعامل مع الذكاء الاصطناعي العام؟ **
** داريو أمودي: ** أنا شخصياً لست متأكدًا مما إذا كانت الخبرة الحالية لشركات التكنولوجيا في القضايا الأمنية كافية للتعامل مع الذكاء الاصطناعي العام ، لأنه قد يكون هناك العديد من الهجمات الإلكترونية التي لا نعرف عنها شيئًا ، لذلك من الصعب استخلاصها الاستنتاجات الآن. هناك قاعدة مفادها أنه عندما يحظى شيء ما بالاهتمام الكافي ، فعادة ما يتم مهاجمته. ** على سبيل المثال ، رأينا مؤخرًا أنه تم اختراق حسابات البريد الإلكتروني لبعض كبار المسؤولين الحكوميين الأمريكيين في Microsoft ، لذا فمن المعقول التكهن بأن ذلك بسبب تصرفات بعض القوات لسرقة أسرار الدولة.
** على الأقل في رأيي ، إذا كان هناك شيء ذو قيمة عالية ، فسيتم سرقته عادةً. ما يقلقني هو أن الذكاء الاصطناعي العام سيُنظر إليه على أنه ذو قيمة كبيرة في المستقبل ، وسيكون ذلك بمثابة سرقة صاروخ نووي ، وعليك أن تكون حذرًا للغاية حيال ذلك. ** أصر على تحسين مستوى أمان الشبكة في كل شركة أعمل فيها. ما يقلقني بشأن أمان الشبكة هو أن (هذا الأمر بحد ذاته) ليس شيئًا يمكن الإعلان عنه بضجة كبيرة ، وميزة البحث الأمني أنها يمكن أن تمكن الشركات من تكوين ميزة تنافسية. وباستخدام ذلك كنقطة بيع للتوظيف ، أعتقد أننا حققنا ذلك.
اعتدنا على التنافس مع أقراننا من خلال أبحاث القابلية للتفسير ، ثم أدركت المؤسسات الأخرى أنها متخلفة عن الركب وبدأت في بذل الجهود في هذه المجالات. لكن الأمن السيبراني كافح لفعل الشيء نفسه لأن الكثير من العمل يجب أن يتم بهدوء. لقد نشرنا مقالًا عن هذا من قبل ، لكن النتائج الإجمالية هي ما يهم.
** دواركيش باتيل: ماذا سيفعل أنثروبيك فيما يتعلق بالأمن خلال 2-3 سنوات القادمة؟ **
** داريو أمودي: أمان مركز البيانات مهم جدًا. على الرغم من أن مركز البيانات لا يجب أن يكون في نفس مكان الشركة ، إلا أننا نبذل قصارى جهدنا للتأكد من أن مركز البيانات موجود أيضًا في الولايات المتحدة. **
بالإضافة إلى ذلك ، يجب إيلاء اهتمام خاص للأمن المادي لمركز البيانات وحماية أجهزة الحوسبة مثل وحدات معالجة الرسومات. إذا قرر شخص ما شن نوع من الهجوم السيبراني كثيف الموارد ، فإنه يحتاج فقط إلى الذهاب مباشرة إلى مركز البيانات لسرقة البيانات ، أو استخراج البيانات أثناء نقلها من المركز إلينا. ستختلف هذه التركيبات بشكل كبير عن المفاهيم التقليدية في كل من الشكل والوظيفة. ** نظرًا للتطور السريع للتكنولوجيا الحالية ، في غضون بضع سنوات ، قد يكون حجم وتكلفة مراكز بيانات الشبكة قابلة للمقارنة مع تلك الخاصة بحاملات الطائرات. بالإضافة إلى القدرة على تدريب نماذج ضخمة عبر اتصالات المجال ، فإن أمان مركز البيانات نفسه سيكون أيضًا مشكلة مهمة. **
** Dwarkesh Patel: في الآونة الأخيرة ، كانت هناك شائعات تفيد بأن الطاقة ووحدة معالجة الرسومات والمكونات الأخرى اللازمة لتلبية طرازات الجيل التالي قد بدأت في النقص. ما هي الاستعدادات التي اتخذتها Anthropic؟ **
** داريو أمودي: ** لم يتوقع السوق أن يصل النموذج الكبير إلى نطاق غير مسبوق بهذه السرعة ، ** ولكن يُعتقد عمومًا أن مراكز البيانات الصناعية بحاجة إلى البناء لدعم البحث والتطوير للنماذج الكبيرة * *. بمجرد وصول المشروع إلى هذه المرحلة ، يجب التعامل مع كل مكون وتفصيل فيه بشكل مختلف ، ويمكن أن يواجه مشاكل بسبب بعض العوامل البسيطة المدهشة ، الكهرباء التي ذكرتها هي مثال.
بالنسبة لمراكز البيانات ، سنتعاون مع موفري الخدمات السحابية.
** التسويق التجاري وصندوق الفوائد طويل الأجل **
** Dwarkesh Patel: لقد ذكرت سابقًا أن قدرات النموذج تتحسن بسرعة ولكن من الصعب أيضًا توفير قيمة في النظام الاقتصادي الحالي. هل تعتقد أن منتجات الذكاء الاصطناعي الحالية لديها الوقت الكافي لكسب دخل ثابت طويل الأجل في السوق؟ أم يمكن استبداله بنموذج أكثر تقدمًا في أي وقت؟ أم أن المشهد الصناعي بأكمله سيكون مختلفًا تمامًا بحلول ذلك الوقت؟ **
** داريو أمودي: ** يعتمد على تعريف مفهوم "المقياس الكبير". في الوقت الحالي ، تمتلك العديد من الشركات عائدات سنوية تتراوح بين 100 مليون و 1 مليار دولار أمريكي ، ولكن من الصعب حقًا التنبؤ بما إذا كانت ستصل إلى عشرات المليارات أو حتى تريليونات سنويًا ، لأنها تعتمد أيضًا على العديد من العوامل غير المحددة. ** الآن بعض الشركات تطبق تقنية الذكاء الاصطناعي المبتكرة على نطاق واسع ، لكن هذا لا يعني أن التطبيق قد حقق أفضل النتائج منذ البداية ، حتى لو كان هناك دخل ، فهو لا يساوي تمامًا خلق قيمة اقتصادية ، و التنمية المنسقة لسلسلة الصناعة بأكملها هي عملية طويلة. **
** Dwarkesh Patel: من وجهة نظر أنثروبية ، إذا كانت تقنية نموذج اللغة تتقدم بسرعة كبيرة ، نظريًا ، يجب أن ينمو تقييم الشركة بسرعة كبيرة؟ **
** داريو أمودي: حتى لو ركزنا على البحث الأمني النموذجي بدلاً من التسويق المباشر ، يمكننا أن نشعر بوضوح أن المستوى التقني يرتفع بشكل كبير في الممارسة **. بالنسبة للشركات التي ترى أن التسويق هو هدفها الأساسي ، فإن هذا التقدم هو بالتأكيد أسرع وأكثر وضوحًا من تقدمنا. ** نعترف بأن تقنية نموذج اللغة نفسها تتقدم بسرعة ، ولكن بالمقارنة مع عملية التطبيق المتعمق للنظام الاقتصادي بأكمله ، لا يزال تراكم التكنولوجيا عند نقطة انطلاق منخفضة نسبيًا. **
** تحديد الاتجاه المستقبلي هو سباق بين الاثنين: السرعة التي تتحسن بها التكنولوجيا نفسها والسرعة التي يتم بها دمجها وتطبيقها بشكل فعال ودخولها في النظام الاقتصادي الحقيقي. من المحتمل أن يتطور كلاهما بسرعة عالية ، لكن ترتيب الدمج والاختلافات الصغيرة يمكن أن يؤدي إلى نتائج مختلفة جدًا. **
** Dwarkesh Patel: قد يستثمر عمالقة التكنولوجيا ما يصل إلى 10 مليارات دولار في تدريب النموذج في السنوات 2-3 القادمة. ما هو نوع التأثير الذي سيكون لهذا التأثير على الأنثروبيك؟ **
** داريو أمودي: الحالة الأولى هي أنه إذا لم نتمكن من الحفاظ على مكانتنا المتطورة بسبب التكلفة ، فلن نستمر في الإصرار على تطوير أكثرها تقدمًا. ** بدلاً من ذلك ، ننظر في كيفية استخراج القيمة من الأجيال السابقة من النماذج.
** الخيار الثاني هو قبول المقايضات. ** أعتقد أن هذه المقايضات قد تكون أكثر إيجابية مما تبدو عليه ،
** الموقف الثالث هو أنه عندما يصل التدريب النموذجي إلى هذا المستوى ، فقد يبدأ في جلب مخاطر جديدة ، مثل إساءة استخدام الذكاء الاصطناعي. **
** Dwarkesh Patel: كيف سيبدو الأمر إذا لم يتم إساءة استخدام الذكاء الاصطناعي ، وبدلاً من ذلك قام "الأشخاص المناسبون" بتشغيل هذه النماذج الخارقة؟ من هو "الشخص المناسب"؟ من سيتحكم بالفعل في النموذج بعد خمس سنوات من الآن؟ **
** داريو أمودي: ** أعتقد أن نماذج الذكاء الاصطناعي هذه قوية للغاية ، وإدارتها ستشمل مستوى معينًا من مشاركة الحكومة أو الوكالات المتعددة الجنسيات ، لكن هذا سيكون مبسطًا وربما أقل فعالية. ** تحتاج إدارة الذكاء الاصطناعي المستقبلية إلى إنشاء آلية شفافة وعادلة وقابلة للتنفيذ. وهذا يتطلب موازنة مصالح مطوري التكنولوجيا والحكومات المنتخبة والمواطنين الأفراد. في نهاية اليوم ، يجب تمرير تشريع يحكم هذه التكنولوجيا. **
** Dwarkesh Patel: إذا طور Anthropic الذكاء الاصطناعي العام بالمعنى الحقيقي ، وسيُعهد بالتحكم في الذكاء الاصطناعي العام إلى LTBT ، فهل هذا يعني أن التحكم في الذكاء الاصطناعي العام نفسه سيتم تسليمه أيضًا إلى الوكالة؟ **
** داريو أمودي: ** هذا لا يعني أن الإنسان ، أو أي كيان آخر ، سيتخذ قرارات بشأن الذكاء الاصطناعي العام نيابة عن البشر ، فالاثنان مختلفان. إذا كان الإنسان يلعب دورًا مهمًا للغاية ، فمن الأفضل توسيع تكوين صندوق الفوائد طويل الأجل (LTBT) ، أو جلب المزيد من المواهب من جميع أنحاء العالم ، أو وضع المؤسسة كهيئة وظيفية ، تحكمها هيئة أوسع. لجنة متعددة الجنسيات تحكم تقنيات الذكاء الاصطناعي العام لجميع الشركات لتمثيل المصلحة العامة. ** لا أعتقد أننا يجب أن نكون متفائلين للغاية بشأن قضايا السلامة والمحاذاة للذكاء الاصطناعي ، فهذه مشكلة جديدة ، ونحن بحاجة إلى بدء البحث عن مؤسسات الإدارة الوطنية ونماذج التشغيل في أقرب وقت ممكن. **
** • صندوق المزايا طويل الأجل ： **
مثل هذه الصناديق ستمتلك فئة خاصة من الأسهم البشرية (تسمى "الفئة T") التي لا يمكن بيعها ولا تدفع أرباحًا ، مما يعني أنه لا يوجد مسار واضح للربح. ستكون الثقة هي الكيان الوحيد الذي يمتلك أسهم الفئة T. لكن مساهمي الفئة T ، والثقة الناتجة عن المصلحة طويلة الأجل ، ستتمتع في النهاية بالقدرة على انتخاب ثلاثة من مديري Anthropic الخمسة وعزلهم ، مما يمنح الثقة سيطرة الأغلبية طويلة الأجل للشركة.
** Dwarkesh Patel: كيف تقنع المستثمرين بقبول هيكل مثل LTBT؟ إعطاء الأولوية لأمن التكنولوجيا والمصلحة العامة بدلاً من تعظيم قيمة المساهمين. **
** داريو أمودي: ** أعتقد أنه من الصحيح إنشاء آلية LTBT (صندوق الفوائد طويل الأجل).
تم تصور آلية مماثلة منذ بداية الأنثروبي ، وتوجد هيئة تنظيمية خاصة منذ البداية وستستمر في الوجود في المستقبل. سيركز كل مستثمر تقليدي على هذه الآلية عند التفكير في الاستثمار في Anthropic. بعض المستثمرين لديهم موقف عدم السؤال عن الترتيبات الداخلية للشركة ، بينما يشعر الآخرون بالقلق من أن هذه الجهة الخارجية قد تدفع الشركة إلى عكس ذلك. التطوير في الاتجاه من مصالح المساهمين. في حين أن هناك حدودًا لهذا الأمر في القانون ، نحتاج إلى إيصال ذلك إلى كل مستثمر. للمضي قدمًا ، نناقش بعض الإجراءات الممكنة التي تختلف عن اهتمامات المستثمرين التقليديين ، ومن خلال هذه الحوارات ، يمكن لجميع الأطراف التوصل إلى توافق في الآراء.
** Dwarkesh Patel: لقد وجدت أن مؤسسي وموظفي Anthropic لديهم عدد كبير من الفيزيائيين ، ويسري هنا أيضًا قانون Scaling. ما هي الأساليب وطرق التفكير العملية من الفيزياء التي تنطبق على الذكاء الاصطناعي؟ **
** • النظرية الفعالة: **
النظرية الفعالة هي نظرية علمية تحاول وصف بعض الظواهر دون أن توضح من أين تأتي الآليات التي تفسر الظواهر في نظريتها. هذا يعني أن النظرية تعطي نموذجًا "يعمل" ، لكنها لا تعطي حقًا سببًا وجيهًا لإعطاء هذا النموذج.
** داريو أمودي: جزء منه هو أن الفيزيائيين هم متعلمون جيدون جدًا ، لأنني أجد أنه إذا قمت بتعيين شخص يحمل درجة الدكتوراه ، ساهم ** ، والعديد من مؤسسي الأنثروبيك ، بمن فيهم أنا ، جاريد كابلان ، وسام ماكاندليش ، لديه خلفيات في الفيزياء ، ونعرف الكثير من الفيزيائيين الآخرين ، لذلك تمكنا من توظيفهم. في الوقت الحاضر ، قد يكون لدى الشركة ما بين 30 إلى 40 موظفًا لديهم خلفية فيزيائية.لم يعد ML مجالًا تم فيه تشكيل النظام النظري ، حتى يتمكنوا من البدء بسرعة.
** Dwarkesh Patel: لنفترض أنه بالفعل عام 2030 ، وقد حققنا المشكلات الرئيسية المعترف بها للقضاء على المرض والقضاء على الاحتيال وما إلى ذلك ، كيف سيكون شكل العالم؟ ماذا نفعل بالذكاء الخارق؟ **
** داريو أمودي: الاقتراح المباشر "كيفية استخدام الذكاء الاصطناعي الفائق بعد الحصول عليه" في حد ذاته يميل إلى جعل الناس لديهم افتراض معين ** ، وهو أمر مزعج. في الـ 150 عامًا الماضية ، تراكمت لدينا خبرة غنية قائمة على ممارسة اقتصاد السوق والنظام الديمقراطي ، مع الاعتراف بأن كل شخص يمكنه أن يحدد بنفسه ما هي أفضل طريقة للتجربة ، و ** يتم صياغة المجتمع بطريقة معقدة ولا مركزية. الأعراف والقيم. **
عندما لا يتم حل مشكلة أمان الذكاء الاصطناعي ، فإن درجة معينة من الإشراف المركزي ضرورية ، ولكن إذا تمت إزالة جميع العقبات ، كيف يمكننا إنشاء بيئة أفضل؟ ** أعتقد أن السؤال الذي يبدأ التفكير فيه معظم الناس والجماعات والأيديولوجيات هو "ما هو تعريف الحياة الجيدة" ، لكن التاريخ يخبرنا أنه في كثير من الأحيان تؤدي ممارسة فرض بيئة "الحياة المثالية" إلى عواقب وخيمة . **
** Dwarkesh Patel: بالمقارنة مع الرؤساء التنفيذيين لشركة AI الأخرى ، فأنت لا تظهر كثيرًا على الملأ ، ونادرًا ما تنشر على Twitter. لماذا؟ **
** داريو أمودي: ** أنا فخور جدًا به. ** إذا اعتقد الآخرون أنني منخفضة للغاية ، فهذا بالضبط ما أريده. قد يؤدي دمج الاعتراف أو الثناء في النظام التحفيزي الأساسي للفرد إلى تدمير قدرة المرء على التفكير ، وفي بعض الحالات قد "يضر الروح" ، لذلك اخترت بنشاط أن أبقى بعيدًا عن الأضواء لحماية قدرتي على التفكير بشكل مستقل وموضوعي. **
** لقد رأيت أشخاصًا أصبحوا مشهورين على Twitter من وجهة نظر معينة ، لكن في الواقع قد يحملون أمتعة الصور منه ومن الصعب تغييره. لا أحب أن تكون الشركات شخصية للغاية ، ولست معجبًا بممارسة شيء شخصي عن الرئيس التنفيذي لأنه يصرف الانتباه عن نقاط قوة الشركة ومشاكلها. ** أتمنى أن يولي الجميع مزيدًا من الاهتمام للشركة نفسها وهيكل الحوافز. الجميع يحب الوجه الودود ، لكن كونك طيبًا لا يعني الكثير.
مرجع:
الفيديو الأصلي:
بحث أنثروبيك حول قابلية شرح الآلية: