تتحسب الكثير من الشركات عند إنتاجها السيارات ذاتية القيادة أن تأتي هذه السيارات بمعالجات ومعلومات لا تقبل الخطأ، وفي مارس الماضي، أصدرت إدارة كاليفورنيا للسيارات تقريرًا حول ما تم الابلاغ عنه من قبل البعض حول هذه الأخطاء. وتكافح شركات السيارات من أجل مقاييس فعالة وآمنه للمركبات. وقد تبادل كبراء المديرين التنفيذويين بشركات صناعة السيارات مخاوفهم بشأن مدى الأميال التي تقطعها بسلامة سيارة القيادة الذاتية كمقياس للانتشار الآمن لهذه النوعية من السيارات. ومن غير الواضح حتى الآن حسب كثير من الخبراء ما إذا كان اسلوب القيادة المستقلة يعكس قضايا سلامة حقيقية لسيارات (AV).
يتحدث أوليفر كاميرون من فوياج عن عدم توحيد ما يشكل معايير السلامة الحقيقية بهذه السيارات ويقترح «درجة استعداد السائق» البديلة كطريقة جديدة للشركات لمشاركة تقدمها علنًا، تتضمن هذه النتيجة المقترحة النسبة المئوية للسيناريوهات التي تمر في نماذج المحاكاة. ومن جانبه يسأل كريس أورمسون من Aurora في مقالة حديثة ، «إذا قمنا بقيادة 100 مليون ميل في منطقة جافة مسطحة؛ حيث لا توجد مركبات أو أشخاص آخرون، وعدد قليل من التقاطعات، فإن «معدل قدرات التحكم الحقيقية يمكن مقارنتها بالفعل بقيادة 100 ميل في مدينة مزدحمة ومعقدة مثل بيتسبرغ؟».
يشير Urmson إلى أن مجرد قياس عدد الأميال المقطوعة يمكن أن يكون مؤشرًا خادعًا للتقدم لأن الأهم هنا هو في أي مكان قطعات السيارة هذه الأميال وتحت أي ظروف. سأقولها بشكل أكثر صراحة: العديد من هذه الأميال هي «أميال غبية»، أميال لا تضيف شيئًا جديدًا إلى الاختبار. على سبيل المثال، كم منهم كانوا يقودون على طريق سريع فارغ ومستقيم؟ كم عدد المرات التي واجه فيها AV قطعًا من الجانب الأيمن؟ هل واجهت مركبة الطرق قطعًا على طريق سريع منحني في المطر الخفيف؟
هناك حاجة إلى مقاييس فعالة لتتبع مدى قربنا من تحقيق أهداف السلامة الخاصة بنا، وأين يجب أن نركز جهودًا إضافية. يجب أن تجيب المقاييس بطريقة موضوعية قابلة للقياس الكمي: هل نعرف ما هي السيناريوهات والظروف التي تمت مواجهتها أثناء الاختبار؟ هل تم استيفاء متطلبات السلامة؟ هل تم استيفاء مؤشرات الأداء الرئيسة؟ كم عدد الأميال التي قطعتها أحدث إصدارات من البرنامج وعدم استخدام إصدارات قديمة غير ذات صلة؟ الأسلوب الذي اتبعه القائمون على الصناعة من كبار التقنيين والفنيين أن يتم أولًا تحديد المتطلبات عالية المستوى بما في ذلك مجال التصميم التشغيلي(ODD) ، تتم كتابة قائمة شاملة بأبعاد المخاطر بناءً على المتطلبات. باستخدام أبعاد المخاطر، يتم إنشاء خطة تحقق شاملة. تتضمن الخطة أهدافًا قابلة للقياس وصولًا إلى مستوى جيد للتعلم بما في ذلك مقاييس التغطية ومؤشرات الأداء الرئيسة.