ارزیابی عملکرد آزمایشگاه در pt

ارزیابی عملکرد آزمایشگاه در pt

مقدمه PT

نتایج طرح‌ های PT می‌ تواند به اشکال مختلفی باشد که طیف وسیعی از انواع داده‌ ها و توزیع‌ های آماری اساسی را پوشش می‌ دهد. بنابراین، هدف این پست ارائه جنبه های اصلی طراحی آماری مورد استفاده فراهم کنندگان PT است تا آزمایشگاه ها بتوانند ارزیابی های انجام شده را بهتر درک کنند. این کار باید به آزمایشگاه در انتخاب طرح PT مناسب و در تفسیر نتایج کمک کند. با این حال، با توجه به طیف وسیعی از تکنیک‌ های مختلف مورد استفاده، پرداختن به تمام جنبه‌ های آماری برای این پست ممکن نیست. مهم است که طراحی مورد استفاده توسط فراهم کننده PT برای نوع و هدف طرح PT در حال سازماندهی مناسب باشد. علاوه بر این، طرح استفاده شده توسط فراهم کننده PT باید به طور کامل برای شرکت کنندگان شرح داده شود. تکنیک های آماری ترجیحی در ISO 13528  توضیح داده شده است، اگرچه می توان از روش های معتبر دیگری نیز استفاده کرد.

مفروضات اساسی رویکرد آماری مورد استفاده در طرح های PT بیشتر بر اساس توزیع نرمال داده ها است. با این حال، معمولاً مجموعه نتایج شرکت‌ کننده، در حالی که اساساً به طور معمول توزیع می‌ شوند، دنباله های بزرگ و نسبت کمی از نقاط پرت را نشان می‌ دهند. رویکرد اصلی که توسط فراهم کنندگانPT استفاده می شود (و هنوز در برخی از طرح های PT استفاده می شود) استفاده از آزمون های آماری برای شناسایی وجود نقاط پرت در مجموعه داده ها بود. با این حال، رویکرد رایج‌ تری که اکنون توسط فراهم کنندگان  PT استفاده می‌ شود، همانطور که در ISO 13528 توصیه می‌ شود، استفاده از آمار استوار است. آمار استوار این مزیت را دارد که نقش داده های پرت را در پارامترهای آماری محاسبه شده مانند میانگین و انحراف استاندارد کاهش می دهد. تعدادی از رویکردهای آماری استوار  وجود دارد که برخی از آنها در ISO 13528 توضیح داده شده است.

 

عناصر اساسی برای ارزیابی نتایج PT

کلیات

یکی از عناصر اساسی در همه طرح‌ های PT، ارزیابی عملکرد هر شرکت‌ کننده است. این کار به معیارهایی برای ارزیابی نتایج گزارش شده نیاز دارد. برای ارزیابی نتایج کمی، فراهم کننده PT باید دو مقدار را تعیین کند که برای ارزیابی عملکرد استفاده می شود:

1) مقدار اختصاص داده شده؛

2) SDPA.

علاوه بر این، از فراهم کنندگانPT انتظار می‌ رود که عدم قطعیت اندازه‌ گیری و بیانیه‌ ای از قابلیت ردیابی اندازه‌ شناختی مقدار اختصاص‌ یافته، همانطور که در ISO/IEC 17043  بیان شده است، ارائه دهد. ارتباط، نیاز و امکان سنجی ارزیابی عدم قطعیت باید توسط طراحی طرح PT تعیین شود.

روش های مختلفی را می توان برای تعیین مقدار تخصیص داده شده و SDPA همانطور که در ISO 13528 توضیح داد استفاده کرد. هیچ پروتکل استاندارد شده دقیقی وجود ندارد که به طور دقیق طرح آماری مورد استفاده را تجویز کند، اما این طرح باید با طرح های توصیف شده در ISO مطابقت اساسی داشته باشد. 13528 طرح آماری باید توسط فراهم کنندگانPT مستند شود، معمولاً یا در پروتکل طرح یا/و در گزارش PT، و باید توسط آزمایشگاه‌ ها هنگام انتخاب طرح PT مناسب مورد توجه قرار گیرد.

 

مقدار اختصاص داده شده

همانطور که در ISO 13528 توضیح داده شده است، اساساً پنج روش برای به دست آوردن مقدار اختصاص داده شده وجود دارد، یک تخمین کاری از مقدار واقعی:

1) با فرمولاسیون؛

2) استفاده از CRM؛

3) نتایج یک آزمایشگاه؛

4) ارزش اجماع از آزمایشگاه های خبره.

5) ارزش اجماع از نتایج شرکت کنندگان.

 

 

انحراف استاندارد برای ارزیابی مهارت (SDPA)

همانطور که در ISO 13528 توضیح داده شده است، اساساً پنج رویکرد برای تعیین SDPA، یعنی محدوده قابل قبول نتایج شرکت کنندگان وجود دارد:

1) از نظر کارشناسان;

2) با تجربه از دوره های قبلی یک طرح مهارت؛

3) با استفاده از یک مدل کلی.

4) با استفاده از انحرافات استاندارد تکرارپذیری و تکرارپذیری از ILC قبلی با دقت یک روش اندازه گیری؛

5) از داده های به دست آمده در همان دوره یک طرح PT.

 

در حال حاضر یک رویکرد رایج برای تعیین مقدار تخصیص یافته و SDPA استفاده از نتایج PT شرکت کنندگان برای محاسبه هر دو مقدار است (که معمولاً مقادیر “اجماع” نامیده می شود). با این حال، اکیداً در پروتکل هماهنگ برای آزمون مهارت آزمایشگاه‌ های شیمی تجزیه صادر شده توسط IUPAC  توصیه می‌ شود که روش‌ های امتیازدهی باید بر اساس مناسب بودن معیارهای هدف، مرتبط با شرایط خاص تعیین باشد. بنابراین، تا جایی که ممکن است، فراهم کنندگانPT باید SDPA را بر اساس ارزش مناسب برای هدف قرار دهد نه مقداری که بسته به پراکندگی نتایج ارائه‌ شده توسط شرکت‌ کنندگان، از دوره به دوره تغییر می‌ کند. استفاده از ارزش مناسب برای هدف، نظارت بر نمرات عملکرد را در دورهای متوالی طرح PT تسهیل می کند.

 

ارزیابی عملکرد

ارزیابی عملکرد (یا امتیازدهی) توسط فراهم کنندگانPT به نتایج گزارش شده توسط شرکت‌ کننده ارزش می‌ افزاید. هدف از ارائه یک ارزیابی عملکرد نرمال شده این است که همه نتایج PT قابل مقایسه باشد، به طوری که شرکت کننده بتواند بلافاصله اهمیت ارزیابی را درک کند.

با بهبود درک این جنبه، استفاده از عدم قطعیت اندازه گیری در ارزیابی عملکرد در حال افزایش است. دو منبع عدم قطعیت اندازه گیری باید در نظر گرفته شود:

1) عدم قطعیت اندازه گیری مقدار اختصاص داده شده؛

2) عدم قطعیت اندازه گیری نتیجه شرکت کننده.

با توجه به اهداف متنوع طرح های PT امکان تعریف یک روش ارزیابی جهانی واحد وجود ندارد. بنابراین، تعدادی روش مختلف برای ارزیابی عملکرد در دسترس است. رایج ترین آن ها در زیر ذکر شده است. سایر طرح های آماری که در این سند پوشش داده نشده است، در ISO 13528 آورده شده است.

الف) “z امتیاز” رایج ترین مورد استفاده است که اندازه گیری انحراف نتیجه از مقدار اختصاص داده شده را ارائه می دهد. عدم قطعیت های اندازه گیری مقدار اختصاص داده شده و نتیجه گزارش شده در نظر گرفته نمی شود. به صورت زیر محاسبه می شود:

Z=(x_i – x_pt) / spt

جایی که:

x_i نتیجه گزارش شده توسط شرکت کننده i است

x_pt مقدار اختصاص داده شده است

spt SDPA است

ب) “امتیاز z” زمانی استفاده می شود که نگرانی در مورد عدم قطعیت مقدار تخصیصی وجود دارد ، بنابراین عدم قطعیت استاندارد مقدار تخصیصی در نظر گرفته می شود:

Z’ = (x_i – x_pt) / √s²_pt + u² (x_pt)

جایی که:

x_i نتیجه گزارش شده توسط شرکت کننده i است

x_pt مقدار اختصاص داده شده است

s_pt SDPA است

u(x_pt) عدم قطعیت استاندارد مقدار اختصاص داده شده است

ج) “امتیاز z” برای ارزیابی توانایی یک شرکت کننده برای تولید نتایج نزدیک به مقدار اختصاص داده شده در عدم قطعیت اندازه گیری ادعایی آنها مفید است. بنابراین عدم قطعیت استاندارد هر دو مقدار اختصاص داده شده و نتیجه شرکت کننده در نظر گرفته می شود:

z = (x_i – x_pt) / √ u² (x_i) + u² (x_pt)

جایی که:

x_i نتیجه گزارش شده توسط شرکت کننده i است

x_pt مقدار اختصاص داده شده است

u(x_i)عدم قطعیت استاندارد یک نتیجه از شرکت کننده i است

u(x_pt) عدم قطعیت استاندارد مقدار اختصاص داده شده است

د) ” امتیاز E_n ” سیستم امتیاز دهی دیگری است که عدم قطعیت گسترده ارزش اختصاص داده شده و نتیجه شرکت کننده را در نظر می گیرد:

E_n = (x_i – x_pt) / √ U² (x_i) + U² (x_pt)

جایی که:

x_i نتیجه گزارش شده توسط شرکت کننده i است

x_pt مقدار اختصاص داده شده است

U(x_i)عدم قطعیت گسترش یافته نتیجه گزارش شده از شرکت کننده i است

U(x_pt)عدم قطعیت گسترش یافته مقدار اختصاص داده شده است

یادآوری: ISO 13528 هشدار می‌ دهد که ترکیب عدم قطعیت‌ های گسترش‌ یافته، مانند امتیاز E_n، اجازه تفسیر یکسان را نمی‌ دهد، مگر اینکه هر دو دارای ضریب پوشش و درجات آزادی یکسان باشند.

تفسیر زیر معمولاً برای نمرات z، z’ و  z استفاده می شود:

2. i) │امتیاز│≤0 امتیاز نشان دهنده عملکرد “رضایت بخش” است و هیچ سیگنالی تولید نمی کند.

2.0  (ii<│امتیاز│ <3.0 نمره عملکرد “مشکوک” را نشان می دهد و یک سیگنال هشدار تولید می کند.

iii) │امتیاز│≥ 3.0 امتیاز عملکرد “نارضایت بخش” را نشان می دهد و یک سیگنال عمل تولید می کند.

در تفسیر نمرات z’ و z باید کمی احتیاط کرد:

– امتیاز z’ به درستی انحراف از مقدار اختصاص داده شده را استاندارد می کند، اما نمی تواند بین یک نتیجه ضعیف و یک مقدار تخصیص ضعیف تمایز قائل شود.

– نمرات z با افزایش انحراف از مقدار اختصاص داده شده یا با کوچکتر شدن عدم قطعیت گزارش شده افزایش می یابد، بنابراین نمره z بزرگتر می تواند نشان دهنده خطای بزرگ، عدم قطعیت دست کم گرفته شده یا هر دو باشد.

تفسیر زیر معمولاً برای نمرات E_n استفاده می شود:

|E_n| ≤ 1.0  (i امتیاز می تواند عملکرد “رضایت بخش” را نشان دهد و در صورتی که عدم قطعیت ها معتبر باشند و انحراف (xi-xpt) کمتر از نیاز شرکت کننده باشد، سیگنالی تولید نمی کند.

|E_n| > 1.0  (ii امتیاز می تواند عملکرد “نارضایت بخش” و نیاز به بررسی عدم قطعیت ارزیابی شده یا تصحیح یک مسئله رویه اندازه گیری را نشان دهد.

ارزیابی باید از دوره  به دوره یک طرح PT بر اساس یک پایه ثابت باشد، به طوری که نمرات عملکرد در دوره های متوالی قابل مقایسه باشد. تنها از این طریق است که یک شرکت کننده می تواند روندهای بلندمدت در عملکرد خود را ببیند. بنابراین ترجیح داده می شود که SDPA بر اساس تناسب معیارهای هدف (نگاه کنید به 7.2.3) به جای مبتنی بر گسترش نتایج شرکت کنندگان باشد.

7.2.5 رویکردهای ارزیابی عملکرد جایگزین

برخی از طرح‌های PT از یک تفاوت ساده بین مقدار تخصیص یافته و نتیجه شرکت‌کننده استفاده می‌کنند که اغلب با D نشان داده می‌شود، به عنوان نشانه‌ای از عملکرد. این همچنین می تواند به عنوان درصدی از مقدار اختصاص داده شده، D٪ بیان شود.

D_i = x_i – x_pt                                            D_i% =100 (x_i – x_pt) / x_pt

تفاوت D یا D% معمولاً با معیاری بر اساس تناسب برای هدف یا عملکرد مورد انتظار مقایسه می شود. اینها برای یک تحلیلگر آشنا با این حوزه، مزیت سادگی را دارند، اما تفسیر ثابتی برای ویژگی های مختلف ندارند.

7.2.6 اثر عدم قطعیت مقدار اختصاص داده شده

عدم قطعیت استاندارد مقدار اختصاص داده شده به عوامل متعددی بستگی دارد. اینها شامل روشی است که برای به دست آوردن مقدار اختصاص داده شده، و هنگامی که از اندازه گیری های انجام شده در چندین آزمایشگاه به دست می آید، بر روی تعداد آزمایشگاه ها. روش های محاسبه عدم قطعیت استاندارد مقدار تخصیصی را می توان در ISO 13528 یافت.

اگر عدم قطعیت استاندارد ((u(x_pt) مقدار تخصیص داده شده در مقایسه با SDPA بسیار بزرگ باشد، این خطر وجود دارد که برخی از آزمایشگاه ها عملکرد مشکوک یا نامطلوب را به دلیل عدم دقت در تعیین مقدار اختصاص داده دریافت کنند، نه به هر دلیلی در آزمایشگاه به همین دلیل، عدم قطعیت استاندارد مقدار تخصیصی باید ایجاد و به آزمایشگاه‌ های شرکت‌ کننده در طرح PT گزارش شود.

اگر u(x_pt) < 0.3 s_pt [20]، آنگاه عدم قطعیت استاندارد مقدار تخصیص داده شده ناچیز است و لازم نیست در تفسیر نتایج آزمون مهارت لحاظ شود.

اگر معیار فوق رعایت نشود، فراهم کنندگانPT معمولاً یکی از مراحل زیر را انجام می‌ دهد:

الف) از روش متفاوتی برای تعیین مقدار تخصیصی استفاده کرده است به طوری که عدم قطعیت استاندارد آن معیار فوق را برآورده می کند.

ب) از عدم قطعیت مقدار تخصیص یافته در تفسیر نتایج آزمون مهارت استفاده کرد (برای امتیاز z’، نمره z یا نمره E_n به بالا مراجعه کنید).

ج) مقادیر و عدم قطعیت‌ های جداگانه را برای هر زیر جمعیت (به عنوان مثال، شرکت‌ کنندگانی که از روش‌ های ندازه‌ گیری متفاوت استفاده می‌ کنند) گزارش می‌ کند، اگر مقدار تخصیص یافته از نتایج شرکت‌ کنندگان مشتق شده باشد، و عدم قطعیت بزرگ ناشی از تفاوت‌ های بین گروه‌ های فرعی قابل شناسایی شرکت‌ کنندگان است.

د) به شرکت کنندگان در آزمون مهارت اطلاع داد که عدم قطعیت ارزش اختصاص داده شده قابل اغماض نیست.

 

طرح های کیفی و تفسیری PT

طرح‌ های کیفی PT (همانطور که در ISO 13528 بیان شده است) و طرح‌ های PT تفسیری نیازمند توجه ویژه برای مراحل طراحی، تخصیص ارزش و ارزیابی عملکرد (امتیاز) هستند زیرا:

– ارزش های اختصاص داده شده اغلب بر اساس نظر متخصص است. و

– درمان آماری طراحی شده برای داده های با ارزش پیوسته و شمارش برای داده های کیفی قابل اجرا نیست. به عنوان مثال، در نظر گرفتن میانگین ها و انحرافات استاندارد نتایج مقیاس ترتیبی، حتی زمانی که بتوان آن ها را در یک ترتیب رتبه بندی قرار داد، معنی ندارد.

مکانیسم های زیر برای استخراج مقادیر اختصاص داده شده در طرح های PT کیفی و تفسیری در ISO 13528 آورده شده است:

الف) با قضاوت کارشناسی؛

ب) با استفاده از RMها به عنوان موارد آزمون مهارت؛

ج) از آگاهی از مبدأ یا تهیه اقلام PT؛

د) استفاده از حالت یا میانه نتایج شرکت کنندگان (میانگین برای مقادیر اسمی مناسب نیست). ارزیابی عملکرد معمولاً بر اساس موارد زیر انجام می شود:

– شرکت کنندگان صرفاً بر این اساس قضاوت کردند که آیا نتیجه آنها دقیقاً با مقدار اختصاص داده شده برای آیتم PT مربوطه مطابقت دارد یا خیر.

– شرکت‌ کنندگان با ارزیابی متخصص ارزیابی می‌ شوند، که ممکن است شامل نوعی سیستم نشانه‌ گذاری باشد که منجر به نوعی نمره عملکرد می‌ شود.

 

داده های  پرت

نقطه پرت، مشاهده ای است که از نظر عددی با بقیه داده ها فاصله دارد. احتمال بسیار کمی وجود دارد که نقاط پرت به طور تصادفی رخ دهند. معمولاً مقادیر پرت به یک جمعیت داده، یعنی توزیع یکسان تعلق ندارند. بنابراین، آن ها اغلب نشان دهنده یک خطا در اندازه گیری یا در مرحله دیگری از فرآیند تحلیلی هستند. فراهم کنندگانPT یا باید این اعداد پرت را کنار گذاشته یا از آمارهایی استفاده می‌ کرد که نسبت به موارد پرت قوی هستند. اگر این ظن وجود دارد که توزیع غیرعادی است، باید از تکنیک های آماری قوی استفاده کرد که تا عدم تقارن قوی هستند. مخلوطی از دو یا چند توزیع، که ممکن است دو یا چند زیر جمعیت مجزا باشند، به عنوان مثال. در نتیجه استفاده از دو روش اندازه گیری مختلف، ممکن است گاهی اوقات به نظر برسد که گویی چندین نقطه پرت وجود دارد. ISO 13528 در مورد عواقب احتمالی راهنمایی می کند.

ISO 13528 به طور خاص به موضوع حذف اشتباه می پردازد. اشتباهات آشکار، مانند گزارش نتایج در واحدهای نادرست یا تغییر نتایج از موارد مختلف PT، در اکثر دوره های PT رخ می دهد و عملکرد روش های آماری بعدی را مختل می کند. توصیه می‌ شود که فراهم کنندگان PT اشتباهات آشکار را از مجموعه داده‌ ها در مراحل اولیه تجزیه و تحلیل داده‌ ها، قبل از استفاده از هر روش قوی یا استفاده از هر آزمونی برای شناسایی موارد پرت آماری، حذف کنند.

فراهم کنندگانPT باید بیان کنند که چگونه داده های پرت را در نظر می‌ گیرند و چگونه اشتباهات را هنگام پردازش داده‌ های دوره های PT در نظر می‌ گیرد.

استاندارد “17043 “ارزیابی انطباق-الزامات عمومی آزمون مهارت را بیان می کند.

برای راهنمایی بیشتر می توانید پست “آزمون مهارت و مقایسه بین آزمایشگاهی: راهنمای نهایی ISO/IEC 17025″ را مطالعه نمایید.