روایی و پایایی و هرآنچه که درموردش نمیدانید!

امروزه برای اینکه بتوانیم رفتار جامعه‌ی مورد مطالعه را کمی­ سازي کنیم بسیاري از پدیده­‌ها را از طریق ابزارهایی مثل پرسشنامه­، چک لیست و تست‌­هاي آموزشی و یا ارزیابی­‌هاي داوران مورد مطالعه قرار میدهیم. بنابراین بسیاري از پژوهش‌­ها بر اساس ابزارهاي مذکور انجام می­شوند. یک ابزار مناسب باید روایی (Validity) و پایایی (Reliability) داشته باشد. در غیر این صورت آن ابزار و در نهایت نتیجه ­ی آن پژوهش قابل اطمینان و معتبر نخواهد بود. از آنجا که نتایج یک پژوهش می­تواند در مسیر علمی تأثیرگذار باشد و یا مورد استفاده‌ی سایر پژوهش­‌ها قرار بگیرد، لازم است پژوهشگران حداکثر تلاش خود را برای رسیدن به نتایجی با دقت و صحت بالا انجام دهند.

روایی یا Validity

روایی به معنی این است که ابزار استفاده شده تا چه اندازه می­تواند ویژگی مورد نظر را درست اندازه ­گیری کند. در واقع روایی درجه‌­اي از صحت نتایج مطالعه است و مشخص می­کند که مطالعه تا چه حدي، چیزي را که قصد اندازه‌­گیريش را داشته، به درستی سنجیده است. مثلا پرسشنامه‌ای را فرض کنید که قرار است برای بررسی «میزان افسردگی» استفاده شود اما به نظر می­رسد سوالات آن «میزان اضطراب» را بررسی می­کند. نتایج به دست آمده از این پرسشنامه روایی ندارد؛ زیرا ویژگی مورد نظر که در اینجا «میزان افسردگی» بوده، ارزیابی نشده است. بنابراین وقتی گفته می­شود ابزار جمع ­‌آوری داده ­ها باید روایی داشته باشد، یعنی آن پرسشنامه، فرم مصاحبه، چک­‌لیست مشاهده و… باید متناسب با هدف اصلی طراحی شده باشد و بتواند ویژگی مورد نظر را به طور مناسب بسنجد؛ در غیر این صورت نتیجه­‌ی نهایی ارزشی نخواهد داشت.

ابزارهای سنجش محقق­‌ساخته و ابزارهای سنجشی که اعتبار یا روایی آن­ها در فرهنگ­‌ها و زبان­‌هاي دیگر به تأیید رسیده باشد باید اعتبارسنجی شوند. زمانی که یک ابزار سنجش به زبان بیگانه نوشته شده است، ابتدا دو فرد ماهر یا بیشتر آن را به زبان فارسی ترجمه می­کنند؛ سپس دو متن باهم مقایسه میشوند و مورد ارزیابی قرار می­گیرند. در مواردي مشاوره با مترجم یا فردي انگلیسی زبان صورت می­گیرد تا در نهایت مناسب ­ترین ترجمه براي عبارات اولیه انتخاب شود و در مورد یک نسخه ­ی فارسی مشترك توافق گردد. به این شکل پرسشنامه به یک ترجمه واحد تبدیل می­شود. سپس نسخه­ ی نهایی ترجمه­  شده، جهت برگرداندن از زبان فارسی به زبان اصلی (ترجمه معکوس) در اختیار یک مترجم دیگر که متن اولیه انگلیسی را ندیده بود قرار می­گیرد؛ هدف از این کار اطمینان بیشتر از صحت ترجمه می­باشد. پس از تأیید نهایی نسخه ترجمه شده توسط متخصصان و در مورد ابزارهای محقق ساخته، پس از تهیه بانک سؤالات، پرسشنامه نهایی جهت تعیین روایی ابزار، روایی صوري، روایی محتوی و روایی سازه بررسی و ارزیابی می‌شود. لازم به ذکر است که در ابتدا روایی صوري بررسی می­شود تا در صورت نیاز به تغییر پرسشنامه، کل روایی پرسشنامه تغییر نکند.

روش هاي تعيين روایی یا اعتبار

اعتبار صوری

ساده­ ترین روش برای بررسی روایی ابزار اندازه ­گیری می­باشد. روایی صوري قضاوت عینی در مورد ساختار ابزار است و از نگاه گروه هدف به این سؤالات پاسخ می­دهد که: آیا ابزار طراحی شده به صورت ظاهري با هدف مطالعه مرتبط است؟ آیا افرادي که قرار است به ابزار پاسخ دهند، با عبارات و جمله­ بندي آن موافق هستند؟ آیا برداشت افراد غیر متخصص (گروه هدف) همان برداشتی است که مد نظر محقق است؟ آیا اجزاء و کلیت ابزار قابل پذیرش پاسخ­ دهندگان می­باشد؟

روایی محتوی

 روایی محتوي بطور معمول به چنین سؤالاتی پاسخ می­دهد که آیا ابزار طراحی شده همه جوانب مهم و اساسی مفهوم مورد اندازه ­گیري را شامل می­شود؟ آیا سازه­ هاي ابزار همان چیزي را که باید ارزیابی می­کنند؟ آیا اجزاء و کلیت ابزار از نظر متخصصان مربوطه قابل قبول است؟

روایی سازه

مفهوم مرکبی است که نیازمند بررسی چند مرحله می­باشد و با روایی ضابطه که شامل روایی پیشگویی ­کننده، روایی همزمان، روایی همگرا و روایی تمایز است ارزیابی می­شود.

روایی ضابطه یا Criterion-related validity

به معنای توافق بین یک تست با یک یا تعداد بیشتري تست معتبر دیگر در همان زمینه است، که معمولاً با استفاده از ضریب همبستگی بین آن­ها ارزیابی میشود. شامل چهار نوع می­باشد:

• روایی پیشگویی‌­کننده یاPredictive validity: زمانی کاربرد دارد که معیار، در زمان آینده اتفاق می­افتد و در حال حاضر وجود ندارد. هدف دانستن آن است که یک مقیاس یا ابزار تا چه اندازه می­تواند پیامدي را در آینده پیش­بینی کند، مثلا بر اساس نمره میان­ترم دانشجویان، قبولی و یا رد شدن آن­ها را در پایان ترم پیش­بینی شود.

• روایی همزمان یا Concurrent validity: زمانی بررسی می­شود که معیار در حال حاضر وجود دارد. مثلا می­توان در یک بررسی از کارمندان میزان حقوق دریافتی را پرسید و به عنوان یک ضابطه از مدارك حسابداري استفاده نمود و همبستگی مقدار حقوق گزارش شده را با مقدار واقعی آن بر اساس مدارك موجود محاسبه کرد.

• روایی همگرا: به میزان ارتباط و همبستگی میان سوال مربوط به یک حیطه با همان حیطه مربوط می­شود. اعتبار همگرا همچنین میزان ارتباط نمرات در یک ابزار سنجش را با نمرات در ابزارهای دیگری که همان سازه یا سازه ­های مشابه را دارند اندازه­ گیری می­کند. اگر همبستگی بین نمرات آزمون‌هایی که سازه­‌ی یکسانی را اندازه می­گیرند بالا باشد، آزمون دارای روایی همگرا است.

• روایی تمایز یا Discriminant validity: این روش به همبستگی ضعیف بین سوالات مربوط به یک حیطه با حیطه­ های دیگر مربوط می­شود. می­توان اینطور گفت که ضریب همبستگی یک سوال با حیطه­ های دیگر باید کمتر از ضریب همبستگی آن سوال با حیطه­ های مربوط به خودش باشد. در واقع با استفاده از یک ابزار باید بتوان میان سازه مورد اندازه­ گیری و دیگر سازه­ های نامرتبط تمایز قائل شد. پس اگر همبستگی بین آزمون­هایی که سازه‌های متفاوتی را اندازه­  گیری می­کنند پایین باشد، آزمون دارای اعتبار تشخیصی یا تمایزی است.

علاوه بر آن هرچند اعتبار همگرا لازم است اما کافی نیست و روایی تمایزی در حد روایی همگرا لازم است؛ زیرا به بررسی حساسیت ابزارها در سنجش پدیده­اي غیر مربوط می­پردازد و میزان ابهام یا گسترده بودن مفهوم را نشان می­دهند. بنابراین روایی سازه حاصل از روایی ترجمه و روایی ضابطه است که روایی ترجمه با تعیین روایی صوري و روایی محتوي به دست می­آید و روایی ضابطه شامل چهار جنبه روایی همزمان، روایی همگرایی، روایی تمایز و روایی پیشگویی می­باشد (شکل شماره­‌ی 1).

پایایی یا Reliability

پایایی درجه‌اي از دقت و یکسان بودن نتایج در طول زمان معین، تحت شرایط مشابه و با روش کار یکسان است که با قابلیت تکرار یا Repeatability و قابلیت تکثیر یا Reproducibility نتایج ارزیابی می­شود. یعنی اگر در چند زمان مختلف برای یک جمعیت از آن ابزار استفاده شود، در نتیجه به دست آمده اختلاف چندانی مشاهده نخواهد شد. برای اندازه ­گیری پایایی از شاخصی به نام ضریب پایایی استفاده می­شود که دامنه­‌ی آن از صفر تا +1 است. اگر ضریب صفر باشد به معنای عدم پایایی و اگر یک باشد به معنای پایایی کامل می‌باشد. هرچند پایایی کامل به ندرت دیده می­شود و اغلب در صورت مشاهده، به نتایج به دست آمده شک می­کنند.

به عبارتی می­توان گفت که پایایی شامل سه بخش مختلف است. ثبات که به معنی کسب نتایج یکسان در افراد مشابه در صورت تکرار آزمون است؛ هم ارزي یا تعادل (Equivalence) زمانی حاصل می­شود که اگر آزمون توسط محققین مختلفی استفاده شود، همگی نتایج یکسانی را به دست آورند؛ و همگنی (Homogeneity) شاخصی است از این که تمام قسمت­‌هاي آزمون مورد استفاده، داراي سازگاري درونی باشند. در ارزیابی‌هاي به کار رفته در علوم مختلف، در فعالیت­‌هاي آموزشی و پژوهشی، تشخیص ­هاي پزشکی و… بر اساس آن که محقق بخواهد هر کدام از اجزاي پایایی شامل ثبات، هم ارزي و یا همگنی را اندازه ­گیري نماید، می­تواند با استفاده از روش‌­هاي مختلف پایایی را بسنجد. جهت بررسی پایایی ابزار، پرسشنامه و یا هر مقیاس سنجش دیگر می­توان از روش آزمون-باز آزمون و همچنین آزمون­‌هاي مورد استفاده در تعیین پایایی از جمله ضریب آلفاي کرونباخ، روش دو نیمه کردن، کادر ریچارسون و یا فرم­‌هاي موازي بر روي نمونه‌اي از گروه هدف استفاده کرد.

روش هاي سنجش پایایی

روش­‌های سنجش پایایی یک ابزار (آزمون یا پرسشنامه) به دلایلی مثل عملکرد و طبیعت ابزار و چگونگی استفاده از آن در زمین ه­ی مورد استفاده متفاوت می­باشد. گاهی هدف تعیین ضریب پایایی به معناي تعیین توافق درونی است که در این صورت می­توان روش‌­هاي آلفاي کرونباخ، کادر ریچارسون و دو نیمه کردن را به کار گرفت. اما چنانچه هدف ارزیابی ثبات ابزار باشد، می­توان از روش آزمون-بازآزمون و یا فرم­‌هاي موازي استفاده نمود. همچنین، گاهی هدف از تعیین ضریب پایایی تعیین توافق بین مشاهده­ گران یا مصاحبه‌کنندگان و یا ارزیابان می­باشد. بنابراین روش­‌های سنجش پایایی به دو دسته‌ی عمده تقسیم می‌شوند: سنجش توافق درونی در پایایی و سنجش ثبات در پایایی.

سنجش توافق درونی در پایایی

روش آلفاي کرونباخ (Alpha Cronbach)

کرونباخ در سال 1951 در دانشگاه استنفورد برای حل مشکل تعیین پایایی آزمون­‌های چند سوالی، روش آماری ضریب آلفا را ابداع کرد. این روش معمول‌­ترین ضریب پایایی ثبات داخلی است که در بیشتر مطالعات از آن استفاده می­شود که معرف میزان تناسب گروهی از آیتم­‌هایی است که یک سازه را می‌سنجند. آلفا باید حداقل برابر با 7/0 و یا بیشتر باشد تا یک سؤال بتواند در یک ابزار باقی بماند. این روشی است که فقط به انجام یک بار آزمون نیاز دارد تا برآوردی از پایایی آزمون را حاصل شود. در کل، ضریب پایایی آلفای کرونباخ زمانی مفید است که سوالات به صورت صحیح-غلط طرح نشده باشند.

روش دونيمه کردن آزمون(half-Split)

در این روش یک آزمون به دو نیمه تقسیم شده و رابطه‌ی همبستگی بین دو نیمه آزمون سنجیده می‌شود. این آزمون معمولا براي متغیرهاي دو حالتی به کار می­رود که کد صفر به پاسخ­هاي غلط و کد یک به پاسخ­هاي صحیح داده می­شود. در این روش دو نیمه آزمون باید در محتوي و سختی سؤالات باهم مشابه باشند و چون تعداد سؤالات ابزار به دو قسمت تقسیم شده است، باید روش ضریب همبستگی به کار رود که با استفاده از ضریب اسپیرمن و گاتمن محاسبه می­شود.

روش کودر-ریچاردسون(Richardson-Kuder)

این روش شامل دو آزمون KR20 و KR21 می­باشد. این روش‌­ها آزمون­هاي همگنی (ثبات بین سؤالات) هستند که نسبت پاسخ‌­هاي صحیح به غلط را در هر سؤال ابزار یا آزمون مد نظر قرار می­دهند و براي آزمون­‌هایی که پاسخ آن­ها به شکل صحیح و غلط است مفید می­باشد؛ به این صورت که کد صفر به پاسخ­‌هاي غلط و کد یک به پاسخ ­هاي صحیح داده می­شود. از لحاظ ریاضی قابل اثبات است که ضریب پایایی کادر ریچاردسن برابر با میانگین ضرایب نیمه­‌هاي آزمون به دست آمده از کل نیمه­‌هاي ممکن یک آزمون می­باشد، در اینگونه آزمون‌­ها (دو حالتی) مقدار  KR20با آلفاي کرونباخ برابر می­شود. اما روش KR21 زمانی مفید است که کل سؤالات پرسشنامه از لحاظ سختی با هم برابر باشند. در این روش آزمون یا ابزار وقتی قابل قبول است که ضریب پایایی کادر ریچاردسن حداقل برابر با 64/0 باشد؛ در حالی که در آزمون­‌هاي استاندارد این مقدار باید از 80/0 بالاتر باشد.

سنجش ثبات در پایایی

روش آزمون-بازآزمون (Retest-Test)

در این روش برای سنجش پایایی، سؤالات آزمون در دو نوبت به یک گروه واحد، تحت شرایط یکسان داده می­شود و نمرات حاصل با هم مقایسه می­شوند. در نهایت ضریب همبستگی بین نمرات حاصل از اجراي دو بار آزمون برآورد میشود تا چگونگی شباهت امتیازات مشخص گردد و به عنوان ضریب پایایی محسوب شود. رایج­ ترین روش براي یافتن همبستگی بین نمرات در این روش، محاسبه ضریب همبستگی اسپیرمن براون است. در روش آزمون- بازآزمون فرض می­شود که متغیرها یا مفاهیم مورد اندازه ­گیري و همچنین خصوصیات آزمون ­شوندگان در طول دوره تغییر نخواهند کرد. این روش یکسری معایب دارد مثل آشنایی آزمون­ شوندگان با محتوي سؤالات، مشکل در تعیین فاصله‌­ی زمانی مناسب براي اجراي دو نوبت آزمون و عدم علاقه آزمون‌شوندگان به اجراي نوبت دوم؛ که به این دلایل توسط بسیاري از پژوهشگران بی ­ارزش محسوب می‌شود. پژوهشگران معتقد هستند که سه نوع اثر متفاوت شامل اثر حافظ (Effect Memory) ، اثر خستگی (Effect Fatigue)  و اثر ناشی از تغییرات واقعی(Effect Change Genuine) در مقدار پایایی آزمون-بازآزمون، تاثیرگذار خواهند بود. نکته­‌ی مهم استفاده از این روش، فاصله زمانی بین دو آزمون است و گفته می­شود که فاصله­‌ی زمانی بین دو آزمون باید تا حدي باشد که از یکسو عبارات ابزار فراموش شود و از سوی دیگر تغییر در پدیده­‌ی مورد اندازه­ گیري اتفاق نیفتد. برخی این فاصله را بین دو هفته تا یک ماه پیشنهاد کرده ­اند. قابل قبول­ترین آزمون جهت تعیین ثبات (آزمون پایایی) آزمون شاخص همبستگی درون خوشه‌­اي (Interclass correlation coefficient) است. چنانچه این شاخص بالاتر از 8/0 باشد میزان ثبات مناسب خواهد بود.

فرم­های موازی (یکسان) و دقیقا یکسان (Parallel & strictly parallel forms reliability)

این دو مدل، روش‌­هایی براي آزمون آماري تساوي میانگین­ ها و واریانس‌ها هستند. در روش دقیقاً یکسان فرض می­شود که امتیازات سؤال میانگین و واریانس مشابهی دارند؛ در حالی که در مدل موازي فرض میشود که آن­ها واریانس مشابهی دارند اما لازم نیست که میانگین مشابهی داشته باشند. برآورد پایایی در روش موازي مساوي با آلفاي کرونباخ می­باشد و در مدل دقیقاً موازي بر اساس آلفاي کرونباخ بوده ولی از تفاضل میانگین سؤالات حاصل می­شود.

پایایی فرم‌­هاي متعادل(Equivalent forms reliability)

در این روش دو فرم جداگانه در مورد یک موضوع به یک گروه مشابه داده می­شود. هر فرم شامل تعدادي از سؤالات آزمون می­شود. به عبارتی دو آزمون معادل در مورد یک مفهوم یا متغیر به خصوص فراهم شده و در فاصله‌ی کوتاهی به یک گروه واحد داده می­شود. ضریب همبستگی بین نمرات حاصل از این دو فرم برابر با پایایی فرم‌­هاي متعادل خواهد بود. این روش به دلایلی مثل مشکل در طراحی و ساخت دو فرم یا نمونه سؤال همسان و مساوي در مورد یک مفهوم، عدم علاقه آزمون ­شوندگان براي پر کردن فرم دوم، یادگیري ناشی از فرم اول و تأثیر آن در تکمیل فرم دوم کاربرد فراوانی ندارد.

پایایی بین مشاهده ­کنندگان(Inter rater or observer reliability)

این ضریب ثبات و همبستگی نمرات بین مشاهده­ کنندگان، داوران یا ارزیابان مختلف یک موضوع را مورد بررسی قرار می­دهد. آن را ضریب توافق هم می­نامند که با ضریب کاپا نشان داده می­شود. این روش زمانی به کار می­رود که یک ابزار یا پرسشنامه با سؤالات تشریحی، بر روي افراد مشابهی توسط دو یا چند مصاحبه‌گر یا پرسشگر استفاده شود تا یک توافق کلی در مورد ابزار حاصل گردد.  دامنه­‌ی ضریب کاپا بین صفر تا یک است و به صورت درصد بیان می­شود. حداقل مقدار قابل قبول ضریب کاپا بیش از 6/0 می­باشد و مقادیر بالاتر از 8/0 در توافق دو داور یا ارزیاب ایده ­آل در نظر گرفته شده است.

همانطور که گفته شد ضریب پایایی می­تواند با یک آزمون و یا بیش از یک آزمون محاسبه شود و همچنین آزمون یا آزمون­‌هاي مورد استفاده می­توانند در یک زمان یا بیش از یک زمان به کار روند. بر اساس شکل شماره دو نیز مشخص شده است که پایایی شامل دو جزء متفاوت ثبات و توافق درونی است؛ که ثبات با آزمون-بازآزمون مورد ارزیابی قرار می­گیرد و توافق درونی را هم می­توان با یکی از روش­‌هاي دو نیمه کردن، توافق بین داوران با استفاده از ضریب کاپا و یا آلفاي کرونباخ تعیین نمود.

روش‌­های افزایش روایی و پایایی

در تعیین پایایی می­توان گفت که افزایش تعداد سؤالات مشابه با سؤالات قبلی براي طولانی ­تر کردن آزمون، متجانس و همگون کردن سؤالات، افزودن سؤالات با ضریب دشواري متوسط، افزودن سؤالات با ضریب تمایز بالا، به کارگیري آزمون بر روي گروهی از افراد که توانایی کمی برای پاسخگویی به آزمون تجانس دارند و همچنین استفاده از آزمون سرعت، یعنی اجراي آزمون در یک زمان محدود، از عوامل مؤثر در افزایش پایایی ابزارهای سنجش می­باشند. سنجش روایی نیز به آگاهی از علم آمار و روش­‌هاي آماري نیاز دارد تا امکان دستیابی به مقدار واقعی پیامدها فراهم شود. بنابراین برنامه ­ریزي در طراحی و کاهش خطاهاي غیر تصادفی در اندازه ­گیري می­تواند میزان پایایی و روایی ابزار را بالا برده و اعتبار نتایج مطالعه را افزایش دهد.

سخن پایانی

همانطور که اشاره شد، روایی به معنای صحت و پایایی به معنای دقت نتایج حاصل از ابزار می­باشد. تعیین روایی و پایایی کاری آماری است و به دانش و تجربه ­ی کافی در این زمینه احتیاج دارد. در این مقاله سعی شد تا این روش‌­ها به طور خلاصه، ساده و بدون ذکر فرمول­‌ها ارائه شوند تا فهم مطالب آسان­تر گردد. مطالب گفته شده برگرفته از مقاله ­ای با عنوان «روایی و پایایی ابزارها و روش­هاي مختلف اندازه­ گیري آن­ها در پژوهش­‌هاي کاربردي در سلامت» میباشد، که توسط محمدبیگی و همکاران در سال 1393 نوشته شده است (برای اطلاعات بیشتر می­توانید به این مقاله مراجعه فرمایید). ارائه­ ی نتایج و آمار دقیق و صحیح در گرو استفاده از ابزار سنجش دارای روایی و پایایی مناسب می­باشد. بنابراین قبل از استفاده از یک ابزار برای پژوهش خود باید این دو مورد را چک کنید. همچنین اگر می­خواهید ابزاری را بومی ­سازی یا ترجمه کنید یا ابزار جدیدی بسازید (که همانطور که در مقالات قبلی هم اشاره شد، این کار برای پژوهش‌­های اول پیشنهاد نمی­شود)، برای تعیین روایی و پایایی باید از یک آماریست باتجربه کمک بگیرید تا با توجه به نوع مطالعه و ابزار و همینطور جامعه­‌ی مورد مطالعه­ ی شما و… بهترین روش‌­ها انتخاب شوند. لازم به ذکر است که در دوره جامع آموزش پروپوزال نویسی ژیوارآموزان در دو بخش آشنایی با ابزارهای جمع آوری اطلاعات و نحوه نگارش روش اجرای پروپوزال به صورت کامل به توضیح روایی و پایایی پرداخته شده‌است.

مقالات مرتبط:

آشنایی با انواع مطالعات و دسته‌بندیهای مختلف آن

انتخاب عنوان پروپوزال و ویژگیهای یک عنوان خوب

جدول متغیرهای پروپوزال و نحوه تکمیل آن

دانلود فایل مقاله روایی و پایایی و هرآنچه که درموردش نمیدانید!