پایایی و روایی ابزار پژوهش؛ راهنمای کامل سنجش اعتبار پرسشنامه و …
پایایی و روایی ابزار پژوهش چیست؟
پایایی و روایی ابزار پژوهش دو مفهوم اساسی برای ارزیابی کیفیت پرسشنامه، مقیاس، آزمون و سایر ابزارهای اندازهگیری در پژوهش هستند. اگر ابزار پژوهش نتواند متغیر موردنظر را بهدرستی و با ثبات اندازهگیری کند، نتایج حاصل از تحلیل دادهها نیز نمیتوانند اعتبار کافی داشته باشند.
به زبان ساده، پایایی بیشتر به ثبات و قابلیت اعتماد اندازهگیری مربوط است و روایی به این موضوع میپردازد که آیا ابزار واقعاً همان چیزی را اندازهگیری میکند که برای اندازهگیری آن طراحی شده است یا خیر.
برای مثال، اگر پرسشنامهای برای سنجش رضایت شغلی طراحی شده باشد، باید هم از ثبات مناسبی برخوردار باشد و هم شواهد کافی وجود داشته باشد که گویههای آن واقعاً سازه «رضایت شغلی» را اندازهگیری میکنند.
در این راهنما با انواع روایی و پایایی ابزار پژوهش، روشهای سنجش آنها، تفاوت پایایی و روایی، آلفای کرونباخ، روایی محتوا، روایی سازه و مهمترین نکات گزارش آنها در مقاله و پایاننامه آشنا میشوید.
پایایی ابزار پژوهش چیست؟
پایایی (Reliability) به میزان ثبات و قابلیت اعتماد یک ابزار اندازهگیری اشاره دارد.
اگر یک ابزار در شرایط مشابه بتواند اندازهگیریهایی نسبتاً سازگار ارائه دهد، میتوان گفت از پایایی مناسبی برخوردار است.
برای مثال، اگر یک پرسشنامه رضایت شغلی در شرایط مشابه و برای گروههای مشابه نتایج بسیار ناپایداری ایجاد کند، باید درباره پایایی آن تردید کرد.
البته پایایی بهتنهایی کافی نیست. یک ابزار ممکن است نتایج بسیار ثابتی تولید کند، اما چیزی را که باید اندازهگیری کند، بهدرستی اندازهگیری نکند.
روایی ابزار پژوهش چیست؟
روایی (Validity) به میزان پشتیبانی شواهد و منطق نظری از این ادعا مربوط است که یک ابزار برای هدف موردنظر خود، سازه مورد نظر را بهدرستی اندازهگیری میکند.
برای مثال، اگر ابزار با هدف سنجش «اضطراب شغلی» طراحی شده باشد، باید شواهد کافی وجود داشته باشد که نشان دهد نمرات ابزار با تفسیر موردنظر از اضطراب شغلی سازگار هستند.
روایی یک ویژگی مطلق و همیشگی برای یک پرسشنامه نیست؛ بلکه باید با توجه به هدف، جامعه، زمینه و نحوه استفاده از نمرات ابزار ارزیابی شود.
تفاوت پایایی و روایی چیست؟
تفاوت اصلی را میتوان به شکل ساده اینگونه بیان کرد:
پایایی: آیا اندازهگیری ثبات و قابلیت اعتماد کافی دارد؟
روایی: آیا شواهد کافی وجود دارد که تفسیر موردنظر از نمرات ابزار درست است؟
برای درک بهتر، تصور کنید یک ترازو همیشه وزن فرد را دو کیلوگرم بیشتر نشان دهد.
اگر در اندازهگیریهای مختلف همین خطا را تکرار کند، میتواند ثبات داشته باشد؛ اما لزوماً اندازهگیری آن از وزن واقعی معتبر نیست.
بنابراین:
پایایی شرط مهمی برای کیفیت اندازهگیری است، اما پایایی بالا بهتنهایی روایی ابزار را اثبات نمیکند.
انواع روایی ابزار پژوهش
روایی یک مفهوم چندبعدی است و شواهد آن میتواند از منابع مختلفی به دست آید.
روایی محتوا
روایی محتوا (Content Validity) بررسی میکند که آیا محتوای ابزار، دامنه مفهوم یا سازه موردنظر را به اندازه کافی پوشش میدهد یا خیر.
برای مثال، اگر پرسشنامهای قصد سنجش «کیفیت خدمات» را داشته باشد، نباید فقط یک جنبه از کیفیت خدمات را پوشش دهد و سایر ابعاد مهم را نادیده بگیرد.
چگونه روایی محتوا بررسی میشود؟
یکی از روشهای رایج، استفاده از نظر خبرگان و متخصصان حوزه است.
پژوهشگر میتواند پرسشنامه را در اختیار تعدادی از متخصصان قرار دهد و از آنها بخواهد درباره مواردی مانند:
- تناسب گویه با سازه
- وضوح سؤال
- ضرورت گویه
- پوشش ابعاد سازه
- ارتباط سؤال با اهداف پژوهش
اظهارنظر کنند.
در برخی پژوهشها از شاخصهایی مانند CVR و CVI نیز برای کمیسازی بخشی از این ارزیابی استفاده میشود.
روایی سازه
روایی سازه (Construct Validity) به این موضوع مربوط است که آیا شواهد تجربی و نظری از ساختار و تفسیر سازهای که ابزار برای اندازهگیری آن طراحی شده است، حمایت میکنند یا خیر.
روایی سازه بهخصوص برای سازههای انتزاعی مانند:
- رضایت شغلی
- تعهد سازمانی
- اعتماد
- کیفیت زندگی
- انگیزش
- نگرش
اهمیت زیادی دارد.
تحلیل عاملی و روایی سازه
یکی از روشهای مهم برای بررسی برخی شواهد مرتبط با ساختار سازه، استفاده از تحلیل عاملی اکتشافی (EFA) و تحلیل عاملی تأییدی (CFA) است.
در تحلیل عاملی اکتشافی، پژوهشگر میتواند ساختار احتمالی روابط میان گویهها را بررسی کند.
در تحلیل عاملی تأییدی، یک ساختار نظری مشخص با دادهها مقایسه میشود.
با این حال، تحلیل عاملی بهتنهایی تمام ابعاد روایی سازه را پوشش نمیدهد و باید در چارچوب شواهد و نظریه مربوط به ابزار تفسیر شود.
روایی ملاکی
روایی ملاکی (Criterion-related Validity) زمانی مطرح میشود که بتوان نمرات ابزار را با یک ملاک یا معیار مرتبط و معتبر مقایسه کرد.
اگر نمرات ابزار با یک معیار معتبر که از نظر نظری انتظار ارتباط با آن وجود دارد، رابطه مناسبی داشته باشند، این ارتباط میتواند شواهدی در حمایت از روایی ملاکی فراهم کند.
روایی ملاکی معمولاً در دو شکل مورد بحث قرار میگیرد:
روایی همزمان
در این حالت، نمرات ابزار با یک ملاک معتبر در یک بازه زمانی مشابه مقایسه میشوند.
روایی پیشبین
در روایی پیشبین، بررسی میشود که نمرات ابزار تا چه اندازه میتوانند یک پیامد یا معیار آینده را پیشبینی کنند.
انواع پایایی ابزار پژوهش
برای ارزیابی پایایی روشهای مختلفی وجود دارد و انتخاب روش مناسب به نوع ابزار و هدف پژوهش بستگی دارد.
پایایی همسانی درونی
همسانی درونی (Internal Consistency) بررسی میکند که گویههای یک مقیاس تا چه اندازه با یکدیگر سازگارند و آیا شواهدی وجود دارد که آنها یک سازه یا بعد مشترک را بهصورت هماهنگ اندازهگیری میکنند.
یکی از شناختهشدهترین شاخصها در این زمینه آلفای کرونباخ است.
آلفای کرونباخ چیست؟
آلفای کرونباخ (Cronbach’s Alpha) یکی از شاخصهای رایج برای بررسی همسانی درونی مجموعهای از گویههاست.
مقدار آلفا معمولاً بین صفر و یک گزارش میشود، اما تفسیر آن نباید صرفاً بر اساس یک مرز عددی ثابت انجام شود.
مقدار آلفا به عواملی مانند:
- تعداد گویهها
- همبستگی میان گویهها
- ساختار مقیاس
- ویژگیهای نمونه
- تکبعدی یا چندبعدی بودن ابزار
وابسته است.
بنابراین، این تصور که «آلفای بالاتر از یک عدد مشخص همیشه به معنی ابزار عالی است» سادهسازی بیش از حد مفهوم پایایی است.
پایایی بازآزمایی
پایایی بازآزمایی (Test-Retest Reliability) بررسی میکند که آیا ابزار در دو زمان متفاوت، در شرایط مشابه، نتایج نسبتاً سازگاری ارائه میدهد یا خیر.
این روش زمانی اهمیت بیشتری دارد که انتظار داشته باشیم سازه مورد اندازهگیری در فاصله زمانی موردنظر تغییر قابل توجهی نکند.
برای مثال، اگر یک مقیاس ویژگی نسبتاً پایدار فردی را اندازهگیری کند، میتوان نمرات افراد را در دو زمان مقایسه کرد.
پایایی بین ارزیابان
در برخی پژوهشها، قضاوت یا امتیازدهی توسط ارزیابان انجام میشود.
در چنین شرایطی باید بررسی شود که آیا ارزیابان مختلف نتایج مشابهی ارائه میکنند یا خیر.
این موضوع در پژوهشهایی مانند:
- مشاهده رفتاری
- ارزیابی عملکرد
- کدگذاری دادههای کیفی
- تشخیص یا طبقهبندی توسط ارزیاب
اهمیت ویژهای دارد.
شاخص مناسب برای بررسی توافق ارزیابان به نوع داده و طراحی پژوهش بستگی دارد.
پایایی و روایی پرسشنامه چگونه بررسی میشود؟
برای بررسی کیفیت یک پرسشنامه، معمولاً نمیتوان به یک آزمون واحد تکیه کرد.
یک فرایند منطقی میتواند شامل مراحل زیر باشد:
مرحله اول: بررسی مبانی نظری
ابتدا باید مشخص شود سازه دقیقاً چه تعریفی دارد و ابعاد آن چیست.
مرحله دوم: بررسی روایی محتوا
متخصصان و خبرگان میتوانند درباره تناسب و پوشش گویهها نظر دهند.
مرحله سوم: اجرای پیشآزمون
نسخه اولیه پرسشنامه روی گروهی محدود از افراد مشابه جامعه هدف اجرا میشود تا مشکلات احتمالی شناسایی شوند.
مرحله چهارم: بررسی پایایی
با توجه به ساختار ابزار، روش مناسب پایایی انتخاب میشود.
مرحله پنجم: بررسی ساختار ابزار
در صورت مناسب بودن طرح و دادهها، تحلیل عاملی میتواند برای بررسی ساختار اندازهگیری به کار رود.
مرحله ششم: جمعبندی شواهد
در نهایت، پژوهشگر باید مجموعه شواهد مربوط به کیفیت ابزار را در کنار مبانی نظری و هدف استفاده از آن تفسیر کند.
آیا پایایی بالا به معنای روایی بالا است؟
خیر.
این یکی از مهمترین نکات در ارزیابی ابزار پژوهش است.
ممکن است یک پرسشنامه گویههایی داشته باشد که پاسخهای بسیار مشابهی ایجاد کنند و از نظر همسانی درونی پایایی بالایی نشان دهد؛ اما این گویهها سازه موردنظر را بهطور کامل پوشش ندهند.
بنابراین:
پایایی بالا ≠ روایی بالا
اما در بسیاری از کاربردهای اندازهگیری، وجود شواهد کافی درباره پایایی برای تفسیر نمرات اهمیت دارد.
چه زمانی باید پایایی و روایی ابزار را بررسی کنیم؟
بررسی کیفیت ابزار باید با توجه به شرایط پژوهش انجام شود.
این موضوع بهخصوص در شرایط زیر اهمیت دارد:
- طراحی پرسشنامه جدید
- ترجمه ابزار خارجی
- بومیسازی پرسشنامه
- تغییر ساختار یک ابزار موجود
- استفاده از ابزار در جامعهای متفاوت
- تغییر هدف استفاده از ابزار
- تغییر تعداد یا محتوای گویهها
حتی اگر یک پرسشنامه در پژوهشهای قبلی شواهد مناسبی داشته باشد، پژوهشگر باید توجه کند که شواهد قبلی لزوماً بهطور خودکار کیفیت ابزار را در هر جامعه و هر کاربردی تضمین نمیکنند.
تفاوت روایی و پایایی در یک جدول
| ویژگی | پایایی | روایی |
|---|---|---|
| مفهوم اصلی | ثبات و قابلیت اعتماد اندازهگیری | پشتیبانی از تفسیر موردنظر از نمرات |
| سؤال اصلی | آیا اندازهگیری سازگار است؟ | آیا ابزار برای هدف موردنظر مناسب است؟ |
| نمونه روش | آلفای کرونباخ | روایی محتوا، سازه و ملاکی |
| کاربرد | ارزیابی ثبات اندازهگیری | ارزیابی شواهد اعتبار تفسیر |
| وابستگی به هدف | دارد | بسیار مهم است |
| قابل اثبات با یک شاخص واحد؟ | معمولاً خیر | خیر |
اشتباهات رایج در بررسی پایایی و روایی
اشتباه اول: استفاده از آلفای کرونباخ بهعنوان روایی
آلفای کرونباخ شاخصی برای بررسی نوعی از همسانی درونی است و بهتنهایی روایی ابزار را اثبات نمیکند.
اشتباه دوم: تصور اینکه یک عدد ثابت همیشه معیار کافی است
تفسیر شاخصهای پایایی و روایی باید با توجه به نوع ابزار، هدف پژوهش و شواهد موجود انجام شود.
اشتباه سوم: استفاده از پرسشنامه معتبر بدون بررسی شرایط جدید
معتبر بودن ابزار در یک مطالعه به این معنی نیست که بدون هیچ بررسی میتوان آن را در هر جامعه، زبان و شرایطی به کار برد.
اشتباه چهارم: حذف گویه صرفاً برای افزایش آلفا
افزایش آلفای کرونباخ بهتنهایی دلیل کافی برای حذف یک گویه نیست. حذف سؤال باید از نظر نظری و روششناختی نیز قابل دفاع باشد.
اشتباه پنجم: یکی دانستن پیشآزمون با اعتبارسنجی
پیشآزمون میتواند مشکلات اجرایی و ابهامهای ابزار را آشکار کند، اما بهتنهایی جایگزین فرایند کامل بررسی شواهد روایی و پایایی نیست.
چگونه پایایی و روایی را در مقاله گزارش کنیم؟
گزارش روششناختی باید به اندازهای شفاف باشد که خواننده بداند ابزار چگونه ارزیابی شده است.
برای مثال، پژوهشگر میتواند مشخص کند:
- ابزار از چه منبعی گرفته شده است.
- آیا ابزار ترجمه یا بومیسازی شده است.
- چه شواهدی برای روایی آن بررسی شده است.
- چه روش یا شاخصی برای پایایی استفاده شده است.
- نمونه مورد استفاده برای ارزیابی ابزار چه ویژگیهایی داشته است.
- نتایج حاصل چگونه تفسیر شدهاند.
از گزارش عباراتی مانند «پرسشنامه دارای روایی و پایایی است» بدون ارائه توضیح و شواهد کافی بهتر است پرهیز شود.
گزارش علمی باید نشان دهد چه شواهدی، در چه نمونهای، با چه روشی و برای چه هدفی به دست آمدهاند.
نمونه ساختار گزارش پایایی پرسشنامه
در یک مقاله یا پایاننامه، گزارش پایایی میتواند بر اساس واقعیت پژوهش به شکل زیر تنظیم شود:
«برای بررسی همسانی درونی گویههای مقیاس، ضریب آلفای کرونباخ محاسبه شد. نتایج حاصل در کنار شواهد مربوط به ساختار و محتوای ابزار بررسی و تفسیر شد.»
عدد و جزئیات واقعی باید بر اساس دادههای واقعی پژوهش درج شوند و نباید برای تکمیل متن بهصورت فرضی ساخته شوند.
آیا روایی و پایایی فقط برای پرسشنامه است؟
خیر.
این مفاهیم بهطور کلی در اندازهگیری و ارزیابی ابزارهای پژوهش مطرح هستند.
بنابراین میتوانند در مورد:
- پرسشنامه
- آزمون
- مقیاس اندازهگیری
- چکلیست
- ابزار مشاهده
- سیستمهای کدگذاری
- ارزیابیهای انسانی
مطرح شوند.
روش ارزیابی نیز باید متناسب با نوع ابزار و داده انتخاب شود.
جمعبندی؛ پایایی و روایی ابزار پژوهش چرا اهمیت دارند؟
پایایی و روایی دو پایه مهم کیفیت اندازهگیری در پژوهش هستند.
پایایی به ثبات و قابلیت اعتماد اندازهگیری مربوط است، در حالی که روایی به شواهدی مربوط میشود که از تفسیر موردنظر از نمرات ابزار برای هدف و جامعه مشخص پشتیبانی میکنند.
مهمترین نکات عبارتاند از:
- پایایی و روایی یک مفهوم واحد نیستند.
- پایایی بالا بهتنهایی روایی را اثبات نمیکند.
- آلفای کرونباخ تنها یکی از شاخصهای بررسی همسانی درونی است.
- روایی میتواند بر اساس شواهد مختلف مانند محتوا، ساختار سازه و ارتباط با ملاکها بررسی شود.
- تحلیل عاملی میتواند بخشی از شواهد مربوط به ساختار سازه را فراهم کند.
- پیشآزمون با اعتبارسنجی کامل ابزار یکسان نیست.
- ابزار معتبر در یک شرایط، لزوماً بدون بررسی برای هر جامعه و هدف دیگری مناسب نیست.
- حذف گویه صرفاً برای افزایش شاخص پایایی تصمیم روششناختی مناسبی نیست.
- گزارش پایایی و روایی باید بر اساس شواهد واقعی و قابل بررسی پژوهش انجام شود.
در نهایت، کیفیت ابزار اندازهگیری مستقیماً بر کیفیت دادههای پژوهش اثر میگذارد. بنابراین، پیش از اجرای تحلیلهای آماری، پژوهشگر باید اطمینان حاصل کند که ابزار مورد استفاده، با توجه به هدف، سازه، جامعه و شرایط پژوهش از شواهد کافی برای کیفیت اندازهگیری برخوردار است.
ابزار خوب فقط ابزاری نیست که پاسخهای پایدار تولید کند؛ بلکه ابزاری است که بتوان برای تفسیر موردنظر از نمرات آن، شواهد علمی مناسبی ارائه کرد.