Apa yang harus dilakukan ketika CFA cocok untuk skala multi-item buruk?

Saya tidak yakin bagaimana cara melanjutkan CFA ini saya lakukan di lavaan. Saya memiliki sampel 172 peserta (saya tahu itu tidak banyak untuk CFA) dan 28 item dengan skala Likert 7 poin yang harus dimuat pada tujuh faktor. Saya melakukan CFA dengan "mlm" -estimators, tetapi model fit benar-benar buruk (χ2 (df = 329) = 739,36; indeks kecocokan komparatif (CFI) = 0,69; standar root mean square residual (SRMR) = .10; root mean square error aproksimasi (RMSEA) =. 09; RMSEA 90% interval kepercayaan (CI) = [.08, .10]).

Saya sudah mencoba yang berikut ini:

• model bifactor dengan satu faktor metode umum -> tidak bertemu.

• estimator untuk data ordinal („WLSMV“) -> Model fit: (χ2 (df = 329) = 462; indeks kecocokan komparatif (CFI) = 0,81; akar kuadrat rata-rata residual kuadrat (SRMR) =. 09; root mean square error of aproksimasi (RMSEA) =. 05; RMSEA 90% interval kepercayaan (CI) = [.04, .06])

• mengurangi model dengan item yang memuat rendah pada suatu faktor dan menambahkan kovarian di antara item tertentu -> Model fit: χ2 (df = 210) = 295; indeks kecocokan komparatif (CFI) = 0,86; root kuadrat rata-rata residual kuadrat (SRMR) =. 08; root mean square error aproksimasi (RMSEA) =. 07; RMSEA 90% interval kepercayaan (CI) = [.06, .08].

Sekarang pertanyaan saya:

• Apa yang harus saya lakukan dengan model seperti itu?

• Apa yang secara statistik benar untuk dilakukan?

• Laporkan tidak cocok atau tidak cocok? Dan yang mana dari model-model itu?

Saya akan senang berdiskusi dengan Anda tentang hal ini.

Berikut ini adalah keluaran lavaan dari CFA dari model aslinya:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

1. Kembali ke Analisis Faktor Eksplorasi

Jika Anda mendapatkan CFA yang sangat buruk, maka itu sering merupakan tanda bahwa Anda telah melompat terlalu cepat ke CFA. Anda harus kembali ke analisis faktor eksplorasi untuk mempelajari tentang struktur tes Anda. Jika Anda memiliki sampel besar (dalam kasus Anda tidak), maka Anda dapat membagi sampel Anda untuk memiliki sampel eksplorasi dan sampel konfirmasi.

• Terapkan prosedur analisis faktor eksploratori untuk memeriksa apakah jumlah faktor yang diteorikan tampaknya masuk akal. Saya akan memeriksa plot scree untuk melihat apa yang disarankan. Saya kemudian akan memeriksa matriks memuat faktor yang diputar dengan jumlah faktor berteori serta dengan satu atau dua lebih banyak dan satu atau dua lebih sedikit faktor. Anda sering dapat melihat tanda-tanda ekstraksi faktor-faktor di bawah atau di atas dengan melihat faktor-faktor tersebut memuat matriks.
• Gunakan analisis faktor eksplorasi untuk mengidentifikasi item yang bermasalah. Secara khusus, item memuat paling banyak pada faktor non-teori, item dengan cross-loading besar, item yang tidak memuat tinggi pada faktor apa pun.

Manfaat EFA adalah memberikan banyak kebebasan, sehingga Anda akan belajar lebih banyak tentang struktur tes daripada Anda hanya akan melihat indeks modifikasi CFA.

Bagaimanapun, semoga dari proses ini Anda mungkin telah mengidentifikasi beberapa masalah dan solusi. Misalnya, Anda mungkin menjatuhkan beberapa item; Anda dapat memperbarui model teoretis Anda tentang berapa banyak faktor yang ada dan seterusnya.

2. Memperbaiki Kecocokan Analisis Faktor Konfirmatori

Ada banyak poin yang bisa dibuat di sini:

CFA pada skala dengan banyak item per skala sering berkinerja buruk menurut standar tradisional. Hal ini sering membuat orang (dan saya pikir tanggapan ini sering disayangkan) untuk membentuk paket barang atau hanya menggunakan tiga atau empat item per skala. Masalahnya adalah bahwa struktur CFA yang diusulkan biasanya gagal untuk menangkap nuansa kecil dalam data (misalnya, beban silang kecil, item dalam tes yang berkorelasi sedikit lebih dari yang lain, faktor gangguan kecil). Ini diperkuat dengan banyak item per skala.

Berikut adalah beberapa tanggapan terhadap situasi di atas:

• Lakukan eksplorasi SEM yang memungkinkan untuk berbagai cross-loadings kecil dan istilah terkait
• Periksa indeks modifikasi dan masukkan beberapa modifikasi masuk akal terbesar; misalnya, beberapa residu berkorelasi dalam skala; beberapa cross-loadings. lihat modificationindices(fit)di lavaan.
• Gunakan item parcelling untuk mengurangi jumlah variabel yang diamati

Komentar umum

Jadi secara umum, jika model CFA Anda benar-benar buruk, kembalilah ke EFA untuk mempelajari lebih lanjut tentang skala Anda. Atau jika EFA Anda baik, dan CFA Anda terlihat sedikit buruk karena masalah yang diketahui memiliki banyak item per skala, maka pendekatan standar CFA seperti yang disebutkan di atas sesuai.

Saya akan berusaha untuk mendapatkan model bifactor untuk bertemu. Coba sesuaikan nilai awal ... ini mungkin pendekatan yang mencurigakan, jadi ingatlah dan tafsirkan dengan hati-hati. Baca tentang bahaya menafsirkan model yang menentang konvergensi jika Anda ingin benar-benar berhati-hati - saya akui saya belum melakukan ini sendiri dalam studi SEM saya, jadi saya sarankan melakukan apa yang perlu Anda lakukan untuk mendapatkan model tersebut. bertemu sebagian besar untuk keuntungan Anda. Saya tidak tahu bahwa itu akan lebih cocok untuk publikasi, tetapi jika itu jelas bukan karena model bifactor juga tidak cocok, itu mungkin baik untuk Anda ketahui.

Kalau tidak, sepertinya Anda sudah melakukan sebanyak yang Anda bisa dengan data yang Anda miliki. AFAIK (Saya telah melihat jauh ke dalam akhir-akhir ini untuk proyek metodologis saya sendiri, jadi tolong perbaiki saya jika saya salah !!), estimasi WLSMV dalam lavaanambang penggunaan dari korelasi polikorik, yang merupakan cara terbaik untuk mendapatkan kecocokan yang baik indeks keluar dari CFA data ordinal. Dengan asumsi Anda telah menentukan model Anda dengan benar (atau setidaknya secara optimal), hanya itu yang dapat Anda lakukan. Menghapus item dengan beban rendah dan memperkirakan kovariansi antar-barang dengan bebas bahkan agak jauh, tetapi Anda juga mencobanya.

Model Anda tidak cocok dengan standar konvensional, karena Anda mungkin sadar. Tentu saja Anda tidak boleh mengatakan itu cocok ketika tidak. Ini berlaku untuk semua set statistik kecocokan yang Anda laporkan di sini, sayangnya (saya berasumsi Anda berharap itu cocok). Beberapa statistik kecocokan Anda hanya cukup buruk, tidak terlalu buruk (RMSEA = 0,05 dapat diterima), tetapi secara keseluruhan, tidak ada yang merupakan kabar baik, dan Anda memiliki tanggung jawab untuk jujur ​​tentang hal itu jika Anda ingin menerbitkan hasil ini. Saya harap Anda bisa, FWIW.

Either way, Anda dapat mempertimbangkan mengumpulkan lebih banyak data jika Anda bisa; itu bisa membantu, tergantung pada apa yang Anda cari. Jika tujuan Anda adalah uji hipotesis konfirmasi, yah, Anda telah "mengintip" data Anda, dan akan mengembang tingkat kesalahan Anda jika Anda menggunakannya kembali dalam sampel yang diperluas, jadi kecuali Anda bisa menyisihkan dataset ini dan mereplikasi keseluruhan, segar, lebih besar, Anda punya skenario sulit untuk ditangani. Jika Anda sebagian besar tertarik untuk memperkirakan parameter dan mempersempit interval kepercayaan, saya pikir mungkin masuk akal untuk mengumpulkan data sebanyak yang dapat Anda kumpulkan, termasuk yang sudah Anda gunakan di sini. Jika Anda bisa mendapatkan lebih banyak data, Anda mungkin mendapatkan indeks kecocokan yang lebih baik, yang akan membuat estimasi parameter Anda lebih andal. Semoga itu cukup baik.