怎樣進(jìn)行試卷分析
精品源自歷史科 在考試結(jié)束之后,對(duì)試卷進(jìn)行分析,不但可以對(duì)試卷和考試作出恰當(dāng)?shù)脑u(píng)價(jià),為試卷編制積累經(jīng)驗(yàn),提高教師編制試卷的水平,為修改試題和給題庫(kù)遴選試題提供依據(jù),而且有助于充分地獲得考試提供的教學(xué)反饋信息,為改進(jìn)教學(xué)提供依據(jù),為考試講評(píng)準(zhǔn)備材料。全面的試卷分析主要包括下列內(nèi)容。 一、試卷的結(jié)構(gòu)分析 主要包括: 1.內(nèi)容結(jié)構(gòu)分析:基本概念和化學(xué)原理、元素化合物知識(shí)、有機(jī)化學(xué)知識(shí)、化學(xué)計(jì)算、化學(xué)實(shí)驗(yàn)等方面的內(nèi)容比例乃至每一方面的二級(jí)結(jié)構(gòu)分析。 2.目標(biāo)水平結(jié)構(gòu)分析:按照考試大綱所列水平(通常分為知道、理解、應(yīng)用、綜合運(yùn)用等)種類,分析它們的組成比例并且作內(nèi)容—水平雙向交*分析。 3.題型結(jié)構(gòu)分析:各類題型的比例分析。 4.分?jǐn)?shù)結(jié)構(gòu)分析:內(nèi)容—分?jǐn)?shù)和水平—分?jǐn)?shù)的雙向交*分析。 5.難度和時(shí)限結(jié)構(gòu)分析:對(duì)難度測(cè)驗(yàn)作難度分布描述,對(duì)速度測(cè)驗(yàn)作時(shí)限分布描述。 6.試卷特點(diǎn)及橫向、縱向比較:就試卷是否符合考試(教學(xué))大綱規(guī)定、是否反映化學(xué)學(xué)科特點(diǎn)和內(nèi)在聯(lián)系、符合學(xué)生實(shí)際水平、合理性、適宜性以及其他特點(diǎn)作出描述和判斷。橫向比較可以在學(xué)!獙W(xué);虻貐^(qū)—地區(qū)間進(jìn)行,縱向比較可以在不同學(xué)年間進(jìn)行。 進(jìn)行結(jié)構(gòu)分析時(shí),分析者要對(duì)測(cè)驗(yàn)各項(xiàng)目逐一分析和作出判斷,因而結(jié)構(gòu)分析帶有較強(qiáng)的主觀色彩。分析者對(duì)項(xiàng)目的判斷跟編制、設(shè)計(jì)者不一致的情況經(jīng)常會(huì)發(fā)生,對(duì)于比較復(fù)雜的綜合題尤其是這樣。為此可以把試卷結(jié)構(gòu)分析結(jié)果跟編制試卷的結(jié)構(gòu)設(shè)計(jì)進(jìn)行比較。 除了難度結(jié)構(gòu)分析跟答卷情況有關(guān),只有在考試實(shí)施之后才能進(jìn)行外,其他各項(xiàng)分析跟答卷情況無(wú)關(guān),在考試實(shí)施之前就可以進(jìn)行,屬于試卷的“靜態(tài)”分析。 二、答卷情況描述 主要包括: 1.成績(jī)分布情況描述:列出頻數(shù)分布表或頻數(shù)分布圖。 2.統(tǒng)計(jì)量描述:列出平均分、標(biāo)準(zhǔn)差、優(yōu)分率和低分率以及某些因素間的相關(guān)系數(shù)等數(shù)據(jù),還可以進(jìn)一步作各內(nèi)容跟其平均得分率、標(biāo)準(zhǔn)差、優(yōu)分率和低分率的雙向交*分析,各水平層次跟其平均得分率、標(biāo)準(zhǔn)差、優(yōu)分率和低分率的雙向交*分析,以便從中發(fā)現(xiàn)問(wèn)題。 3.分布形態(tài)判斷:判斷總體分布是正態(tài)還是偏態(tài)或其它形態(tài)。 4.由樣本統(tǒng)計(jì)量推測(cè)總體參數(shù)(總體平均成績(jī)、總體標(biāo)準(zhǔn)差等)。 三、試題及解答情況分析 1.題目的內(nèi)容、水平分析:逐一分析各題的內(nèi)容、水平和考核意圖。 2.題目的難度、區(qū)分度、靈敏度、識(shí)別度和題目反應(yīng)分布:具體方法參見(jiàn)文后所附題目分析部分。 四、試卷質(zhì)量分析 1.試卷的信度分析和效度分析。參見(jiàn)文后所附“試卷的信度分析和效度分析! 2.整卷難度分析。 3.試卷質(zhì)量評(píng)價(jià):就考試目的和試卷內(nèi)容、結(jié)構(gòu)、形式的合理性、適宜性、有效性和可行性等對(duì)試卷作出全面評(píng)價(jià)。 五、教學(xué)分析和教學(xué)建議 從得分、失分情況以及某些部分之間的比較、分析,發(fā)現(xiàn)教師、學(xué)生以及命題等方面的成功與不足之處,并針對(duì)存在問(wèn)題提出改進(jìn)意見(jiàn)。 為了使試卷分析全面、可靠和有效地發(fā)揮應(yīng)有作用,試卷分析工作應(yīng)實(shí)行教師分析和學(xué)生自我分析結(jié)合、“動(dòng)態(tài)”分析和“靜態(tài)”分析結(jié)合、定性分析和定量分析結(jié)合,在認(rèn)真分析的基礎(chǔ)上,簡(jiǎn)明、扼要、有重點(diǎn)地寫(xiě)出試卷分析報(bào)告。 附:題目和試卷的統(tǒng)計(jì)分析方法 一、常模參照性測(cè)驗(yàn)的題目分析 常模參照性測(cè)驗(yàn)題目的分析工作,主要是對(duì)測(cè)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析,估計(jì)題目的難度、區(qū)分度,分析答案是否適宜等。 1.難度分析 所謂題目難度是指某一題目的難易程度,通常用答對(duì)率P來(lái)表示。 一般說(shuō)來(lái),題目的P值以0.2~0.8為宜。也有人用不通過(guò)率Q來(lái)表示難度。它們的計(jì)算方法如下表所示: *X高為高分組的該題得分總和,X低為低分組的該題得分總和,H、L分別為該題的最高、最低得分。 P值無(wú)等距性,無(wú)法對(duì)試題之間的難度差異作精確的比較,也不能用于計(jì)算平均難度。為了對(duì)各題難度作比較,通常要把P轉(zhuǎn)換成標(biāo)準(zhǔn)難度△,使之等距化。 △值越大,題目難度越大;△=13時(shí),題目難度為中等。 運(yùn)用下表可以方便地由P值直接查得對(duì)應(yīng)的△值: 2.區(qū)分度分析 題目區(qū)分度是指某一題目對(duì)被測(cè)水平的區(qū)分能力。若某題目能使水平較高的被測(cè)得較高分、使水平較低的被測(cè)得較低分,該題就有較高的區(qū)分度。 區(qū)分度分析可以采用極端分組法,或者采用相關(guān)法。相關(guān)法比較復(fù)雜,這里從略,不作介紹。在極端分組法中,從總體中分出高分組和低分組(比例均為25%~33%且數(shù)值相同),然后計(jì)算區(qū)分指數(shù)D作為區(qū)分度的指標(biāo),如下表所示: 除了計(jì)算方法以外,還可以采用弗拉南根查表法:根據(jù)占總?cè)藬?shù)27%的高分組的答對(duì)率和占總體人數(shù)27%的低分組的答對(duì)率,從專門(mén)的表(附表5)中查得題目的區(qū)分度。 一般說(shuō)來(lái),當(dāng)D<0.20時(shí),題目的區(qū)分度太低,必須淘汰或者加以修改;當(dāng)D≥0.40時(shí),題目的區(qū)分度非常好;通常題目的區(qū)分度指數(shù)D在0.2~0.4之間。題目難度跟題目區(qū)分度之間有著一定的聯(lián)系。難度太大或者太小,都可能使區(qū)分度變小;只有難度適中時(shí),才可能有較高的區(qū)分度。 3.題目反應(yīng)分布分析 對(duì)于多重選擇題等可能有多種答題情況(題目反應(yīng))的題型來(lái)說(shuō),僅僅作難度分析和區(qū)分度分析是不夠的,還需要分析題目反應(yīng)分布情況,檢查它是否跟預(yù)期的反應(yīng)分布模式符合,從而發(fā)現(xiàn)需要修改之處。題目的難度和區(qū)分度也可以從反應(yīng)分布中得到反映。進(jìn)行題目反應(yīng)分布分析,先要制作題目反應(yīng)分布表。下面是該表的示例,表中還列出了有關(guān)的分析和判斷: *為答對(duì)人數(shù) 二、目標(biāo)參照性測(cè)驗(yàn)的題目分析 目標(biāo)參照性測(cè)驗(yàn)題目試測(cè)后的分析工作主要是作靈敏度分析和識(shí)別度分析,有時(shí)也要作題目反應(yīng)分布分析。 1.靈敏度分析所謂靈敏度是指題目能靈敏地反映教學(xué)作用的能力,通常用目標(biāo)教學(xué)前后被測(cè)總體的通過(guò)率之差來(lái)估計(jì)。 設(shè)目標(biāo)教學(xué)前、后通過(guò)試題的被測(cè)人數(shù)分別為R1、R2,被測(cè)總體人數(shù)為N,則試題對(duì)教學(xué)的靈敏度指數(shù)S可按下式計(jì)算: 當(dāng)S>0時(shí),試題有效,S越大,試題對(duì)教學(xué)作用的感受越靈敏;當(dāng)S≤0時(shí),需要研究是否由教學(xué)不當(dāng)而引起,如非教學(xué)不當(dāng)引起,則可認(rèn)為試題質(zhì)量不佳。 2.識(shí)別度分析 題目識(shí)別度是指某試題能有效地識(shí)別達(dá)標(biāo)者的能力,通常用合格者通過(guò)本題的百分比跟不合格者通過(guò)本題的百分比之差來(lái)估計(jì)。 設(shè)P1和P2分別為合格者和不合格者的本題通過(guò)率,則 識(shí)別度指標(biāo)D=P1-P2 識(shí)別度指標(biāo)的最大值為1.0,當(dāng)D≤0時(shí),該題無(wú)預(yù)期的識(shí)別能力。 題目識(shí)別度還可以用被測(cè)是否合格跟是否通過(guò)本題的φ相關(guān)系數(shù)來(lái)表示。設(shè)題目在總?cè)藬?shù)為N 的被測(cè)總體中的試測(cè)結(jié)果如下表所示: 所得φ相關(guān)系數(shù)需進(jìn)行檢驗(yàn),方法是:按下式算出φx2 x2=Nφ2 的,其犯錯(cuò)誤可能性為0.05。 3.題目反應(yīng)分布分析 目標(biāo)參照性測(cè)驗(yàn)的題目反應(yīng)分布分析方法跟常模參照性測(cè)驗(yàn)的分析方法相似。通過(guò)分析不但可以發(fā)現(xiàn)題目中存在的問(wèn)題,還可以了解被測(cè)的錯(cuò)誤類型及其分布,具有學(xué)習(xí)診斷作用。 三、試卷的信度分析 信度表示測(cè)量的一致性、穩(wěn)定性和測(cè)量結(jié)果的可靠性。測(cè)量時(shí)的隨機(jī)誤差越小,測(cè)量結(jié)果就越接近真實(shí)值,其信度就越高;樣本統(tǒng)計(jì)量越是接近總體參數(shù),其信度也越高。 信度常用信度系數(shù)rxx表示,其值在0~1之間。若rxx=0,表明實(shí)得分?jǐn)?shù)完全由偶然誤差決定;若rxx=1,表明實(shí)得分?jǐn)?shù)完全不受偶然誤差的影響。一般說(shuō)來(lái),化學(xué)學(xué)業(yè)成績(jī)測(cè)驗(yàn)的信度應(yīng)在0.90以上,甚至達(dá)到0.95。 由于Sr和SR難于直接測(cè)得,所以rxx通常借助于某些特別方法進(jìn)行計(jì)算。 (一)常模參照測(cè)驗(yàn)信度的計(jì)算 常模參照測(cè)驗(yàn)的信度系數(shù)可以用再測(cè)法、等價(jià)測(cè)驗(yàn)法和兩半法等方法求得,所得信度系數(shù)意義略有不同,分別表示測(cè)量的再測(cè)穩(wěn)定性、等價(jià)測(cè)量穩(wěn)定性和內(nèi)在一致性,故又分別稱為穩(wěn)定性系數(shù)、等價(jià)性系數(shù)和內(nèi)部一致性系數(shù)。在化學(xué)教學(xué)測(cè)量中,常用下列方法計(jì)算內(nèi)部一致性系數(shù)。 1.兩半法,即在一次施測(cè)后,把試題分為對(duì)等、可比的兩半,其內(nèi)容、預(yù)測(cè)難度、總分和題數(shù)都大致 [1] [2] 下一頁(yè) 精品源自歷史科 精品源自歷史科相同;計(jì)分時(shí)把各被測(cè)的兩半實(shí)得總分分開(kāi)統(tǒng)計(jì),計(jì)算兩半間的積差相關(guān)系數(shù); 式中,x、y分別為某被測(cè)實(shí)得的兩半總分,N為被測(cè)總數(shù)。 再將rhh代入下式校正,即可得整卷的信度系數(shù)rxx。 采用這一校正公式時(shí),兩半的平均數(shù)、標(biāo)準(zhǔn)差、項(xiàng)目的組間相關(guān)、分布的形態(tài)和內(nèi)容都應(yīng)相近。否則,整個(gè)測(cè)驗(yàn)的信度估計(jì)rxx將有誤差。此時(shí)可改用下式計(jì)算rxx: 式中,Sa、Sb分別為兩半分?jǐn)?shù)的標(biāo)準(zhǔn)差,St為整個(gè)測(cè)驗(yàn)總分方差,Sd為兩半分?jǐn)?shù)之差的標(biāo)準(zhǔn)差。 2.克龍巴赫法 方差。 影響測(cè)驗(yàn)信度的因素主要有: (1)測(cè)驗(yàn)長(zhǎng)度:測(cè)驗(yàn)越長(zhǎng),題量越大,信度越高。 (2)試題難度:當(dāng)各題難度和平均難度為中等(P=0.25~0.75)時(shí),有利于提高測(cè)驗(yàn)的信度。 (3)樣本(或總體)大小:樣本(或總體)越大,分?jǐn)?shù)分布越廣,信度越高。 (4)測(cè)驗(yàn)內(nèi)容的復(fù)雜性:測(cè)驗(yàn)內(nèi)容同質(zhì)性高,信度也高;反之,內(nèi)容越龐雜,信度就越低。 (5)施測(cè)條件的標(biāo)準(zhǔn)化,有利于減小隨機(jī)誤差的影響。 (6)評(píng)分的客觀性。 (二)目標(biāo)參照測(cè)驗(yàn)信度的計(jì)算 復(fù)本法:以等價(jià)的兩份測(cè)驗(yàn)對(duì)同一被測(cè)群體施測(cè),設(shè)測(cè)驗(yàn)結(jié)果的分布情況如下表所示: 四、試卷的效度分析 效度表示測(cè)量跟測(cè)量目的符合的程度,是測(cè)量準(zhǔn)確性和有效性的指標(biāo)。跟測(cè)驗(yàn)?zāi)康臒o(wú)關(guān)的因素影響越小,測(cè)驗(yàn)的有效性即效度就越高。 (一)常模參照測(cè)驗(yàn)的效標(biāo)關(guān)聯(lián)效度 在確定常模參照測(cè)驗(yàn)的效度時(shí),通常以另一比較符合測(cè)量目的的測(cè)量結(jié)果作為檢測(cè)效度的參照標(biāo)準(zhǔn)(即效標(biāo))。設(shè)被測(cè)總數(shù)為N,x和y分別為被測(cè)i的本次測(cè)得成績(jī)和效標(biāo)成績(jī),則 若已將成績(jī)轉(zhuǎn)換成Z標(biāo)準(zhǔn)分,則 rxy>0時(shí),說(shuō)明兩者相關(guān)(正相關(guān)),rxy值越大相關(guān)程度也越大;rxy=1時(shí)表示測(cè)量完全反映測(cè)量的目的;rxy=0時(shí),表明兩組分?jǐn)?shù)完全不相關(guān)(零相關(guān))測(cè)量結(jié)果跟測(cè)量目的無(wú)關(guān);rxy<0時(shí)為負(fù)相關(guān),表明一測(cè)量得分高者另一測(cè)量得分低,測(cè)量結(jié)果跟測(cè)量目的完全相反。一般情況下,化學(xué)學(xué)業(yè)成績(jī)測(cè)驗(yàn)的效度應(yīng)在0.4~0.7之間 系統(tǒng)誤差和隨機(jī)誤差跟實(shí)得分?jǐn)?shù)方差比值的大小影響著效度的高低,要提高效度,就必須: (1)提高測(cè)驗(yàn)的信度,減小隨機(jī)誤差的影響。 (2)施測(cè)標(biāo)準(zhǔn)化、評(píng)分標(biāo)準(zhǔn)化、采用適宜的分?jǐn)?shù)合成方法,減少與測(cè)驗(yàn)的目的無(wú)關(guān)的因素,盡量降低系統(tǒng)誤差的影響。題文難于理解、數(shù)學(xué)計(jì)算過(guò)于復(fù)雜等,均會(huì)降低測(cè)驗(yàn)的效度。 (3)提高命題質(zhì)量。試題太少、偏、怪,覆蓋面小、編排不當(dāng)、過(guò)難過(guò)易等,都會(huì)影響效度。 (4)增大樣本容量、使之具有較好的代表性。 (5)選擇可靠(信度高)、符合測(cè)量目的的測(cè)驗(yàn)作效標(biāo)。 效度系數(shù)也可以視具體情況改用二列相關(guān)系數(shù)或者點(diǎn)二列相關(guān)系數(shù)、φ相關(guān)系數(shù)等來(lái)表示。 (二)目標(biāo)參照測(cè)驗(yàn)的效度 目標(biāo)參照測(cè)驗(yàn)要求測(cè)量結(jié)果的變異最好為零,故不能用變異量來(lái)表示其效度。此時(shí),可以通過(guò)內(nèi)容適宜性來(lái)確定其效度。 五、試卷難度分析 試卷難度跟試題難度相似,可以用得分率表示: 也可以用各題難度加權(quán)平均求得: 當(dāng)P卷為0.5左右時(shí),測(cè)驗(yàn)分?jǐn)?shù)的分布近于正態(tài)上一頁(yè) [1] [2] 精品源自歷史科
|