File:Z9.png: Difference between revisions

From EXPART HR
Jump to navigation Jump to search
No edit summary
No edit summary
Line 22: Line 22:
<br>
<br>


<div style="font-size: 18px; color:#A880CF">'''Why Evaluate?'''</div>
<div style="font-size: 18px; color:#A880CF">'''Tại sao phải đánh giá?'''</div>


There are a variety of reasons to evaluate CLISE use. In general, the goal is to show that resources put into the program are paying off, so one of the most common audiences for evaluations is funders - Vinschool management board. Another important audience is parents and school members.
Có nhiều lý do để đánh giá việc sử dụng chương trình CLISE. Nhìn chung, mục tiêu là cho thấy các nguồn lực đưa vào chương trình đang mang lại hiệu quả, vì vậy một trong những đối tượng tiếp nhận thông tin đánh giá quan trọng nhất là nhà đầu tư - ở đây là Ban lãnh đạo Vinschool. Một đối tượng tiếp nhận thông tin quan trọng khác là phụ huynh và các thành viên trong Ban giám hiệu nhà trường.


Many people choose to evaluate the program to see how it’s working. Evaluation evidence can increase staff motivation and commitment to implementing the program fully and well. Evaluation can also help schools see how implementation might be affecting outcomes and how it might be improved to ensure students are benefitting fully. Evaluation is also useful for tracking progress toward desired program goals and outcomes over time.
Nhiều người chọn đánh giá chương trình để xem nó hoạt động như thế nào. Bằng chứng đánh giá có thể làm tăng động lực và cam kết của nhân viên trong việc triển khai đầy đủ và hiệu quả chương trình. Đánh giá cũng có thể giúp các trường học xem việc triển khai chương trình có thể ảnh hưởng đến kết quả chương trình như thế nào và nó có thể được cải thiện như thế nào để đảm bảo học sinh được hưởng lợi đầy đủ. Đánh giá cũng là một bước có giá trị để theo dõi tiến độ đạt được các mục tiêu và kết quả chương trình mong muốn theo thời gian.
<br />
<br />


Line 33: Line 33:
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Evaluating Implementation'''</span>  </div>
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Đánh giá việc triển khai'''</span>  </div>


<div style="text-align: center; font-size: 16px; color:#A880CF;"> One of the keys to successful, effective evaluation is to be sure you know exactly what you’re evaluating.  </div>
<div style="text-align: center; font-size: 16px; color:#A880CF;"> Một trong những chìa khóa để đánh giá thành công, hiệu quả là đảm bảo thầy/cô biết chính xác những gì mình đang cần đánh giá.  </div>


<div style="font-size: 16px; color:#A880CF">What Am I Evaluating?</div>
<div style="font-size: 16px; color:#A880CF">'''Tôi đang đánh giá cái gì?'''</div>
Every school implements the same CLISE program, but what students actually receive can vary widely. You can make your evaluation more powerful and useful by examining how the program is being implemented in your school. Remember, you’re evaluating the intervention your students actually get, which, depending on implementation, might be more or less like the exact program designed by the Program Department.
Tất cả cơ sở đều thực hiện cùng một chương trình CLISE, nhưng những gì học sinh thực sự nhận được có thể rất khác nhau. Thầy/cô có thể làm cho việc đánh giá của mình trở nên mạnh mẽ và hữu ích hơn bằng cách kiểm tra xem chương trình đang được triển khai như thế nào trong trường của mình. Hãy nhớ rằng thầy/cô đang đánh giá sự tác động mà học sinh của mình thực sự nhận được, tùy thuộc vào việc triển khai, có thể bằng hoặc thấp hơn mức mong đợi mà thiết kế chương trình đặt ra.


<br />
<br />
<div style="font-size: 16px; color:#A880CF">What Information Should I Gather?</div>
<div style="font-size: 16px; color:#A880CF">'''Tôi nên thu thập thông tin gì?'''</div>
To include implementation in your evaluation, gather information on how the program is being taught in your setting. In particular:


*How many students are receiving CLISE lessons? All students? Only certain grades? Only certain classrooms?
 
*How many of the lessons are being taught?
Để đưa nội dung liên quan đến việc triển khai chương trình vào trong đánh giá của thầy/cô, hãy thu thập thông tin về cách chương trình đang được giảng dạy trong môi trường của nhà trường. Các câu hỏi sau sẽ là những gợi ý để xác định các thông tin cần thiết nhất:
*How closely are lessons being taught to how they are written?
 
*Are students doing Advisory Activities?
* Có bao nhiêu học sinh đang học bài học CLISE? Tất cả học sinh? Chỉ một số học sinh nhất định? Chỉ một số lớp học nhất định?
*What else is being done outside formal lessons to reinforce CLISE skills, both in the classroom and throughout the school?
* Có bao nhiêu bài học đang được dạy?
* Các bài học được giảng dạy liên kết chặt chẽ như thế nào với thiết kế chương trình?
* Học sinh có đang thực hiện các Hoạt động bổ trợ không?
* Có hoạt động gì khác đang được thực hiện ngoài các giờ học chính thức để củng cố các kỹ năng CLISE, cả trong lớp học và trong phạm vi toàn trường?


<br>
<br>
<div style="font-size: 16px; color:#A880CF">How Do I Gather It?</div>
<div style="font-size: 16px; color:#A880CF">'''Làm thế nào để tôi thu thập thông tin?'''</div>
Collecting data on what students are receiving typically involves having staff complete a simple survey that asks the questions listed above. Some surveys for this purpose are described here:
Thu thập dữ liệu về những gì học sinh đang nhận được thường liên quan đến việc yêu cầu cán bộ nhân viên hoàn thành một cuộc khảo sát đơn giản về các câu hỏi được liệt kê ở trên. Một số khảo sát cho mục đích này được mô tả ở đây:
 
<div style="font-size: 14px; color:#A880CF"></div>
'''Khảo sát mức độ sẵn sàng'''
 
Thu thập thông tin về sự sẵn sàng của cán bộ nhân viên để bắt đầu các bài học và giúp thầy/cô lập kế hoạch cho các nhu cầu hỗ trợ việc triển khai
 
 
'''Khảo sát triển khai'''


<div style="font-size: 14px; color:#A880CF">'''Implementation Preparedness Survey'''</div>
Thu thập thông tin về việc triển khai chương trình dựa trên trải nghiệm thực tế của những người giảng dạy chương trình và có thể đóng vai trò như một đánh giá quá trình triển khai trong năm hoặc đánh giá tổng kết kinh nghiệm triển khai vào cuối năm
Collects information about staff readiness to begin teaching lessons and helps you plan for implementation support needs


<div style="font-size: 14px; color:#A880CF">'''Implementation Survey'''</div>
Collects information about program implementation as experienced by those teaching the program and can function as a formative assessment of the implementation process during the year or a record of implementation experiences at the end


Surveys should be filled out by the relevant staff. In some schools, homeroom teachers teach most of the lessons, but they still need other teachers’ input to find out how much and what parts of the program students are actually getting, since other teachers are responsible for skill reinforcement.
Các bản khảo sát nên được điền bởi các cán bộ nhân viên có liên quan đến việc triển khai chương trình, không phải chỉ có giáo viên CLISE. Ở một số trường, giáo viên chủ nhiệm dạy hầu hết các bài học, nhưng họ vẫn cần ý kiến ​​của các giáo viên khác để tìm hiểu xem học sinh thực sự tiếp thu được bao nhiêu và phần nào trong chương trình, vì các giáo viên khác có trách nhiệm củng cố các kỹ năng trong các hoạt động giáo dục khác thuộc chương trình tổng thể của Vinschool.


<br />


<div style="font-size: 16px; color:#A880CF"> What's Implementation Fidelity?</div>
'''Mức độ bám sát thiết kế khi triển khai là gì?'''
Surveying staff on how the program is being taught can also go beyond examining how many students are receiving how many lessons. Implementation evaluation can also look at the “fidelity” of implementation. Fidelity basically means the extent to which the program is taught as designed.
 
Việc khảo sát cán bộ nhân viên về cách thức chương trình đang được giảng dạy cũng có thể vượt ra ngoài việc kiểm tra xem có bao nhiêu học sinh đang tiếp nhận được bao nhiêu bài học. Đánh giá việc triển khai cũng có thể xem xét “độ chính xác” của việc thực hiện. Về cơ bản, độ chính xác có nghĩa là mức độ mà chương trình được giảng dạy như đã được thiết kế.
 


A full implementation ideally means students are receiving all the lessons in order and all the concepts and skills in each lesson. For a variety of reasons, staff sometimes only teach parts of lessons and skip others, teach lessons out of order, or change some of the content. These are all examples of low fidelity. Obviously it’s possible to change lessons in ways that don’t harm or might even improve outcomes, but it’s also possible to change lessons in ways that reduce program effectiveness. The Program Department recommends implementing the program with as much fidelity as possible. It can be useful in an evaluation to know the fidelity with which the program was taught.
Việc triển khai đầy đủ một cách lý tưởng có nghĩa là học sinh đang tiếp nhận tất cả các bài học theo thứ tự và tất cả các khái niệm và kỹ năng trong mỗi bài học một cách chuẩn xác. Vì nhiều lý do, giáo viên đôi khi chỉ dạy một phần của bài học và bỏ qua phần khác, dạy bài học không theo trình tự hoặc thay đổi một số nội dung. Đây là tất cả các ví dụ về độ chính xác thấp. Rõ ràng là có thể thay đổi bài học theo những cách không gây hại hoặc thậm chí có thể cải thiện kết quả chương trình, nhưng cũng có thể xảy ra trường hợp thay đổi bài học theo cách làm giảm hiệu quả của chương trình. Phòng Chương trình khuyến khích nên triển khai chương trình với độ chính xác cao nhất có thể.
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
Line 78: Line 86:
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Evaluation Design'''</span>  </div>
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Thiết kế đánh giá'''</span>  </div>


<div style="text-align: center; font-size: 16px; color:#A880CF;"> Create an evaluation design that aligns with your data-collection resources
<div style="text-align: center; font-size: 16px; color:#A880CF;"> Tạo một thiết kế đánh giá phù hợp với các tài nguyên về thu thập dữ liệu 
It might be helpful to think about your CLISE evaluation as falling somewhere along a spectrum of evaluation rigor. The most rigorous approach is an experimental design, in the middle is what is called quasi-experimental design, and the least rigorous approach is a non-experimental design. Each of these designs and their pros and cons are described below.
Nói một cách đơn giản, việc đánh giá CLISE có thể rơi vào một trong ba vị trí tùy theo mức độ đánh giá nghiêm ngặt cao hay thấp. Cách tiếp cận nghiêm ngặt nhất là một thiết kế thử nghiệm (experimental design), ở giữa là cái được gọi là thiết kế bán thử nghiệm (quasi-experimental design), và cách tiếp cận ít nghiêm ngặt nhất là một thiết kế không thử nghiệm (non-experimental design). Miêu tả tóm tắt về mỗi thiết kế này và ưu nhược điểm của chúng được mô tả dưới đây.
</div>
</div>


<div style="font-size: 16px; color:#A880CF">Experimental Design</div>
<div style="font-size: 16px; color:#A880CF">'''Thiết kế thử nghiệm (Experimental Design)'''</div>
One of the main challenges in program evaluation is determining whether any effects you find were in fact caused by the program you’re evaluating. In any given school, CLISE is only one of many factors affecting students’ attitudes and behaviors. The purpose of an experimental design is to increase your confidence that changes you find in students were caused by their exposure to the program.
Một trong những thách thức chính trong đánh giá chương trình là xác định xem liệu các tác động mà thầy/cô nhận thấy có thực sự được tạo nên bởi chương trình mà thầy/cô đang đánh giá hay không. Trong bất kỳ trường học nào, CLISE chỉ là một trong nhiều yếu tố ảnh hưởng đến thái độ và hành vi của học sinh. Mục đích của thiết kế thử nghiệm là để tăng cường sự tự tin của thầy/cô rằng những thay đổi mà thầy/cô có thể nhận thấy ở học sinh là do học sinh được tiếp nhận chương trình.
 
 
Điều này chủ yếu được thực hiện thông qua chọn nhóm ngẫu nhiên. Chọn nhóm ngẫu nhiên có nghĩa là thầy/cô xác định học sinh nào sẽ tham gia vào nghiên cứu (đối tượng nghiên cứu), và mỗi học sinh đó đều có cơ hội như nhau về việc được học chương trình CLISE hoặc không. Chọn nhóm ngẫu nhiên là một cách hiệu quả để tạo ra hai nhóm có khả năng không chênh lệch đáng kể nhất có thể. Điều này giúp loại bỏ sự khác biệt về kết quả là do sự khác biệt ban đầu ở các học sinh được nghiên cứu.


This is primarily accomplished through random assignment. Random assignment means you determine which students will be involved in the study (your study population), and each of those students has an equal chance of either being taught the program or not. Random assignment is a powerful way to create two groups that are as likely as possible not to be significantly different. This goes a long way toward ruling out differences in outcomes being due to initial differences in the students being studied.


For complicated technical reasons, random assignment for evaluating a social-emotional learning program requires assigning entire schools to either implement the program or not (the ones that don’t implement serve as non-intervention controls). In addition, for statistical reasons, a large number of schools must be involved in the evaluation. Scientifically valid experimental design evaluations of CLISE commonly involve 30 to 60 or more schools. A study this large is typically not feasible for Vinschool at the moment, and since experimental design requires randomizing entire schools, this approach can’t be done by an individual school.
Vì những lý do kỹ thuật phức tạp, việc chọn nhóm ngẫu nhiên để đánh giá một chương trình học tập về kỹ năng-phẩm chất đòi hỏi phải chỉ định toàn bộ một trường nhất định triển khai chương trình hoặc không (những trường không triển khai đóng vai trò là kiểm soát không can thiệp). Ngoài ra, vì lý do thống kê, một số lượng lớn các trường phải tham gia vào việc đánh giá. Các đánh giá theo thiết kế thử nghiệm có giá trị về mặt khoa học thường cần sự tham gia của 30 đến 60 trường học trở lên. Một nghiên cứu lớn như vậy thường không khả thi đối với Vinschool tại thời điểm hiện tại và vì thiết kế thử nghiệm yêu cầu chọn ngẫu nhiên toàn bộ các trường, phương pháp này không thể được thực hiện bởi một trường riêng lẻ.


<br />
<br />


<div style="font-size: 16px; color:#A880CF">Quasi-Experimental Design</div>
<div style="font-size: 16px; color:#A880CF">'''Thiết kế bán thử nghiệm (Quasi-experimental Design)'''</div>
Quasi-experimental designs are a way to try to assess program effects when random assignment isn’t possible. Rather than a randomly selected control group, a quasi-experimental design includes a comparison group. Comparison groups are made up of students who aren't receiving the program. The key to creating a good comparison group is attempting to match the students as closely as possible to those receiving CLISE lessons. The more alike the two groups are, the more useful the comparison group data will be. The most common way to match comparison group students (or classrooms or schools) to those getting CLISE lessons is by using demographics, such as age, race or ethnicity, gender, income, etc.
Thiết kế bán thử nghiệm là một cách để cố gắng đánh giá tác động của chương trình khi không thể thực hiện việc chọn nhóm ngẫu nhiên. Thay vì một nhóm đối chứng được chọn ngẫu nhiên, một thiết kế bán thử nghiệm bao gồm một nhóm so sánh. Các nhóm so sánh được tạo thành từ những học sinh không được học chương trình. Chìa khóa để tạo ra một nhóm so sánh tốt là cố gắng chọn các học sinh có mối liên hệ càng chặt chẽ càng tốt với những học sinh đang được học các bài học CLISE. Hai nhóm càng giống nhau thì dữ liệu nhóm so sánh càng có giá trị. Cách phổ biến nhất để so sánh các học sinh trong nhóm so sánh (hoặc lớp học hoặc trường học) với những học sinh đang học CLISE là sử dụng nhân khẩu học, chẳng hạn như tuổi tác, chủng tộc hoặc dân tộc, giới tính, v.v.


The drawback to the quasi-experimental approach is you ultimately have less certainty that the students in the two groups you’re comparing are alike to begin with than with random assignment, and differences between the two groups that don’t have to do with the CLISE program may be part of the cause of differences you find in outcomes. However, this approach is a reasonable way to increase the strength of an evaluation.
 
Hạn chế của phương pháp bán thử nghiệm là cuối cùng thầy/cô đảm bảo được mức độ chắc chắn thấp hơn rằng các học sinh trong hai nhóm đang được so sánh với nhau là giống nhau ngay từ đầu, so với việc chọn nhóm ngẫu nhiên; và sự khác biệt giữa hai nhóm không liên quan đến chương trình CLISE có thể là một phần nguyên nhân của sự khác biệt mà thầy/cô nhận thấy trong kết quả đánh giá. Tuy nhiên, cách tiếp cận này là một cách hợp lý để tăng độ nghiêm ngặt của một đánh giá.


<br />
<br />


<div style="font-size: 16px; color:#A880CF">Non-Experimental Design</div>
<div style="font-size: 16px; color:#A880CF">'''Thiết kế không thử nghiệm (Non-experimental Design)'''</div>
A non-experimental design means gathering data on children who receive CLISE only, without any control or comparison children involved. This approach is often the most feasible for many schools. Just keep in mind that it can’t tell you whether any outcomes you find were actually caused by the program. It may be that the program is causing the changes you find, or it could be that schools using the program are also doing other things that benefit children and cause the changes you’re finding.
Một thiết kế không thử nghiệm có nghĩa là thu thập dữ liệu về học sinh được học CLISE, không có bất kỳ sự kiểm soát hoặc so sánh nào với các đối tượng học sinh. Cách tiếp cận này thường khả thi nhất đối với nhiều trường. Chỉ cần lưu ý rằng nó không thể cho thầy/cô biết liệu bất kỳ kết quả nào được phát hiện có thực sự được tạo nên bởi chương trình hay không. Có thể chương trình đang gây ra những thay đổi mà thầy/cô nhận thấy hoặc có thể là các trường sử dụng chương trình cũng đang làm những việc khác có lợi cho học sinh và tạo ra những thay đổi mà thầy/cô đang nhận thấy.
 
 
Lợi thế rõ ràng của việc không bao gồm nhóm kiểm soát hoặc nhóm so sánh trong đánh giá của thầy/cô là nó đơn giản hơn và không tốn kém.
 
 
Cách tiếp cận chính được sử dụng trong đánh giá CLISE không thử nghiệm là thu thập dữ liệu trước và sau khi chương trình được thực hiện. Thông tin này thường được gọi là dữ liệu trước và sau đánh giá. Việc thu thập thông tin này thường liên quan đến việc đo lường kết quả cho học sinh và/hoặc cán bộ nhân viên vào học kỳ 1 và một lần nữa vào học kỳ 2.


The clear advantage of not including control or comparison groups in your evaluation is that it’s simpler and relatively inexpensive.


The primary approach used in non-experimental CLISE evaluation is to collect data before and after the program is implemented. This information is often called pre- and post-test data. Getting this information typically involves measuring outcomes for students and/or staff in the fall and again in the spring.
Mặc dù rất khó để biết mức độ thay đổi (tích cực hoặc tiêu cực) từ học kỳ đầu tiên đến học kỳ thứ hai do chương trình CLISE  mang lại, nhưng có nhiều cách để làm cho phương pháp đánh giá này thuyết phục hơn và hữu ích hơn. Hành vi của học sinh thường thay đổi từ đầu đến cuối năm học, bất kể thầy/cô đang sử dụng chương trình nào. Học sinh thường bắt đầu năm học với hành vi tốt nhất của mình, nhưng đến cuối năm, hành vi của học sinh có thể sẽ có nhiều vấn đề hơn - ngay cả khi thầy/cô đang triển khai chương trình và nó đang hoạt động. Có thể học sinh gặp nhiều xung đột và vấn đề hơn vào cuối năm, nhưng nếu không có các bài học CLISE, sự gia tăng đó sẽ lớn hơn nhiều.


Although it’s difficult to know how much of the change (positive or negative) from the first to the second semester was caused by CLISE, there are ways to make this evaluation approach stronger and more informative. Student behavior typically changes from the beginning to the end of the school year, regardless of what programs you’re using. Students often start the school year out on their best behavior, but by the end of the year their behavior can look worse - even if you implement the program and it’s working. It may be that students are having more conflicts and problems by the end of the year, but without CLISE lessons those increases would have been much larger.


<div style="font-size: 14px; color:#A880CF">'''Strengthening Your Non-Experimental Evaluation'''</div>
<div style="font-size: 14px; color:#A880CF">'''Tăng độ chính xác của đánh giá không thử nghiệm'''</div>
One way to tease out these types of effects that strengthen a simple pre/post evaluation is to collect data across multiple years. It can be particularly useful, once a fall baseline is established, to collect data each spring. It often takes time for staff to become familiar with the program, so implementation quality can improve over time, yielding better outcomes when the program has been in place longer. Tracking data across multiple years also allows you to see the cumulative effect of students receiving a larger dose of the program. CLISE isn’t intended as a one-year intervention. It’s carefully designed so each year’s lessons build on those that came before. Collecting data on outcomes across multiple years allows you to capture that growth.
Một cách để xác định những loại tác động nhằm tăng cường độ chính xác của đánh giá trước/sau triển khai là thu thập dữ liệu trong nhiều năm. Nó có thể đặc biệt hữu ích, khi số liệu cơ sở được thiết lập vào học kỳ 1, để thu thập dữ liệu vào mỗi học kỳ 2. Cán bộ nhân viên thường mất thời gian để làm quen với chương trình, do đó chất lượng triển khai có thể cải thiện theo thời gian, mang lại kết quả tốt hơn khi chương trình đã được thực hiện lâu hơn. Theo dõi dữ liệu trong nhiều năm cũng cho phép thầy/cô thấy tác động tích lũy của việc học sinh nhận được thời gian giảng dạy lớn hơn từ chương trình. CLISE không được thiết kế để  can thiệp vào kỹ năng của học sinh trong một năm. Nó được thiết kế cẩn thận để các bài học hàng năm được xây dựng dựa trên những bài học trước đó. Thu thập dữ liệu về kết quả trong nhiều năm cho phép thầy/cô nắm bắt được sự phát triển đó.


A final way to strengthen a non-experimental approach to evaluation is to examine implementation. In some schools, implementation will vary - some students will get more lessons than others, some staff will implement the lessons more fully than others, and some staff will reinforce skills more than others. If you’re collecting data from staff on implementation, you may be able to compare outcomes for students who received different amounts, or doses, of the program. If students who received more lessons or more reinforcement show better outcomes, that can help you see how to increase outcomes for more students.
 
Cách cuối cùng để củng cố phương pháp đánh giá không thử nghiệm là kiểm tra việc triển khai. Ở một số trường, việc triển khai sẽ khác nhau - một số học sinh sẽ được học nhiều bài học hơn những học sinh khác, một số giáo viên sẽ triển khai các bài học đầy đủ hơn những người khác và một số cán bộ nhân viên sẽ củng cố kỹ năng nhiều hơn những người khác. Nếu thầy/cô đang thu thập dữ liệu từ giáo viên và cán bộ nhân viên về việc triển khai, thầy/cô có thể so sánh kết quả của những học sinh có thời lượng tương tác với các cấu phần của chương trình khác nhau. Nếu những học sinh có thời gian bài học lớn hơn hoặc được củng cố các kỹ năng nhiều hơn cho thấy kết quả cuối cùng tốt hơn, điều đó có thể giúp thầy/cô biết rằng nhà trường cần làm gì để tăng hiệu quả triển khai cho nhiều học sinh hơn.
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
Line 123: Line 139:
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Using School Data'''</span> </div>
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Sử dụng dữ liệu trường học'''</span> </div>


<div style="text-align: center; font-size: 16px; color:#A880CF;"> How to use school data in your evaluation process </div>
<div style="text-align: center; font-size: 16px; color:#A880CF;"> Cách sử dụng dữ liệu trường học trong quá trình đánh giá </div>
<br />
<br />


<div style="font-size: 16px; color:#A880CF"> Using School Data for Evaluation </div>
<div style="font-size: 16px; color:#A880CF"> '''Sử dụng dữ liệu trường học để đánh giá''' </div>
Schools collect data as part of their everyday operations, and the most commonly used school data is probably discipline referral data. Many schools look at their disciplinary referrals over time as a way to see whether CLISE implementation has resulted in fewer problem behaviors. One of the advantages of this approach is that schools can often compare the number of referrals for the year before they implemented the CLISE program to the number once the program has been in place.
Trường học thu thập dữ liệu như một phần của hoạt động hàng ngày và dữ liệu trường học được sử dụng phổ biến nhất có lẽ là dữ liệu về hình thức kỷ luật. Nhiều trường xem xét các trường hợp kỷ luật theo thời gian như một cách để xem liệu việc triển khai chương trình CLISE có dẫn đến ít hành vi có vấn đề hơn ở học sinh hay không. Một trong những ưu điểm của phương pháp này là các trường thường có thể so sánh số lượng các trường hợp kỷ luật của năm trước khi thực hiện chương trình CLISE với số lượng các trường hợp kỷ luật khi chương trình đã được áp dụng lâu dài.


It’s also possible to track referrals over time to see whether the program results in fewer students having behavioral problems once it’s been in place for multiple years.


Although it’s possible to look at other types of school data for evaluation purposes, disciplinary referrals are the most common and safest source of information on CLISE outcomes. Things like attendance, grades, and test scores can be affected by the program, but its effect on those outcomes is less direct and can be harder to see.
Mặc dù có thể xem xét các loại dữ liệu trường học khác cho mục đích đánh giá, các trường hợp kỷ luật là nguồn thông tin phổ biến nhất và an toàn nhất về kết quả của chương trình CLISE. Những thông tin khác như như điểm chuyên cần, điểm văn minh, điểm số và điểm kiểm tra cũng có thể bị ảnh hưởng bởi chương trình, nhưng ảnh hưởng của nó đối với những kết quả này ít trực tiếp hơn và có thể khó nhận thấy hơn.
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
|}<!-- GÓC TRÊN BÊN PHẢI -->   
|}
'''Sử dụng kết quả đánh giá'''
 
Cách sử dụng cả kết quả tích cực và kết quả hạn chế để tinh chỉnh việc triển khai chương trình
 
 
'''Kết quả tích cực'''
 
Xin chúc mừng! Đánh giá đã cho thấy rằng việc triển khai chương trình CLISE của nhà trường đã cải thiện kết quả cho học sinh. Đây là thời điểm để đảm bảo rằng trường học hoặc hệ thống tiếp tục giảng dạy chương trình và hỗ trợ những gì học sinh đang học trong các bài học CLISE trong suốt ngày học và trong môi trường học. Hãy nhớ rằng sự hỗ trợ liên tục cho chương trình của đội ngũ lãnh đạo đã được chứng minh là yếu tố số một thúc đẩy việc tiếp tục triển khai thành công theo thời gian. Chia sẻ tin vui với nhân viên nhà trường, nhân viên hệ thống, phụ huynh và cộng đồng để nỗ lực của thầy/cô tiếp tục được duy trì và hỗ trợ.
 
 
'''Kết quả hạn chế'''
 
 
'''Không có đánh giá triển khai'''
 
Nếu đánh giá cho thấy học sinh không được hưởng lợi đầy đủ từ chương trình CLISE, yếu tố đầu tiên để phát hiện lý do nằm ở việc triển khai. Như đã đề cập trong phần Đánh giá việc triển khai, chương trình được triển khai như thế nào là rất quan trọng và đã được chứng minh là có ảnh hưởng đến kết quả cuối cùng. Nếu thầy/cô chưa xem xét việc triển khai CLISE như một phần trong quá trình đánh giá của mình, việc bắt đầu đánh giá quá trình triển khai chương trình có thể cung cấp cho thầy/cô các ý tưởng về cách cải thiện tác động đối với học sinh.
 
 
'''Có đánh giá triển khai'''
 
Nếu đánh giá của thầy/cô đã bao gồm cả việc triển khai chương trình, thì kết quả hạn chế cho thấy tầm quan trọng của việc xem xét kỹ cách chương trình đang được thực hiện để xem có chỗ nào để cải thiện có thể làm tăng hiệu quả của chương trình.
 
 
Hãy nhớ rằng việc triển khai CLISE chất lượng cao không chỉ là việc giảng dạy các bài học. Cũng giống như các lĩnh vực học thuật khác, các kỹ năng CLISE phải được củng cố và thực hành để có thể thành thạo. Thầy/cô hãy tìm cách để đảm bảo cán bộ nhân viên có thể cùng hỗ trợ học sinh sử dụng các kỹ năng CLISE trong suốt ngày học và môi trường học, đồng thời tìm cách củng cố việc sử dụng kỹ năng của học sinh.
 
 
Nếu có vẻ như việc triển khai CLISE trong phạm vi trường học của thầy/cô đã được thực hiện tốt, có thể sẽ rất khó để biết hướng đi tiếp theo nếu thầy/cô không tìm thấy kết quả đủ tích cực từ đánh giá của mình. Hãy nhớ rằng một đánh giá thực sự nghiêm ngặt đòi hỏi sự chọn nhóm ngẫu nhiên của một số lượng lớn các trường và các đánh giá bán thử nghiệm hoặc không thử nghiệm có thể khó tách các tác động CLISE khỏi các yếu tố khác trong nhà trường. Cũng cần nhớ rằng các kết quả tích cực của chương trình có thể bị bỏ sót trong quá trình đánh giá trước/sau một năm học, bởi vì các hành vi thường xấu đi từ học kỳ 1 đến học kỳ 2. Việc không phát hiện ra các thay đổi của học sinh có thể do những thay đổi trong hành vi của học sinh trong suốt năm học, mặc dù có những hiệu ứng tích cực của chương trình.
 
 
Nếu đánh giá một năm của thầy/cô tạo ra kết quả đáng thất vọng, hãy nhớ rằng chương trình được thiết kế để có tác động tích lũy trong nhiều năm và việc dạy nó, giống như bất kỳ điều gì khác, cần có thời gian để thành thạo. Đánh giá một năm không nhất thiết phải nắm bắt tốt các hiệu quả của chương trình, và có thể dữ liệu được thu thập trong hơn một năm sẽ kể một câu chuyện khác và tích cực hơn.
<!-- GÓC TRÊN BÊN PHẢI -->   
|}
|}


Line 176: Line 222:
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko manual main-box" style="width: 100%; margin-top: 10px; flex: 1;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<div class="wikipedia-ko participation-header" style="width: 100%; font-size: 1.3em; overflow: auto;">
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Outcome Measures'''</span>  </div>
<span class="heading" style="display: inline-block; height: 2rem; line-height: 2rem; padding-left: .5rem; padding-right: 1rem; margin: .6rem 0; border-radius: 0 1rem 1rem 0; background-color: #A880CF; color:#FFFFFF;">'''Các phương pháp đo lường kết quả'''</span>  </div>


<div style="text-align: center; font-size: 16px; color:#A880CF;"> Research-validated evaluation tools
<div style="text-align: center; font-size: 16px; color:#A880CF;"> Research-validated evaluation tools
Line 183: Line 229:


<div style="font-size: 16px; color:#A880CF">Panorama</div>
<div style="font-size: 16px; color:#A880CF">Panorama</div>
Panorama Education’s social-emotional learning measurement platform aligns with CLISE program. Panorama’s Teacher Perception of Students’ SEL surveys can be used for Grade 1 through Grade 8, and the Student Perception of SEL self-reports are available for Grades 3 through 8. Panorama helps educators collect, analyze, and act on data about social-emotional learning, school climate, and more. Using Panorama’s customizable reporting, educators can analyze their data by subgroups - such as race or ethnicity, gender, and Title I status - and they can explore data at the individual, class, grade, school, and system levels.
Nền tảng đo lường kỹ năng cảm xúc-xã hội của Panorama Education phù hợp với chương trình CLISE. Khảo sát về nhận thức của giáo viên đối với kỹ năng SEL của học sinh của Panorama có thể được sử dụng cho Lớp 1 đến Lớp 8 và các bản tự báo cáo nhận thức của học sinh về SEL có sẵn cho các Lớp 3 đến 8. Panorama giúp các nhà giáo dục thu thập, phân tích và hành động dựa trên dữ liệu về kỹ năng tình cảm-xã hội, môi trường học, và hơn thế nữa. Bằng cách sử dụng báo cáo có thể tùy chỉnh của Panorama, các nhà giáo dục có thể phân tích dữ liệu của mình theo các nhóm con - chẳng hạn như chủng tộc hoặc dân tộc, giới tính, và thầy/cô có thể khám phá dữ liệu ở cấp độ cá nhân, lớp, cấp lớp, trường học và hệ thống.


<br />
<br />


<div style="font-size: 16px; color:#A880CF">Strengths and Difficulties Questionnaire (SDQ)</div>
<div style="font-size: 16px; color:#A880CF">'''Bảng câu hỏi Điểm mạnh và Khó khăn (SDQ)'''</div>
The Strengths and Difficulties Questionnaire is a brief behavioral screening questionnaire for use with 3- to 16-year-olds. It asks about 25 attributes, some positive and some negative, on five different scales: emotional symptoms, conduct problems, hyperactivity/inattention, peer relationship problems, and prosocial behavior.
Bảng câu hỏi Điểm mạnh và Khó khăn là một bảng câu hỏi sàng lọc hành vi ngắn gọn để sử dụng cho trẻ từ 3 đến 16 tuổi. Nó hỏi về 25 thuộc tính, một số tích cực và một số tiêu cực, trên năm thang điểm khác nhau: các triệu chứng cảm xúc, các vấn đề về hành vi, hiếu động thái quá/không chú ý, các vấn đề về mối quan hệ bạn bè và hành vi xã hội.


<br />
<br />


<div style="font-size: 16px; color:#A880CF">Devereux Student Strengths Assessment - Second Step Edition (DESSA-SSE)</div>
<div style="font-size: 16px; color:#A880CF">'''Đánh giá điểm mạnh của học sinh Devereux - Phiên bản Second Step (DESSA-SSE)'''</div>
The Devereux Student Strengths Assessment - Second Step Edition is a 36-item standardized, norm-referenced behavior rating scale for Kindergarten through Grade 5. It’s designed to assess students’ skills related to social-emotional competence, resilience, and academic success. It measures four key social-emotional competencies taught in CLISE lessons: skills for learning, empathy, emotion management, and problem solving.
Devereux Student Strength Assessment - Second Step Edition là thang điểm đánh giá hành vi chuẩn mực, được tiêu chuẩn hóa gồm 36 mục cho học sinh từ Mẫu giáo đến Lớp 5. Nó được thiết kế để đánh giá các kỹ năng của học sinh liên quan đến năng lực cảm xúc-xã hội, khả năng phục hồi và thành công trong học tập. Nó đo lường bốn năng lực xã hội-tình cảm chính được dạy trong các bài học CLISE: kỹ năng học tập, sự đồng cảm, quản lý cảm xúc và giải quyết vấn đề.
 
DESSA hoàn toàn dựa trên điểm mạnh của học sinh. Nó chỉ tập trung vào những hành vi tích cực (chẳng hạn như hòa đồng với người khác) hơn là những hành vi không tốt (chẳng hạn như làm phiền người khác). Nó có thể được hoàn thành bởi phụ huynh, giáo viên hoặc nhân viên tại các trường học.
 
 
DESSA có thể:


The DESSA is entirely strength-based. It focuses only on positive behaviors (such as getting along with others) rather than maladaptive ones (such as annoying others). It can be completed by parents, teachers, or staff at schools and child-serving agencies.
* Cung cấp cho các trường một thước đo dựa trên điểm mạnh về năng lực tình cảm-xã hội cho học sinh Mẫu giáo đến Lớp 5
* Được sử dụng như một phần của quy trình đánh giá nhu cầu CLISE
* Cho phép trường học đánh giá tác động của CLISE ở cấp độ cá nhân, lớp học và trường học


The DESSA can:


*Provide schools with a strength-based measure of social-emotional competence for Kindergarten through Grade 5 students
Apperson, một nhà cung cấp đáng tin cậy về các biện pháp đánh giá hiệu suất từ ​​năm 1955, cung cấp phiên bản trực tuyến của DESSA-SSE. Giờ đây, các nhà giáo dục có thể chấm điểm và theo dõi những thay đổi trong năng lực xã hội-tình cảm một cách nhanh chóng và dễ dàng. Kết quả có thể được truy cập theo yêu cầu từ bất cứ đâu.
*Be used as part of a CLISE needs assessment process
*Allow schools to evaluate the impact of CLISE at the child, classroom, and school levels


Apperson, a trusted provider of performance assessment measures since 1955, provides an online version of the DESSA-SSE. Now educators can score and track changes in social-emotional competencies quickly and easily. Results can be accessed on demand from anywhere.


<div style="font-size: 14px; color:#A880CF">'''DESSA Resources''' </div>
'''Tài nguyên DESSA:'''


''DESSA Manual''
''Hướng dẫn sử dụng DESSA''


''Brief DESSA User's Guide''
''Hướng dẫn sử dụng DESSA ngắn gọn''


''DESSA Classroom Profile (XLS)''
''Hồ sơ lớp học DESSA (XLS)''


''DESSA Teacher Individual Student Profile''
''Hồ sơ cá nhân học sinh dành cho giáo viên DESSA''


''DESSA Parent Individual Student Profile''
''Hồ sơ cá nhân học sinh dành cho cha mẹ của DESSA''
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
{| cellpadding="2" cellspacing="5" style="width:50%; vertical-align:top; background:transparent;"
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
<!-- Muốn đặt text vào hộp 1 thì để ở đây -->
|}<!-- GÓC TRÊN BÊN PHẢI -->   
|}<!-- GÓC TRÊN BÊN PHẢI -->   
|}
|}

Revision as of 09:48, 13 September 2021

KẾ HOẠCH ĐÁNH GIÁ CHƯƠNG TRÌNH

Hướng dẫn này được viết riêng cho những người muốn đánh giá việc triển khai CLISE của trường học hoặc hệ thống, nhưng không được đào tạo về đánh giá chương trình và không làm việc với người đánh giá chuyên nghiệp. Đây không phải là hướng dẫn chung để đánh giá các chương trình học tại trường học - nó chỉ phù hợp với các đặc thù của việc đánh giá chương trình CLISE.


Tại sao phải đánh giá?

Có nhiều lý do để đánh giá việc sử dụng chương trình CLISE. Nhìn chung, mục tiêu là cho thấy các nguồn lực đưa vào chương trình đang mang lại hiệu quả, vì vậy một trong những đối tượng tiếp nhận thông tin đánh giá quan trọng nhất là nhà đầu tư - ở đây là Ban lãnh đạo Vinschool. Một đối tượng tiếp nhận thông tin quan trọng khác là phụ huynh và các thành viên trong Ban giám hiệu nhà trường.

Nhiều người chọn đánh giá chương trình để xem nó hoạt động như thế nào. Bằng chứng đánh giá có thể làm tăng động lực và cam kết của nhân viên trong việc triển khai đầy đủ và hiệu quả chương trình. Đánh giá cũng có thể giúp các trường học xem việc triển khai chương trình có thể ảnh hưởng đến kết quả chương trình như thế nào và nó có thể được cải thiện như thế nào để đảm bảo học sinh được hưởng lợi đầy đủ. Đánh giá cũng là một bước có giá trị để theo dõi tiến độ đạt được các mục tiêu và kết quả chương trình mong muốn theo thời gian.

Đánh giá việc triển khai
Một trong những chìa khóa để đánh giá thành công, hiệu quả là đảm bảo thầy/cô biết chính xác những gì mình đang cần đánh giá.
Tôi đang đánh giá cái gì?

Tất cả cơ sở đều thực hiện cùng một chương trình CLISE, nhưng những gì học sinh thực sự nhận được có thể rất khác nhau. Thầy/cô có thể làm cho việc đánh giá của mình trở nên mạnh mẽ và hữu ích hơn bằng cách kiểm tra xem chương trình đang được triển khai như thế nào trong trường của mình. Hãy nhớ rằng thầy/cô đang đánh giá sự tác động mà học sinh của mình thực sự nhận được, tùy thuộc vào việc triển khai, có thể bằng hoặc thấp hơn mức mong đợi mà thiết kế chương trình đặt ra.


Tôi nên thu thập thông tin gì?


Để đưa nội dung liên quan đến việc triển khai chương trình vào trong đánh giá của thầy/cô, hãy thu thập thông tin về cách chương trình đang được giảng dạy trong môi trường của nhà trường. Các câu hỏi sau sẽ là những gợi ý để xác định các thông tin cần thiết nhất:

  • Có bao nhiêu học sinh đang học bài học CLISE? Tất cả học sinh? Chỉ một số học sinh nhất định? Chỉ một số lớp học nhất định?
  • Có bao nhiêu bài học đang được dạy?
  • Các bài học được giảng dạy liên kết chặt chẽ như thế nào với thiết kế chương trình?
  • Học sinh có đang thực hiện các Hoạt động bổ trợ không?
  • Có hoạt động gì khác đang được thực hiện ngoài các giờ học chính thức để củng cố các kỹ năng CLISE, cả trong lớp học và trong phạm vi toàn trường?


Làm thế nào để tôi thu thập thông tin?

Thu thập dữ liệu về những gì học sinh đang nhận được thường liên quan đến việc yêu cầu cán bộ nhân viên hoàn thành một cuộc khảo sát đơn giản về các câu hỏi được liệt kê ở trên. Một số khảo sát cho mục đích này được mô tả ở đây:

Khảo sát mức độ sẵn sàng

Thu thập thông tin về sự sẵn sàng của cán bộ nhân viên để bắt đầu các bài học và giúp thầy/cô lập kế hoạch cho các nhu cầu hỗ trợ việc triển khai


Khảo sát triển khai

Thu thập thông tin về việc triển khai chương trình dựa trên trải nghiệm thực tế của những người giảng dạy chương trình và có thể đóng vai trò như một đánh giá quá trình triển khai trong năm hoặc đánh giá tổng kết kinh nghiệm triển khai vào cuối năm


Các bản khảo sát nên được điền bởi các cán bộ nhân viên có liên quan đến việc triển khai chương trình, không phải chỉ có giáo viên CLISE. Ở một số trường, giáo viên chủ nhiệm dạy hầu hết các bài học, nhưng họ vẫn cần ý kiến ​​của các giáo viên khác để tìm hiểu xem học sinh thực sự tiếp thu được bao nhiêu và phần nào trong chương trình, vì các giáo viên khác có trách nhiệm củng cố các kỹ năng trong các hoạt động giáo dục khác thuộc chương trình tổng thể của Vinschool.


Mức độ bám sát thiết kế khi triển khai là gì?

Việc khảo sát cán bộ nhân viên về cách thức chương trình đang được giảng dạy cũng có thể vượt ra ngoài việc kiểm tra xem có bao nhiêu học sinh đang tiếp nhận được bao nhiêu bài học. Đánh giá việc triển khai cũng có thể xem xét “độ chính xác” của việc thực hiện. Về cơ bản, độ chính xác có nghĩa là mức độ mà chương trình được giảng dạy như đã được thiết kế.


Việc triển khai đầy đủ một cách lý tưởng có nghĩa là học sinh đang tiếp nhận tất cả các bài học theo thứ tự và tất cả các khái niệm và kỹ năng trong mỗi bài học một cách chuẩn xác. Vì nhiều lý do, giáo viên đôi khi chỉ dạy một phần của bài học và bỏ qua phần khác, dạy bài học không theo trình tự hoặc thay đổi một số nội dung. Đây là tất cả các ví dụ về độ chính xác thấp. Rõ ràng là có thể thay đổi bài học theo những cách không gây hại hoặc thậm chí có thể cải thiện kết quả chương trình, nhưng cũng có thể xảy ra trường hợp thay đổi bài học theo cách làm giảm hiệu quả của chương trình. Phòng Chương trình khuyến khích nên triển khai chương trình với độ chính xác cao nhất có thể.


Thiết kế đánh giá
Tạo một thiết kế đánh giá phù hợp với các tài nguyên về thu thập dữ liệu

Nói một cách đơn giản, việc đánh giá CLISE có thể rơi vào một trong ba vị trí tùy theo mức độ đánh giá nghiêm ngặt cao hay thấp. Cách tiếp cận nghiêm ngặt nhất là một thiết kế thử nghiệm (experimental design), ở giữa là cái được gọi là thiết kế bán thử nghiệm (quasi-experimental design), và cách tiếp cận ít nghiêm ngặt nhất là một thiết kế không thử nghiệm (non-experimental design). Miêu tả tóm tắt về mỗi thiết kế này và ưu nhược điểm của chúng được mô tả dưới đây.

Thiết kế thử nghiệm (Experimental Design)

Một trong những thách thức chính trong đánh giá chương trình là xác định xem liệu các tác động mà thầy/cô nhận thấy có thực sự được tạo nên bởi chương trình mà thầy/cô đang đánh giá hay không. Trong bất kỳ trường học nào, CLISE chỉ là một trong nhiều yếu tố ảnh hưởng đến thái độ và hành vi của học sinh. Mục đích của thiết kế thử nghiệm là để tăng cường sự tự tin của thầy/cô rằng những thay đổi mà thầy/cô có thể nhận thấy ở học sinh là do học sinh được tiếp nhận chương trình.


Điều này chủ yếu được thực hiện thông qua chọn nhóm ngẫu nhiên. Chọn nhóm ngẫu nhiên có nghĩa là thầy/cô xác định học sinh nào sẽ tham gia vào nghiên cứu (đối tượng nghiên cứu), và mỗi học sinh đó đều có cơ hội như nhau về việc được học chương trình CLISE hoặc không. Chọn nhóm ngẫu nhiên là một cách hiệu quả để tạo ra hai nhóm có khả năng không chênh lệch đáng kể nhất có thể. Điều này giúp loại bỏ sự khác biệt về kết quả là do sự khác biệt ban đầu ở các học sinh được nghiên cứu.


Vì những lý do kỹ thuật phức tạp, việc chọn nhóm ngẫu nhiên để đánh giá một chương trình học tập về kỹ năng-phẩm chất đòi hỏi phải chỉ định toàn bộ một trường nhất định triển khai chương trình hoặc không (những trường không triển khai đóng vai trò là kiểm soát không can thiệp). Ngoài ra, vì lý do thống kê, một số lượng lớn các trường phải tham gia vào việc đánh giá. Các đánh giá theo thiết kế thử nghiệm có giá trị về mặt khoa học thường cần sự tham gia của 30 đến 60 trường học trở lên. Một nghiên cứu lớn như vậy thường không khả thi đối với Vinschool tại thời điểm hiện tại và vì thiết kế thử nghiệm yêu cầu chọn ngẫu nhiên toàn bộ các trường, phương pháp này không thể được thực hiện bởi một trường riêng lẻ.


Thiết kế bán thử nghiệm (Quasi-experimental Design)

Thiết kế bán thử nghiệm là một cách để cố gắng đánh giá tác động của chương trình khi không thể thực hiện việc chọn nhóm ngẫu nhiên. Thay vì một nhóm đối chứng được chọn ngẫu nhiên, một thiết kế bán thử nghiệm bao gồm một nhóm so sánh. Các nhóm so sánh được tạo thành từ những học sinh không được học chương trình. Chìa khóa để tạo ra một nhóm so sánh tốt là cố gắng chọn các học sinh có mối liên hệ càng chặt chẽ càng tốt với những học sinh đang được học các bài học CLISE. Hai nhóm càng giống nhau thì dữ liệu nhóm so sánh càng có giá trị. Cách phổ biến nhất để so sánh các học sinh trong nhóm so sánh (hoặc lớp học hoặc trường học) với những học sinh đang học CLISE là sử dụng nhân khẩu học, chẳng hạn như tuổi tác, chủng tộc hoặc dân tộc, giới tính, v.v.


Hạn chế của phương pháp bán thử nghiệm là cuối cùng thầy/cô đảm bảo được mức độ chắc chắn thấp hơn rằng các học sinh trong hai nhóm đang được so sánh với nhau là giống nhau ngay từ đầu, so với việc chọn nhóm ngẫu nhiên; và sự khác biệt giữa hai nhóm không liên quan đến chương trình CLISE có thể là một phần nguyên nhân của sự khác biệt mà thầy/cô nhận thấy trong kết quả đánh giá. Tuy nhiên, cách tiếp cận này là một cách hợp lý để tăng độ nghiêm ngặt của một đánh giá.


Thiết kế không thử nghiệm (Non-experimental Design)

Một thiết kế không thử nghiệm có nghĩa là thu thập dữ liệu về học sinh được học CLISE, không có bất kỳ sự kiểm soát hoặc so sánh nào với các đối tượng học sinh. Cách tiếp cận này thường khả thi nhất đối với nhiều trường. Chỉ cần lưu ý rằng nó không thể cho thầy/cô biết liệu bất kỳ kết quả nào được phát hiện có thực sự được tạo nên bởi chương trình hay không. Có thể chương trình đang gây ra những thay đổi mà thầy/cô nhận thấy hoặc có thể là các trường sử dụng chương trình cũng đang làm những việc khác có lợi cho học sinh và tạo ra những thay đổi mà thầy/cô đang nhận thấy.


Lợi thế rõ ràng của việc không bao gồm nhóm kiểm soát hoặc nhóm so sánh trong đánh giá của thầy/cô là nó đơn giản hơn và không tốn kém.


Cách tiếp cận chính được sử dụng trong đánh giá CLISE không thử nghiệm là thu thập dữ liệu trước và sau khi chương trình được thực hiện. Thông tin này thường được gọi là dữ liệu trước và sau đánh giá. Việc thu thập thông tin này thường liên quan đến việc đo lường kết quả cho học sinh và/hoặc cán bộ nhân viên vào học kỳ 1 và một lần nữa vào học kỳ 2.


Mặc dù rất khó để biết mức độ thay đổi (tích cực hoặc tiêu cực) từ học kỳ đầu tiên đến học kỳ thứ hai do chương trình CLISE  mang lại, nhưng có nhiều cách để làm cho phương pháp đánh giá này thuyết phục hơn và hữu ích hơn. Hành vi của học sinh thường thay đổi từ đầu đến cuối năm học, bất kể thầy/cô đang sử dụng chương trình nào. Học sinh thường bắt đầu năm học với hành vi tốt nhất của mình, nhưng đến cuối năm, hành vi của học sinh có thể sẽ có nhiều vấn đề hơn - ngay cả khi thầy/cô đang triển khai chương trình và nó đang hoạt động. Có thể học sinh gặp nhiều xung đột và vấn đề hơn vào cuối năm, nhưng nếu không có các bài học CLISE, sự gia tăng đó sẽ lớn hơn nhiều.


Tăng độ chính xác của đánh giá không thử nghiệm

Một cách để xác định những loại tác động nhằm tăng cường độ chính xác của đánh giá trước/sau triển khai là thu thập dữ liệu trong nhiều năm. Nó có thể đặc biệt hữu ích, khi số liệu cơ sở được thiết lập vào học kỳ 1, để thu thập dữ liệu vào mỗi học kỳ 2. Cán bộ nhân viên thường mất thời gian để làm quen với chương trình, do đó chất lượng triển khai có thể cải thiện theo thời gian, mang lại kết quả tốt hơn khi chương trình đã được thực hiện lâu hơn. Theo dõi dữ liệu trong nhiều năm cũng cho phép thầy/cô thấy tác động tích lũy của việc học sinh nhận được thời gian giảng dạy lớn hơn từ chương trình. CLISE không được thiết kế để  can thiệp vào kỹ năng của học sinh trong một năm. Nó được thiết kế cẩn thận để các bài học hàng năm được xây dựng dựa trên những bài học trước đó. Thu thập dữ liệu về kết quả trong nhiều năm cho phép thầy/cô nắm bắt được sự phát triển đó.


Cách cuối cùng để củng cố phương pháp đánh giá không thử nghiệm là kiểm tra việc triển khai. Ở một số trường, việc triển khai sẽ khác nhau - một số học sinh sẽ được học nhiều bài học hơn những học sinh khác, một số giáo viên sẽ triển khai các bài học đầy đủ hơn những người khác và một số cán bộ nhân viên sẽ củng cố kỹ năng nhiều hơn những người khác. Nếu thầy/cô đang thu thập dữ liệu từ giáo viên và cán bộ nhân viên về việc triển khai, thầy/cô có thể so sánh kết quả của những học sinh có thời lượng tương tác với các cấu phần của chương trình khác nhau. Nếu những học sinh có thời gian bài học lớn hơn hoặc được củng cố các kỹ năng nhiều hơn cho thấy kết quả cuối cùng tốt hơn, điều đó có thể giúp thầy/cô biết rằng nhà trường cần làm gì để tăng hiệu quả triển khai cho nhiều học sinh hơn.


Sử dụng dữ liệu trường học
Cách sử dụng dữ liệu trường học trong quá trình đánh giá


Sử dụng dữ liệu trường học để đánh giá

Trường học thu thập dữ liệu như một phần của hoạt động hàng ngày và dữ liệu trường học được sử dụng phổ biến nhất có lẽ là dữ liệu về hình thức kỷ luật. Nhiều trường xem xét các trường hợp kỷ luật theo thời gian như một cách để xem liệu việc triển khai chương trình CLISE có dẫn đến ít hành vi có vấn đề hơn ở học sinh hay không. Một trong những ưu điểm của phương pháp này là các trường thường có thể so sánh số lượng các trường hợp kỷ luật của năm trước khi thực hiện chương trình CLISE với số lượng các trường hợp kỷ luật khi chương trình đã được áp dụng lâu dài.


Mặc dù có thể xem xét các loại dữ liệu trường học khác cho mục đích đánh giá, các trường hợp kỷ luật là nguồn thông tin phổ biến nhất và an toàn nhất về kết quả của chương trình CLISE. Những thông tin khác như như điểm chuyên cần, điểm văn minh, điểm số và điểm kiểm tra cũng có thể bị ảnh hưởng bởi chương trình, nhưng ảnh hưởng của nó đối với những kết quả này ít trực tiếp hơn và có thể khó nhận thấy hơn.

Sử dụng kết quả đánh giá

Cách sử dụng cả kết quả tích cực và kết quả hạn chế để tinh chỉnh việc triển khai chương trình


Kết quả tích cực

Xin chúc mừng! Đánh giá đã cho thấy rằng việc triển khai chương trình CLISE của nhà trường đã cải thiện kết quả cho học sinh. Đây là thời điểm để đảm bảo rằng trường học hoặc hệ thống tiếp tục giảng dạy chương trình và hỗ trợ những gì học sinh đang học trong các bài học CLISE trong suốt ngày học và trong môi trường học. Hãy nhớ rằng sự hỗ trợ liên tục cho chương trình của đội ngũ lãnh đạo đã được chứng minh là yếu tố số một thúc đẩy việc tiếp tục triển khai thành công theo thời gian. Chia sẻ tin vui với nhân viên nhà trường, nhân viên hệ thống, phụ huynh và cộng đồng để nỗ lực của thầy/cô tiếp tục được duy trì và hỗ trợ.


Kết quả hạn chế


Không có đánh giá triển khai

Nếu đánh giá cho thấy học sinh không được hưởng lợi đầy đủ từ chương trình CLISE, yếu tố đầu tiên để phát hiện lý do nằm ở việc triển khai. Như đã đề cập trong phần Đánh giá việc triển khai, chương trình được triển khai như thế nào là rất quan trọng và đã được chứng minh là có ảnh hưởng đến kết quả cuối cùng. Nếu thầy/cô chưa xem xét việc triển khai CLISE như một phần trong quá trình đánh giá của mình, việc bắt đầu đánh giá quá trình triển khai chương trình có thể cung cấp cho thầy/cô các ý tưởng về cách cải thiện tác động đối với học sinh.


Có đánh giá triển khai

Nếu đánh giá của thầy/cô đã bao gồm cả việc triển khai chương trình, thì kết quả hạn chế cho thấy tầm quan trọng của việc xem xét kỹ cách chương trình đang được thực hiện để xem có chỗ nào để cải thiện có thể làm tăng hiệu quả của chương trình.


Hãy nhớ rằng việc triển khai CLISE chất lượng cao không chỉ là việc giảng dạy các bài học. Cũng giống như các lĩnh vực học thuật khác, các kỹ năng CLISE phải được củng cố và thực hành để có thể thành thạo. Thầy/cô hãy tìm cách để đảm bảo cán bộ nhân viên có thể cùng hỗ trợ học sinh sử dụng các kỹ năng CLISE trong suốt ngày học và môi trường học, đồng thời tìm cách củng cố việc sử dụng kỹ năng của học sinh.


Nếu có vẻ như việc triển khai CLISE trong phạm vi trường học của thầy/cô đã được thực hiện tốt, có thể sẽ rất khó để biết hướng đi tiếp theo nếu thầy/cô không tìm thấy kết quả đủ tích cực từ đánh giá của mình. Hãy nhớ rằng một đánh giá thực sự nghiêm ngặt đòi hỏi sự chọn nhóm ngẫu nhiên của một số lượng lớn các trường và các đánh giá bán thử nghiệm hoặc không thử nghiệm có thể khó tách các tác động CLISE khỏi các yếu tố khác trong nhà trường. Cũng cần nhớ rằng các kết quả tích cực của chương trình có thể bị bỏ sót trong quá trình đánh giá trước/sau một năm học, bởi vì các hành vi thường xấu đi từ học kỳ 1 đến học kỳ 2. Việc không phát hiện ra các thay đổi của học sinh có thể do những thay đổi trong hành vi của học sinh trong suốt năm học, mặc dù có những hiệu ứng tích cực của chương trình.


Nếu đánh giá một năm của thầy/cô tạo ra kết quả đáng thất vọng, hãy nhớ rằng chương trình được thiết kế để có tác động tích lũy trong nhiều năm và việc dạy nó, giống như bất kỳ điều gì khác, cần có thời gian để thành thạo. Đánh giá một năm không nhất thiết phải nắm bắt tốt các hiệu quả của chương trình, và có thể dữ liệu được thu thập trong hơn một năm sẽ kể một câu chuyện khác và tích cực hơn.


Using Evaluation Results
How both positive and poor outcomes can be used to refine your program implementation


Positive Outcomes

Congratulations! Your evaluation has shown that your CLISE implementation has improved outcomes for students. This is the time to ensure that your school or system continues to teach the program and supports what students are learning in CLISE lessons throughout the school day and the school environment. Remember that ongoing support for the program by building leaders has been shown to be the number one factor that drives continued successful implementation over time. Share the good news with school staff, system staff, parents, and the community so your efforts continue to be sustained and supported.


Poor Outcomes
With No Implementation Evaluation

If your evaluation suggests students aren't benefitting sufficiently from the CLISE, a natural place to look for reasons is implementation. As discussed in the Evaluating Implementation section, how the program is implemented is very important and has been shown to affect outcomes. If you haven’t examined CLISE implementation as part of your evaluation, doing so may provide you with ideas for how to improve the impact on students.

With Implementation Evaluation

If your evaluation included implementation, then poor outcomes indicate the importance of looking closely at how the program is being implemented to see where there's room for improvement that may increase program effects.

Keep in mind that high quality CLISE implementation goes beyond teaching the lessons. Just as with academics, CLISE skills have to be reinforced and practiced in order to be mastered. Look for ways staff can cue students to use CLISE skills throughout the school day and school environment, and find ways to reinforce students’ skill use.

If it appears that CLISE implementation in your setting has been done well, it can be harder to know where to turn if you’re not finding sufficiently positive outcomes from your evaluation. Keep in mind that a truly rigorous evaluation requires random assignment of a large number of schools, and that quasi or non-experimental evaluations can make it hard to separate CLISE effects from other factors. Also recall that positive program outcomes may be lost in a one-year pre/post evaluation, because behaviors typically worsen from fall to spring. A lack of findings may result from changes in student behavior throughout the school year, despite positive program effects.

If your one-year evaluation produces disappointing results, remember that the program is designed to have a cumulative effect across multiple years, and that teaching it, like anything else, takes time to master. A one-year evaluation doesn't necessarily capture program effects well, and it may be that data collected across more than one year will tell a different and more positive story.


Các phương pháp đo lường kết quả
Research-validated evaluation tools

It’s important to choose carefully developed and tested tools for your CLISE evaluation. The basic approach to looking at data from surveys is to compare averages across surveys administered at different times. The following are survey measures we recommend you use.

Panorama

Nền tảng đo lường kỹ năng cảm xúc-xã hội của Panorama Education phù hợp với chương trình CLISE. Khảo sát về nhận thức của giáo viên đối với kỹ năng SEL của học sinh của Panorama có thể được sử dụng cho Lớp 1 đến Lớp 8 và các bản tự báo cáo nhận thức của học sinh về SEL có sẵn cho các Lớp 3 đến 8. Panorama giúp các nhà giáo dục thu thập, phân tích và hành động dựa trên dữ liệu về kỹ năng tình cảm-xã hội, môi trường học, và hơn thế nữa. Bằng cách sử dụng báo cáo có thể tùy chỉnh của Panorama, các nhà giáo dục có thể phân tích dữ liệu của mình theo các nhóm con - chẳng hạn như chủng tộc hoặc dân tộc, giới tính, và thầy/cô có thể khám phá dữ liệu ở cấp độ cá nhân, lớp, cấp lớp, trường học và hệ thống.


Bảng câu hỏi Điểm mạnh và Khó khăn (SDQ)

Bảng câu hỏi Điểm mạnh và Khó khăn là một bảng câu hỏi sàng lọc hành vi ngắn gọn để sử dụng cho trẻ từ 3 đến 16 tuổi. Nó hỏi về 25 thuộc tính, một số tích cực và một số tiêu cực, trên năm thang điểm khác nhau: các triệu chứng cảm xúc, các vấn đề về hành vi, hiếu động thái quá/không chú ý, các vấn đề về mối quan hệ bạn bè và hành vi xã hội.


Đánh giá điểm mạnh của học sinh Devereux - Phiên bản Second Step (DESSA-SSE)

Devereux Student Strength Assessment - Second Step Edition là thang điểm đánh giá hành vi chuẩn mực, được tiêu chuẩn hóa gồm 36 mục cho học sinh từ Mẫu giáo đến Lớp 5. Nó được thiết kế để đánh giá các kỹ năng của học sinh liên quan đến năng lực cảm xúc-xã hội, khả năng phục hồi và thành công trong học tập. Nó đo lường bốn năng lực xã hội-tình cảm chính được dạy trong các bài học CLISE: kỹ năng học tập, sự đồng cảm, quản lý cảm xúc và giải quyết vấn đề.

DESSA hoàn toàn dựa trên điểm mạnh của học sinh. Nó chỉ tập trung vào những hành vi tích cực (chẳng hạn như hòa đồng với người khác) hơn là những hành vi không tốt (chẳng hạn như làm phiền người khác). Nó có thể được hoàn thành bởi phụ huynh, giáo viên hoặc nhân viên tại các trường học.


DESSA có thể:

  • Cung cấp cho các trường một thước đo dựa trên điểm mạnh về năng lực tình cảm-xã hội cho học sinh Mẫu giáo đến Lớp 5
  • Được sử dụng như một phần của quy trình đánh giá nhu cầu CLISE
  • Cho phép trường học đánh giá tác động của CLISE ở cấp độ cá nhân, lớp học và trường học


Apperson, một nhà cung cấp đáng tin cậy về các biện pháp đánh giá hiệu suất từ ​​năm 1955, cung cấp phiên bản trực tuyến của DESSA-SSE. Giờ đây, các nhà giáo dục có thể chấm điểm và theo dõi những thay đổi trong năng lực xã hội-tình cảm một cách nhanh chóng và dễ dàng. Kết quả có thể được truy cập theo yêu cầu từ bất cứ đâu.


Tài nguyên DESSA:

Hướng dẫn sử dụng DESSA

Hướng dẫn sử dụng DESSA ngắn gọn

Hồ sơ lớp học DESSA (XLS)

Hồ sơ cá nhân học sinh dành cho giáo viên DESSA

Hồ sơ cá nhân học sinh dành cho cha mẹ của DESSA

File history

Click on a date/time to view the file as it appeared at that time.

Date/TimeThumbnailDimensionsUserComment
current14:26, 27 February 2023Thumbnail for version as of 14:26, 27 February 20231,800 × 390 (78 KB)Admin (talk | contribs)

You cannot overwrite this file.

Metadata

This file contains additional information, probably added from the digital camera or scanner used to create or digitize it.

If the file has been modified from its original state, some details may not fully reflect the modified file.

Retrieved from "https://wiki.vinschool.edu.vn/DAOTAO-en-wiki/index.php?title=File:Z9.png&oldid=623"