研究工作主要经历了队伍组建、信息采集及资料库建设、指标体系梳理论证、实证效性检验、提交各类研究报告五个阶段。
1、研究队伍体现多学科、跨部门的特点
课题组在研究初期,即开展了教育评价理论的比较研究,积极借鉴欧美国家以行业为主的教育质量保障经验,结合我国医学教育国情,形成具有中医药教育特色的人才培养质量保证机制研究思路和工作重点。
为保证项目研究的科学性,充分体现中医药教育的行业特点,课题组邀请了国家中医药管理局、国家中医师资格认证中心、教育部高等教育评估中心和部分中医药院校的资深管理学和中医教育研究专家共同参与研究工作,并由计算机和信息技术专家承担相关数据挖掘、数理统计、平台设计。同时利用教育部中医学教学指导委员会、全国高等中医药教育学会教育评估研究会领导成员单位的资源优势,能充分参与中医药院校教学质量评价和专业认证试点工作。
2、中医药教育质量信息采集及资料库建设
课题组依托全国高等中医药教育评估研究会收集、汇总了2005年以来参评的20余所中医药院校(其中14所为独立建制院校)本科教学工作水平评估自评报告、支持材料、基本状态数据等评估材料近200余份。
在此基础上参考地域差异和人才培养的不同定位,按照学校类别(研究教学型、教学研究型、教学型),以及中医临床、师承教育、基础研究、多学科交叉、中医预防保健、农村基层、中医药产业等7个教学活动领域,对资料进行分类分层管理,为后续研究提供了基础数据准备。
3、利用数据挖掘方法完成指标体系的梳理和论证
课题组运用数理评价和专家咨询评价方式对相关指标数据作逻辑内涵处理。通过对照全球医学教育基本标准(GMER),利用计算机进行单因素分析、多因素分析和单个院校的独立样本检验,引入Pearson相关、Spearman相关、聚类分析等方法,对不同院校人才培养过程基础状态进行数据约简,挖掘与中医学专业基本能力培养要求关系最密切的属性,并分析各属性的重要度及其关联性。在此基础上,首先筛选出7项一级指标、19项二级指标、105个信息采集点,并在上海中医药大学进行了初次试点采集工作。
经过2007年本科教学水平评估、2008年中医学专业试点认证工作等先后2次的实践测试,结合专家组反馈意见进行筛选和调整,形成包含学校基本信息、专业教学信息、其它信息等3个一级指标,学校定位、经费投入、教学计划、课程建设、师资队伍建设等17个二级指标,以及60个信息采集点的中医药学类专业人才培养质量检测指标体系(详见附件1)。其中突出了中医药专业人才培养的特色指标。如:
中医社区及预防医学实践基地建设;
中医学学科科学研究情况;
医学人文(中医文化)、通识交叉学科类课程情况;
中医学主干课程中案例式、讨论式教学比例;
提高学生中医传承及创新能力的特色实践活动;
中医药类别学生创新活动情况(中医基础研究/小型临床观察研究/中医文献研究/名老中医经典案例研究);
中医临床实践实训及考核;
学生就业流向及中医执业医师考试通过率及数据分析等;
同时,在指标体系中突出信息点之间的逻辑对应关系,增加过程性、描述性资料的收集,提高数据采集的客观性、真实性。如:
对师资队伍:通过分析主干学科、支撑学科和其它交叉学科师资队伍信息,结合科学研究情况,判断教师群体与专业发展定位之间的契合程度;
对培养环节:通过抽取10门中医学主干课程,以及实践教学环节执行情况(含教学内容、方法、考核评价实证材料),结合学生中医传承及创新能力培养的典型案例资料、就业流向等信息,判断人才培养理念和目标的实际实施效果;
4、信息采集和预警评价系统建设
为提高信息采集的便利性,课题组完成了基于WEB的高等中医药教育质量指标动态信息采集平台及分析系统设计工作,能满足多种类型数据的网络采集上传,并有指标系统汇总管理、专家评估操作界面等功能。同时完成了与教育部高等教育教学评估中心专业状态数据填报系统、卫生部和国家中医药管理局执业医师考试结果分析系统等官方数据系统对接。
依托平台数据检索功能,结合中医学专业认证,采用结构效度分析法和因素分析法,挖掘出18项核心指标,初步设定预警参数。预警信息分为:
基本指标平均水平预警;
典型案例中相关指标显示情况预警;
专家综合评价预警(专业人才培养定位与结果的契合度评价、课程教学内涵水平评价);
社会评价相关指标预警;
形成院校专业建设总体水平评价报告及整改建议;
预警机制的建立,便于院校进行自我诊断性评价,以及作为跟踪评价的依据,并为建立基于海量数据采集的高等中医药教育质量状态数据常模提供了前期研究基础。
5、完成多轮次效性实践检验
2008年底课题组参与教育部高等教育教学评估中心专业状态数据填报试点工作,对部分关键采集项目采用进校实证的方法进行验证修改。同时将安徽中医学院和上海中医药大学分别作为教学型(面向基层人才培养类)、研究教学型(传承创新人才培养类)标杆院校并采用进校实证考察的方法,对指标体系进行验证完善,已扩展完成7所中医药院校的采集分析。
同时,通过全程参与其它3所院校的专业认证信息采集和实地考察工作,并组织专家在定性与定量分析的基础上,形成院校专业教育质量测试分析报告,同时对信息采集和预警参数的效度、信度进行了校正。
6、形成决策建议等各类研究报告
近两万字的《中医药教育人才培养和质量保障的对策建议》,就中医药发展前景、影响中医药发展因素、中医药人才个性化培养理念、创新中医药人才培养模式、全面提高学生素质等问题并提出了针对性和建设性建议。
同时完成了:
《中医学本科教育基本要求研究报告》
《高等中医药教育信息采集指标体系说明》
《高等中医药教育质量预警标准说明》
《教学质量数据采集系统-用户手册》。