通过审查现有指南,确定并系统报告了评估治疗性医疗器械的原始研究建议
摘要
目标 :本研究的目的是回顾有关治疗性医疗器械(TMDs)原始研究的设计、实施、分析和报告,以及与之密切相关的介入性操作领域的现有建议。
研究设计与环境 :我们对包含治疗性医疗设备及相关技术的原始研究在研究设计、实施、分析和报告方面的建议的文献进行了针对性文献综述。我们结合电子数据库检索、对选定期刊目录的系统筛选以及相关文章参考文献列表的查阅,开展本次研究。
结果 :我们确定了主要由监管机构、卫生技术评估机构和专家小组撰写或委托撰写的40份出版物。我们确定了随机临床试验的研究设计,这些设计特别针对治疗性医疗设备(TMDs)的快速渐进式开发以及医务人员和患者偏好。在选择患者、医务人员和中心以及数据收集和分析过程中,应考虑情境因素对牙颌面疾病干预的重要性。我们还确定了关于学习曲线的分析与量化,以及高质量大型登记系统的设计与分析的指南。
结论 :应传播用于开展治疗性医疗设备原始研究的方法学,以支持卫生技术评估的证据基础的改进。 2017爱思唯尔公司。保留所有权利。
关键词 :医疗器械;植入物;比较效果;卫生技术评估;研究设计;建议
1. 引言
开展治疗性医疗设备(TMD)比较效果(CE)的系统评价作为卫生技术评估(HTA)的一部分,其基本前提在于理解用于评估TMDs的原始研究的设计、实施、分析和报告。在原始研究中对TMD进行评估面临多项挑战,包括具有短生命周期的TMDs的渐进式发展,可能导致试验中的器械修改,并且在观察性研究( OSs)中可能难以追踪。此外,物理作用机制可能阻碍治疗组的盲法、医务人员和患者偏好可能阻碍各研究组受试者招募的均衡性和操作熟练度,且许多治疗性医疗设备(TMDs),尤其是植入物,通常嵌入在更复杂的干预措施或照护体系中[1 e4]。最后,针对植入物的高侵入性操作不仅包括治疗性医疗设备失效的风险,还包括外科手术带来的并发症风险。这些因素为将结局与干预措施的具体要素和特性相关联带来了挑战。
还应考虑个人和机构学习等情境因素,以准确量化效应并确保研究结果得到适当实施[1 e4]。用于评估长期有效性和安全性(例如基于登记的研究)的观察性研究设计发挥着更为重要的作用,因此需要更 sophisticated 的分析方法来调整数据,以校正潜在的偏倚。
2. 方法
我们的工作包括以下步骤:(1)针对原始研究中评估治疗性医疗设备及相关技术的方法进行针对性文献检索;(2)提取现有针对治疗性医疗设备及其相关技术的原始研究设计、实施和分析的建议;(3)从具有对治疗性医疗设备重要属性的原始研究报告指南中提取通用建议; (4)对文献中的建议进行叙述性综合。
2.1. 检索策略
本文系列的第一部分详细描述了我们的检索策略[5]。简而言之,我们结合了多种检索方法,包括针对性文献检索,该检索结合了电子数据库检索、目录筛选以及选定期刊的高级检索功能(见附录A图)。我们检索了美国食品药品监督管理局(FDA)官网、系统评价与传播中心的卫生技术评估数据库、国际药物经济学与结果研究学会有关TMDs特别关注的方法学指南出版物,以及提高健康研究质量与透明度网络的官网。此外,我们筛查了所获取的关键文章的参考文献,并邀请了三位领域专家协助补充检索。检索最初于2013年7月实施,并于2014年4月更新。我们还考虑了来自两个欧盟项目中关于欧洲和非欧洲卫生技术评估机构指南针对医疗器械(MDs)的系统文献检索结果,这些信息是在与同事个人沟通后纳入的。目前,这些结果已发表[6,7](见附录A表1)。
2.2. 纳入和排除标准及文献筛选
我们纳入了针对治疗性医疗设备或外科手术临床有效性评价的实验性和观察性原始研究的设计、实施、分析和报告的方法学文献。同时,我们也纳入了非药物干预措施的报告指南以及重点关注治疗性医疗设备重要属性(如干预措施的描述)的报告指南。若文献未满足上述任一条件,或所评估的研究为远程医疗,则被排除在本次综述之外。所有经一名评审人员在标题/摘要筛选后纳入的文献均被获取并进行全文筛选。随后,至少两名评审人员(A.C.‐F.、T.H.、M.A. 和 P.S.‐I.)共同阅读这些文献,并根据所列标准共同决定其是否纳入或排除(详见附录A表2)。
2.3. 文件提取
对于每篇纳入的文献,我们以表格形式提取了以下相关信息:第一作者和出版年份、作者单位及资助情况、利益冲突、单位/机构所在国家、相关主题和方法的简要描述以及类型
的文档类型(即专家共识文件、美国食品药品监督管理局指南文件、美国食品药品监督管理局员工发表的期刊文章、卫生技术评估报告、基于卫生技术评估报告的期刊文章),以及研究类型的资料(例如叙述性概述、系统评价、某项研究的期刊文章)。当作者报告了某一主题的若干问题,但未以系统文献综述作为文本基础时,我们将该文档视为“叙述性概述”;而“系统评价”则进行了正式的系统文献综述(附录B表格)。
对于包含建议的纳入文献,我们提取了以下特征:主题、子主题、建议、建议所针对的技术类型以及参考文献。我们将主题信息按研究设计或实施和数据分析的类别进行排序。在研究设计中,我们采用人群干预比较结果框架作为子类别,并增加了情境因素。我们将专门针对随机实验性设计或观察性设计的主题分开,并来自不同来源但指南相似的建议归入同一条建议(附录 C表)。
为了提供有关治疗性医疗设备的不同实验性研究设计及其优点和缺点的概述,我们修改并调整了 Bernard等人提供的表格。[8]同时还参考了荷兰皇家艺术与科学学院(KNAW)报告中附录IV的信息[9](见附录D表格)。
2.4. 信息的综合
在叙述性综合中,我们总结了文献中关于文件类型及其建议内容的描述附录B。这些建议被细分为七个部分,包括“研究设计选择”、“一般研究设计和分析问题”、“考虑情境因素和学习曲线”、“评价临床有效性的随机对照试验设计与分析的特定问题”、“用于长期评价治疗性医疗设备的观察性研究设计和分析”、 “研究报告”以及“其他主题”。我们通过相应文件中提供的背景信息和原理对文本进行了补充。对于一项关于非劣效性设计的建议,我们还引用了提取该建议的文件中所提供的参考文献。我们将附录D表格中关于随机对照试验(RCT)研究设计的内容整合到了“评价临床有效性的随机对照试验设计与分析的特定问题”部分中。
3. 结果
3.1. 文献筛选与提取
在完成目录筛选后,文献检索共获得1,982篇参考文献,并对其标题和摘要进行了筛选。排除1,556篇参考文献后,我们阅读了426篇全文文章。最终,40篇文章符合我们预先设定的纳入标准,并被纳入证据综合(见附录A表3)。
3.2. 关于评估治疗性医疗设备临床有效性和安全性的原始研究的建议
在纳入的40篇包含有关TMDs、外科手术、非药物治疗或快速变化的技术的原始研究的设计、实施、分析或报告建议的文献中,我们确定了两份美国食品药品监督管理局指南文件[10,11],七篇由美国食品药品监督管理局员工发表的同行评审文章[12e18],九份专家共识文件[19e26], 12来自卫生技术评估机构、公共研究机构或受其委托撰写的报告[8,27e37],以及10篇由学术界人士在同行评审期刊上发表的文章[38e47]。24份文件贡献了不止一条建议;因此,102条建议共有163次引用。约三分之一的引用由美国食品药品监督管理局或其员工撰写,38%来自专家共识文件,17%由卫生技术评估机构或受卫生技术评估机构或公共研究机构委托的作者撰写,其余12%由学术界人士撰写(见表1)。
3.2.1. 包含的文档类型
文件的特征在附录B表格中进行了描述。美国食品药品监督管理局(FDA)的两份指导文件[10,11],为行业、临床研究人员、机构审查委员会以及FDA工作人员提供了关于治疗性医疗设备(TMDs)试验设计和医疗器械(MDs)贝叶斯方法的建议。然而,这些建议的生成方式——即是否基于系统评价或指南开发方法——并未被描述。所有FDA文件均经过公众咨询流程,并代表了FDA对相关指南主题的看法,但不具有约束力。
我们对美国食品药品监督管理局(FDA)员工发表的七篇文献进行了特征分析[12e18],这些文献均为叙述性概述(即未提及或引用系统性文献综述);然而,这些报告通常基于FDA的经验和需求。这些出版物包括一份用于评估治疗性医疗设备(TMDs)的框架[16]以及关于研究设计和统计分析方面药物与治疗性医疗设备(TMDs)评估之间的比较[13]。其余五篇文章则聚焦于更具体的设计和统计问题,例如贝叶斯方法[12],分析治疗性医疗设备(TMDs)报告的统计方法[14],非随机研究[15],缺失数据处理[17],以及使用倾向评分分析的观察性研究[18]。
九份文件由通过某种共识过程组建的专家小组编写 [9,19e26]。其中五项研究由IDEAL小组或其前身发布 [20,22,23,25,26]。未描述实施共识研讨会所采用的操作过程
以及会议情况,是否进行了文献综述,或采用何种方法达成共识。一篇文章报告了一项关于专家偏倚的调查,并总结了外科手术干预措施的随机对照试验中的问题 [21]。另外两份文件是对非药物治疗CONSORT报告指南的扩展[19]以及干预描述与复制模板检查表[24],,后者是CONSORT的进一步扩展。这两项指南均报告了其开发方法(见附录B表格)。荷兰皇家艺术与科学学院关于医疗器械评估的报告由KNAW任命的10位学术界人士组成的委员会编写[9]。报告中提到了会议、文献综述和利益相关方参与等方法,但未详细描述。
八篇出版物由卫生技术评估机构或受卫生技术评估机构委托的作者撰写[8,27,31e33,35e37]。美国医疗保健研究与质量局发布的患者登记系统用户指南[27],包含一章关于医疗器械患者登记系统的建议;然而,该文件没有方法部分来说明指南内容的制定过程。英国国家卫生与临床优化研究所发表的另外两篇出版物[31,32]简要描述了在建立医疗器械和操作过程登记系统方面的国际协作活动[31]以及针对上市后评价中数据收集不足的障碍与解决方案的概述[32]。这两篇文章均未报告系统性文献综述。法国卫生管理局(HAS)发布的一项卫生技术评估报告对治疗性医疗设备的研究设计进行了系统性综述e。由此项卫生技术评估衍生的一篇同行评审期刊文章提供了检索策略和文献筛选的信息,但未描述从纳入文献中提取和综合数据的方法[8]。一项由国家卫生与临床优化研究所委托的卫生技术评估报告探讨了卫生技术学习曲线的统计评估[36],其中包含了两项系统评价
识别统计方法并采用三个测试数据集来说明和探讨其中一些统计方法。本卫生技术评估(HTA)的方法学得到了全面报告,并基于该HTA发表了两篇期刊文章[35,37]。由法国国家健康与医学研究院(institut national de la santé et de la recherche médicale)资助的四项系统评价,分别研究了在非药物试验中对实施者和中心效应的考虑[28],、盲法的报告与实现情况[29,30],,以及贝叶斯统计在可植入治疗性医疗器械(TMDs)评估中的应用 [34]。这些研究报道的系统评价方法被认为是适当的。
在学术机构发表的10篇文献中[38e47],一项研究对多中心登记数据进行了分析,以确定药物洗脱支架的使用频率、安全性和有效性[38],一项开展了利用登记数据监测故障率的模拟研究[41],另一项对是否可利用现有临床数据库开展严格的非随机研究进行了可行性研究[42],还有一项对利用临床登记数据进行自动化安全监测的可行性进行了研究[45]一项系统评价量化了在基于医院的卫生技术评估背景下,创新性治疗性医疗设备的证据水平[39]其余五篇文献提供了关于学习曲线效应、追踪试验、治疗性医疗设备上市后评价中的安全性问题、与植入相关的试验质量的叙述性概述[40], trackertrials[43],以及一篇讨论将唯一设备标识系统整合到电子健康记录中的优点的“观点”文章[44],和一篇‘‘viewpoint’’文章,讨论了将唯一设备标识系统整合到电子健康记录中的优点[46],.[47]。
仅根据文件中包含的信息,我们将大部分建议归类为基于专家意见。在我们的调查中,有10份文件 [8,28e30,33e37,39]进行了系统性文献综述,这至少部分地为支持其建议提供了证据基础。例如,关于收集和分析学习曲线的八项建议(r)(即r25e27, r60, r75, r78,
表1. 提取的建议的数量、作者类别及主题概述
| 文本部分主题 | 建议 (附录C表) | 数量 | 引用次数a | 不同作者的引用次数及百分比 | 按不同主题划分的小组 |
|---|---|---|---|---|---|
| FDA | FDA‐employee | ||||
| 研究设计选择 | 1e7 | 16 | 2(12) | 1(6) | 7(44) |
| 一般设计和分析问题 | 1,5,8e21,33e42,70e74 | 38 | 4(11) | 15(39) | 13(34) |
| 考虑情境因素和学习曲线 | 22e32, 68, 75e82 | 39 | 4(10) | 11(28) | 8(21) |
| 随机对照试验设计与分析 | 43e48 | 12 | 0 | 4(33) | 7(58) |
| 长期评估的总体生存设计与分析 评估 | 3,49e67,69,83e91 | 40 | 0 | 12(30) | 11(27) |
| 研究报告 | 92e100 | 14 | 0 | 0 | 13(93) |
| 其他主题 | 101,102 | 4 | 0 | 0 | 4(100) |
| 总计 | 102 | 163(100) | 10(6) | 43(26) | 63(39) |
Acad,学术机构;FDA,美国食品药品监督管理局;HTA,卫生技术评估;OS,观察性研究;RCT,随机对照试验。a不重复建议。
和r80e81)得到了对现有方法的系统性识别以及三项应用了这些已识别方法的案例研究的支持。r75,“应计划、分析并报告中心和提供者效应”。”也得到了 Biau 等人[28]进行的系统评价的支持。该研究表明,此类分析很少被实施;然而,Biau 等人并未提供证据证明此类分析在目标环境中是否偏倚更小和/或更具适用性。另一项系统评价[30]表明,在非药物试验中实现并维持盲法更为困难,这促使提出了 r48:“应考虑非药物试验中的偏倚可能性。” r47,“应使用稳健的分配方法”,得到了一项关于非药物试验的系统评价的支持 [29],该评价识别并分类了不同的设盲方法,表明在实践中已尝试了一些对患者、医务人员和结果评估者设盲的解决方案。四项出版物[38,41,42,45]为 r57e58、 r74 和 r89 提供了证据。这些可归类为可行性研究,旨在证明来自临床数据库或注册登记的数据可为治疗性医疗设备的安全性和 CE 评估提供有价值的贡献。总体而言,102 项建议中的 17 项(r8、r19、r25e27、 r47e48、r57e58、r60、r74e75、r78、r80e81、 r89 和 r100)得到了前述证据基础的支持。
我们将提取的文本整理为102条建议(见附录C表)。其中7条建议提供了关于合适研究设计选择的指南,35条涉及一般设计问题,包括3条关于统计方法和内部有效性的建议,8条关于研究人群,16条关于干预措施,1条关于对照,7条关于结局。另有6条建议涉及随机对照试验设计,21条涉及非随机研究的设计,其中包括14条关于基于登记系统的试验设计的建议。我们识别出13条关于随机对照试验或一般情况下的数据分析的建议,其中包括8条关于学习曲线方法的建议。另有9条建议涉及非随机研究的分析,9条涉及研究报告,1条关于减少研究浪费和发表偏倚,1条关于建立研究登记系统的必要性)。表1显示了各文本部分所涵盖的建议。我们增加了一个表格,列出了适用于TMD研究的各种随机对照试验设计的特征、优点和缺点(见方法),该表格属于附录D表格中“用于评估临床有效性的随机对照试验设计与分析的具体问题”部分。下文中的编号建议r1至r102均参考附录C表。
3.2.2. 研究设计选择
在大多数情况下,研究设计选择取决于技术的发展阶段。IDEAL 协作组织已开发出一个外科创新评估框架,该框架在大多数方面适用于治疗性医疗设备 [20,22,23,25,26]。IDEAL
该框架定义了发展阶段(即概念、开发、探索、评估和长期随访),并针对每个阶段的具体设计提供了研究实施的建议。对于治疗性医疗设备的成本效果分析和卫生技术评估,评估的重点通常位于“评估”阶段(第3阶段)和“长期随访”阶段(第4阶段)。关于市场准入的监管决策(如美国食品药品监督管理局)属于评估阶段,而上市后安全性监测(同样是美国食品药品监督管理局的任务)则属于长期随访阶段。
对于医疗器械有效性和疗效的评估,多中心随机对照试验(RCT)是美国食品药品监督管理局、法国卫生管理局和IDEAL框架推荐的标准研究设计(r1, r5),因为它们能通过减少选择偏倚以及已知和未知混杂因素提供最佳的偏倚控制手段[8,11,20,33]。荷兰皇家艺术与科学学院还认为大规模、长期的实用性或疗效性随机试验是理想的设计,但指出对于治疗性医疗设备而言,可能存在更大的方法学挑战,有时甚至可能影响随机分配的可行性(r2)[9]。
人们普遍认为,有必要开展严格的大型观察性研究,以在临床实践中对疗效尤其是TMD的安全性进行长期评估,特别是针对植入物。建议建立高质量的基于疾病或基于医疗器械的国家级和国际级患者登记系统(r3)。登记系统所拥有的丰富常规实践数据池可为长期结局的大型观察性研究奠定基础[20]。登记研究结果的外部有效性及其对常规护理环境的适用性是其主要优点,但也需认识到其在内部有效性方面的所有缺点(参见“用于长期评价TMD的观察性研究设计和分析”部分)。
在IDEAL框架中,前瞻性协作研究也可以为随机对照试验的准备提供参考(r4)[22,25]。Rao等人建议采用从上市前随机对照试验到上市后登记系统的连续研究设计,以收集治疗性医疗设备在心血管疾病中的安全性数据(r6)[44]。IDEAL小组和Lilford等人(r7) [23,43]建议不要因为治疗性医疗设备频繁变更而推迟随机对照试验的实施,而应开展追踪试验(参见“用于评估临床有效性的随机对照试验设计与分析的具体问题”部分)。
3.2.3. 一般设计和分析问题
以下建议涉及与随机对照试验和前瞻性观察性研究相关的研究设计和分析的一般性问题。
治疗性医疗设备的渐进式发展对确定评估的最佳起点以及试验结果的适用性提出了挑战。建议对医疗器械的试验设计和分析采用贝叶斯方法(r8, r9)[10,12,16,34],因为“贝叶斯统计是一种随着证据积累而进行学习的方法” [10]。治疗性医疗设备以小步幅进行的渐进式发展通常可以提供有关该治疗性医疗设备先前版本的信息。
这些信息可作为新试验设计、分析和解释的依据(即先验信息)。贝叶斯方法(r9)和适应性试验(r9, r18)也推荐用于长期随访研究,因为它们可以在所有患者完成随访之前进行评估,从而缩短试验周期并减少样本量 [12,16]。侵入性治疗性医疗设备干预的目标人群可能较小,因此研究人群也相应较小。多中心试验有助于克服样本量限制(r1, r5)[8,11,20,33]。为确保研究结果在临床实践中的适用性,研究应在与实际临床实践中相同患者、相同临床背景和相同适应证的情况下对治疗性医疗设备进行评估(r13, r11)[9,44]。应采用广泛的患者纳入标准,以减少试验间的差异并实现受试者招募目标(r12)[20]。连续患者招募(“全来者”研究)将增强研究结果的普遍性,同时促进纳入具有不同经验和培训背景的操作者(r13, 14)[9,16]以及所有中心( r30)[15,16]。颞下颌关节紊乱病干预的复杂性要求对干预措施进行精确定义(r19)[20,28],并且在研究过程中对医疗器械所做的修改也可能影响结果的适用性。
一项建议是定义在器械修改情况下仍能保持研究有效性的医疗器械特征(r20)[16]。在任何情况下,所有修改均应被记录,“数据的可合并性”应由临床专家评估,并且体外台架测试数据及修改版本的数据应在研究分析中通过统计检验或作为统计模型的组成部分予以考虑 (r21 和 r73)[16]。为控制干预的质量和一致性,应记录质量的客观衡量指标和操作者决策指标(r34)[20]。
新型治疗性医疗设备干预应在目标人群中与当前标准治疗进行比较(r35)[9,11],并且应开展初步工作,以在专家群体中就治疗效果的不确定性达成共识,或选择基于专长的试验设计以克服操作者偏好(r33)[20]。
关于结局指标的选择,建议测量与患者和医疗专业人员相关的多种结局指标(r36e38)[9,16,22,23]。应使用标准化术语和结局定义(r39)[22,23],,并采用独立评估者、临床事件委员会和核心实验室(r41, 42) [11,16,29,30]。所有重要临床结局均应记录和报告,即使研究统计效能不足,这也将增加对小型研究进行荟萃分析的可能性,以应对统计不确定性(r40)[16]。
关于研究设计的内部有效性和统计不确定性的已确定建议是以一般性术语提供的。原始研究应被设计和实施以产生有效的结果,即最大限度地降低偏倚风险(r10)[9]。患者特征的不平衡情况应予以记录( r16)[16],并且研究应具有足够的样本量以获得精确的效应估计(r17) [9]。一项针对TMD的具体建议是通过第三方招募参与者,以克服操作者偏好的影响(r15)[20,25]。关于研究分析,Sedrakyan 等人建议根据治疗转换的原因讨论意向性治疗与按方案分析的适用性(r70[16];另见“用于评估临床有效性的随机对照试验设计与分析的具体问题”部分中的r43[16])[13]。G. Campbell 建议对重复测量采用适当的统计方法,如重复测量分析和纵向分析(r72)[17]。所纳入的研究还涉及另外两个问题:缺失数据的分析(r71)以及长期结局生存模型中函数的选择(r74)[41]。例如,为处理缺失数据,建议进行临界点分析(r71)[17]。
3.2.4. 考虑情境因素和学习曲线
评估治疗性医疗设备(TMD)的一个主要问题是其有效性依赖于TMD使用的具体情境,例如操作者、操作过程、干预环境以及患者的相关特征。研究应考虑随着时间推移,这些情境因素可能发生改变,从而影响TMD的有效性。随着时间推移而表现出的表现提升称为学习曲线[48],,这表明操作者、操作团队或机构在使用TMD过程中积累了经验,从而获得更好的结局。随着病例数量增加而带来的表现提升称为病例数量—结局关系[16]。
关于原始研究的最普遍建议是详细收集和报告情境因素,以便后续解释和分析这些因素对TMD有效性的影响(即效应修饰)(r22)[11,23,40]。应收集、分析并报告所有可能产生学习曲线效应的因素数据(r25)[35,36,40], (r75)[11,13,19,28,40],和(r76)[11,13,16,22,25,35]。所纳入的指导文件建议考虑与数量‐结局关系相关的三个组成部分:操作者的终身经验(操作者总数量)、操作者的年度数量以及操作者执业医院的数量(r26)[16,22,25,36],并使用适当的统计方法 (r77)[16,22,25]。
学习效应的一个重要区别在于个人与机构层面的学习[40],,在评估学习效应时应同时考虑这两个方面。库克等人[40]提出了一个整合了影响学习的各种因素的框架,并强调了这些因素的层次结构:第一个层次是临床社区,它为TMD的应用提供指南和规程;其次,机构可针对新技术调整其组织路径和设施,从而影响外科医生的学习曲线。此外,
手术团队中个人的经验和类型会影响治疗医学设备的表现。病例组合水平反映出经验更丰富的外科医生可能更常遇到结局较差的复杂病例,这会导致(未经调整的)表现看起来更差。最后,外科医生的能力、态度和技能决定了他们各自的学习曲线。
通常有两种推荐的方法来处理学习曲线:标准化 baseline 条件(r31e32),[13,16]或者在纳入标准中允许存在差异,以捕捉现有变异情况(r23e24, r29), [11,16],以及(r30)[15,16],这也允许对学习曲线效应进行量化(r31)[13,16],(r28)[15]。学习曲线的斜率由操作过程的复杂性和对外科医生提供的培训决定 [36]。因此,随机对照试验中的培训项目应进行标准化,以保持可比性。为了在随机对照试验设计中反映学习曲线效应,一种建议是在研究开始前为操作者设定一定的熟练水平,确保学习过程发生在研究之外(r31)[13,16]。
采用这种方法时,仅由高手术量中心的技术熟练的操作者执行该操作过程。这可以提供关于颞下颌关节紊乱病(TMD)有效性的更可靠结果;然而,这种情况通常与临床实践中的实际情况不符。对于有效性评估,研究者的技能和培训情况通常应反映在日常医疗环境中最有可能使用该器械的人员的水平(r29)[11,16]。美国食品药品监督管理局也建议在关键性研究中采用此方法[11]。
正式评估学习效应的方法可以是探索性的,例如将数据按不同经验水平分层、使用表格或图表进行描述性展示、对结局与经验变量进行单变量趋势线和曲线拟合,或累积和法 [35]。此外还有更复杂的方法,例如,分析人员可使用简单序列数据的技术(如方差分析和逻辑回归)、复杂结构化数据的技术(如多层次模型)以及通用技术(如一般线性模型)(r81)[37]。应考虑学习因素的层次结构(r78)[36],并应对进一步的混杂协变量进行调整(r80)[36,37,40](例如,采用贝叶斯层次建模(r79)[40])。然而,通常在各个经验水平上的操作者数量均不足(即在试验期间执行了10次或以上操作过程的10名或以上操作者 [r82]),难以检测各分层中的治疗差异 [40]。
3.2.5. 评价临床有效性的随机对照试验设计与分析的具体问题
尽管在许多情况下,对于非药物干预措施而言,开展标准的大型多中心双盲安慰剂对照随机对照试验可能具有挑战性,但其中一些问题并非治疗性医疗设备所独有和/或可以通过改良研究设计和分析方法加以克服。法国卫生管理局的报告[33]、伯纳德基于该报告发表的同行评审文章2014[8],以及荷兰皇家艺术与科学学院的报告[9],审查了实验性和观察性研究设计在医学设备评估中的适用性,并列出了各自的优缺点。附录D表格概述了不同的随机实验设计和适应性方法,这些方法可应对颞下颌关节紊乱病(TMD)评估中的典型挑战。
治疗性医疗设备试验中可能出现若干挑战,尤其是在典型的双臂随机对照试验中。例如,对照的选择应基于目标人群的当前标准治疗(r35)[9,11];因此,使用活性对照可能是合适的。这些研究通常设计为非劣效性研究。已有不针对治疗性医疗设备的分析[49 51], [52,53] [50] e和报告指南,其中非劣效性界值的选择尤为关键。此外,还需考虑新型治疗性医疗设备相较于假干预或无效对照具有优越性( r46)[13];然而,在治疗性医疗设备试验中,随机对照试验中通常使用的安慰剂/假手术组可能并不总是可行或符合伦理。
建议采用稳健的分配隐藏方法(r47)[16],但在某些情况下,由于治疗性医疗器械的设计或所选对照(例如,治疗性医疗器械与药物相比)无法实现有效盲法。应考虑偏倚的程度及其是否可间接评估(r48)[13](另见第“一般设计和分析问题”部分的r41和r42)。此外,特别是对于植入物研究,应仔细评估随机化的时间以及向其他治疗组交叉的可能性,并应在所有情况下讨论进行意向性治疗分析以避免偏倚的相关性(r43) [16]。与药物试验不同,交叉可能并非由于副作用引起,而是由于在治疗性医疗器械适配过程中出现的解剖或病理发现所致。
已开发出特殊的研究设计,以应对外科医生或患者的偏好以及渐进式开发的问题。例如,研究者(即外科医生)和患者的强烈治疗偏好应被考虑和探讨(r45) [20],因为这些偏好可能给研究实施带来挑战,例如参与犹豫以及在不同治疗组之间交叉[20,23]。在外科手术方法的选择上,外科医生可能更倾向于他们更熟悉的 方法。基于专长的随机化已被提出作为解决方案(r44) [20,21,23,46,54], ,即患者不是被随机分配到某种干预措施,而是被随机分配给擅长其中一种干预措施的研究者。每位研究者仅执行其具有专长的干预措施[21,23]。
患者自身的偏好或其对被随机分配到侵入性不同的操作过程的犹豫也可能构成挑战。为了减少患者的拒绝,齐伦设计通过随机化患者,仅向被随机分配到新治疗方法的患者征求知情同意[55,56]。
为应对治疗性医疗设备(TMDs)和操作过程快速发展所带来的挑战,美国食品药品监督管理局(FDA)认为采用贝叶斯方法的试验设计是合适的,也被其他人推荐[10,34,43](另见 r8 和 r9)。贝叶斯方法在随机对照试验中的优点包括利用先验信息实现样本量减少和适应性试验设计,对试验进行中期调整更具灵活性,可能在处理多重性和缺失数据方面具有优势,以及提供统计分析的方法。挑战包括试验的预先规划需求广泛,模型构建需要大量的统计和计算专业技能,关于先验信息和治疗医学设备标记的选择,以及增加错误和误解的可能性[10]。适应性研究设计(另见 r18)允许在整个试验过程中根据收集到的治疗医学设备表现的额外信息,对样本量或随机化比例进行调整。原则上,这些研究设计可通过频率学派和贝叶斯统计方法实现 [8,10,12,33]。
追踪试验提供了跟踪治疗性医疗设备(TMD)随时间变化的机会(r7),并允许各阶段比较[23,43,57]。理论上,追踪试验“由一系列针对新技术类型各种实例与标准治疗的随机比较组成”[43]。在这些随机比较中,新治疗方法的比较基于观察性基础进行,这可能导致实验亚组的修改。任何时间都可以纳入被认为合适的替代新治疗方法,或移除使用过时治疗方法的试验组。数据监查和伦理委员会确保更优治疗的采用、早期发现表现不佳的治疗医学设备,以及评估试验信息对后续发展的影响。追踪试验不遵循预设的样本量或研究持续时间,需要频繁进行中期分析[43]。由于追踪试验的实施和(贝叶斯)分析相当复杂,它们比传统随机对照试验要求更高,因而尚未被广泛使用[2]。
3.2.6. 颞下颌关节紊乱病(TMD)长期评估的观察性研究设计与分析
一些建议(r51e52)[22] speci fi 重点关注主要用于为后续确证性随机对照试验评价提供信息的观察性研究。这些观察性研究应探索重要的患者风险因素和干预措施的变异;对于非对照研究,纳入患者应基于疾病或诊断,而不仅基于操作程序,以避免既往治疗的混杂效应(r50)[15]。其他建议涉及一般性提高观察性研究内部有效性的措施,例如前瞻性设计、预发表的研究方案、连续病例的招募(r49) [22,25,26], 、变量的标准化定义以及统一设备标识符 (r54)[16]。此外,建议还包括预先规定潜在混杂协变量(r50)[15],和(r53)[22]。
大多数建议涉及用于临床有效性长期评估和安全性监测的登记系统(r56e69)(参见 r3)。针对操作过程的登记系统治疗性医疗设备可以提供真实世界使用数据(r3) [9,16,20,32,39],,包括超说明书使用和未经测试的使用( r57)[22], ,并补充通常较为有限的研究文献。随着治疗性医疗设备的渐进式发展,研究者通常假设不同经皮微创装置变体或经皮微创装置代际之间具有可比性(实质等效性);然而,在大多数情况下,这种可比性尚未通过实证证实。在基于疾病的登记系统中,除了分析登记数据外,还可开展实用性随机对照试验和嵌套观察性研究(r3)[9,16,20,32,39]。
登记系统还可为感兴趣亚组或经皮微创装置变体(例如,相似治疗性医疗设备的小组)的结局以及罕见终点[20], 提供数据,并捕捉不同医疗机构和医务人员及其相应学习曲线的影响(r60)[31,36,44]。此外,登记系统可揭示安全问题(r3, r56)[9,13,16,22,32,39],并可与其他数据来源链接以避免失访(r66)[32]。最后,它们可用于自动化前瞻性监测,以识别低频安全信号(r58)[45]。
登记系统可以在不同级别(例如区域级、国家级和国际级)实施,且需要多种医疗机构的参与(r61) [31,44]。国际登记系统的一个优势是能够在短时间内检测到不良事件(r62)[31]。登记数据需要具备兼容性,因此必须对术语进行标准化,以准确定义和描述技术和结局(r64)[20,25,26]。数据需提供足够的细节,例如用于识别确切的TMD类型(r67)[27,44]。关于已上市TMDs的新信息来源是美国食品药品监督管理局引入的唯一设备标识符(UDI),在 2013[47,58]。建议采用标准最小数据集,以支持强大的登记系统设计,并促进与其他数据源的数据链接(r63)[27,31]。影响登记系统质量的关键问题包括随访方式、数据收集的完整性和准确性(r65)[13,20,27,32]。必须进行持续的质量控制(r69)[31]。
以下几种偏倚类型通常与登记研究相关,应予以考虑。当轻度、中度和重度疾病阶段存在不同治疗选择时,适应症混杂尤为相关[11]。一种信息偏倚,称为领先时间偏倚,特见于观察性研究和登记系统,尤其在干预措施无明确起始时间点的情况下。如果治疗决策与实际植入之间的时间未被记录,且不同干预措施之间的该时间段存在差异,则可能导致结果扭曲[20]。此外,若在治疗决策后未记录植入的经皮微创装置类型的变化,可能因信息缺失而产生偏倚,导致治疗效应被错误归因于器械类型[20]。
在建议(r84) [15,16], (r85) [15],和(r87) [15]中强调了对观察性和注册数据进行适当混杂因素调整的必要性。稳健应使用统计方法,所选方法及其假设应予以论证,并列出其优点和缺点。在观察性研究中减少混杂因素的传统方法包括对治疗组和对照组在每个已知协变量上进行匹配、根据这些变量进行分层以及回归分析(r85)[15]。最近开发的用于调整混杂的方法,例如倾向评分匹配、工具变量以及适用于时间依赖性混杂的因果方法(如边际结构模型),已在三份国际药物经济学与结果研究学会回顾性数据库分析良好实践指南中进行了总结[59e61];然而,这些方法并非专门为治疗性医疗设备设计。其中,仅倾向评分在TMD文献中有讨论(r85e87)[15,18]。建议在观察性TMD研究中使用倾向评分,但其无法调整时间依赖性或残余混杂因素。三项建议(r88)[41],(r90)[47],和(r91)[13,14]涉及上市后安全性监测,其中一项建议是利用累积和法的变体持续监测登记数据中的长期结局(如髋关节假体失败率)(r88)[41]。另一项建议是将唯一设备标识(UDI)整合到电子健康记录等数字健康基础设施中,以更好地监测医疗器械的表现和患者安全(r90)[47]。此外,针对不良事件趋势的探索性分析,建议采用特定统计模型来处理上市后治疗性医疗器械报告中的信息,尤其是在缺乏分母数据(所有使用的医疗器械)的情况下(r91)[13,14]。一项研究表明,利用现有的高质量临床数据库开展严谨的观察性研究是可行的,但由于存在未测量的混杂因素,仍建议进一步研究估计治疗效应的可靠性(r89)[42]。
3.2.7. 研究报告
细致报告TMD研究非常重要,因为这些研究涉及各种不同的组成部分和操作,以及效应修饰的情境因素。只有在已发表的试验中报告了详细信息,才能评估其在不同人群和环境中的适用性,其中医务人员及机构可能具有不同的培训水平和经验。我们确定了四项关于外科手术或TMDs具体报告指南的建议(r92)[19,20,24], (r95) [20], (r96) [19,20,24],和(r100) [39]。这些建议强调应报告以下内容:应描述干预措施关键要素的原理(r92)[19,20,24],;干预措施描述的详细程度取决于比较的类型(r95)[20],;医务人员的专业技能和培训情况,以及其偏好和患者偏好(r96)[19,20,24],;以及是否存在学习曲线(r100)[39]。我们还从两个相关的随机对照试验报告指南中增加了五项额外建议(r93) [19,24], (r94) [19],和(r97‐r99) [19,24]。
CONSORT小组发布了《非药物治疗试验报告扩展版》,其中包含一个用于报告各类非药物干预随机对照试验的检查表,不仅限于治疗性医疗设备[19,62]。该工具还参考了先前已有的非药物试验报告评估10项检查表(CLEAR NPT [63])。此外,《干预描述与复制模板检查表》 [24]侧重于干预措施的报告细节,应与CONSORT声明结合使用。这些额外建议要求描述多项研究属性,包括干预实施或培训中使用的所有操作过程、活动和流程(r93)[19,24], 、干预措施的个体化或标准化情况(r94)[19],、医务人员、中心和患者数量(r97) [19],、更广泛的背景以及干预措施的具体基础设施(r98)、研究过程中发生的变更或修改(r99)[24]。
3.2.8. 其他主题
IDEAL 协作组织建议发表概念和发展阶段研究的结果,以减少研究浪费和发表偏倚(r101)[25,26],并建议强制注册所有首次人体干预措施,以报告成功和不成功的创新(r102)[25,26]。
4. 讨论
我们通过针对性文献检索,整理了关于TMD疗效和安全性原始研究的设计、实施、分析和报告的指南与建议。所纳入的建议来自美国食品药品监督管理局( FDA)或其员工、卫生技术评估机构、公共研究机构、科学专家组以及学术界人士。对于市场准入和报销决策,首选研究设计为随机对照试验(RCT),而长期评估则推荐基于高质量登记系统的观察性研究(OS)。
我们整合了另外两项关于实验性研究设计及其方法学优缺点的概述研究成果。随机对照试验研究设计可用于专门应对治疗性医疗设备的快速渐进式发展以及医务人员和患者偏好。在数据收集和分析中,应通过选择患者、医务人员和中心来考虑情境因素对牙颌面疾病干预的重要性。我们还总结了关于学习曲线的分析与量化、观察性研究的设计与分析的指南,特别是涉及登记系统的使用。大型高质量登记系统可为亚组或经皮微创装置变体的安全性和有效性结局提供数据,还可捕捉罕见终点,以及中心和医务人员的影响及其各自的学习曲线。
所有数据需对干预措施进行足够详细的描述,应整合唯一设备标识,并收集混杂因素控制所需的所有相关参数。建议采用标准最小数据集支持强有力的登记系统设计,并促进与其他数据源的数据链接。影响登记系统质量的关键问题包括随访方式以及数据收集的完整性和准确性。必须进行持续的质量控制。此外,建议强调,所有基于观察性和登记系统数据的分析都应适当地调整混杂因素。
大多数出版物未提供有关其建议的证据强度的信息。仅基于文件中包含的信息,大多数建议是基于专家意见。支持可检验的方法学声明的其他可能性可分为:(1)数学和技术论证,例如数学推导或证明或统计模拟研究;(2)大规模的经验证据,例如Cochrane协作组织的方法学系统评价(例如,开放标签研究对治疗效应大小的影响);(3)案例研究,例如可行性研究以展示方法的应用;以及(4)评估不可检验声明的表面效度。然而,并不存在适用于所有可检验声明的单一论证或数据等级体系[64]。对于每一条单独的建议,都必须评估其所认为适当的证据类型。系统性地检索那些未在所纳入文件中直接提供的关于建议证据基础的研究超出了我们工作的范围。
卫生技术评估机构认为,缺乏高质量原始研究是评估治疗性医疗设备的主要障碍之一[7,65,66]。我们建议采用全生命周期卫生技术评估方法,该方法已明确规定了满足治疗性医疗设备治疗效应评估需求所需的原始研究类型。我们确定了随机对照试验的研究设计和分析方法,以及建立高质量登记系统的建议。此类建议还可为卫生技术评估机构与治疗性医疗设备制造商之间的早期对话提供有关研究设计要求的信息。此类对话自2008年以来已在欧盟资助的项目范围内于欧洲层面建立(例如,塑造欧洲早期对话[http://www.eunethta.eu/seed]以及欧洲卫生技术评估网络的早期对话[http://www.eunethta.eu/search/apachesolr_search/early%20dialogue])。欧洲卫生技术评估网络联合行动3(JA3)内另一项重要的研究活动是关注上市后证据生成和登记系统,其中将制定卫生技术评估中的登记系统标准及相应工具(http://www.eunethta.eu/activities/eunetha-joint-action-3-2016-20/work-package-5-life-cycle-approach-improve-evidence-gener)。
高质量证据的缺乏也是由于医疗器械相较于药物在市场准入方面的要求较为宽松所致。欧洲和美国在医疗器械市场准入监管方面的重点通常在于产品安全性与表现,而非疗效评估[65]。市场条件也不同。医疗器械在高度动态的环境中开发和生产,主要产业由产品组合有限且专注于细分产品的中小企业组成[67]。与药物相比,医疗器械的生命周期极短[68],频繁的技术更新仅代表微小(渐进式)的修改[69e71]。快速跟进者通常可以声称“实质等效性”,而无需开展临床研究。为建立更好的激励措施以促进上市前和上市后研究,已有若干建议,例如加强市场准入要求和/或基于证据生成的覆盖方案[66]。
4.1. 局限性
我们的工作存在若干局限性。我们针对文献的检索仅限于部分高排名期刊,可能遗漏了相关文献。然而,我们认为这是查找相关信息最有效的方法。为减轻这一局限性,我们对方法学期刊进行了手工检索,并对相关文章的参考文献进行了广泛的 manual searches(手工检索)。
我们纳入了关于原始研究的建议,不仅针对治疗性医疗设备(TMDs),还包括具有类似复杂性特征的技术,例如灵活、非标准化、不断发展的干预措施以及用户和情境依赖性(例如来自IDEAL框架的建议以及关于外科手术程序的建议)。尽管这可能被认为不太恰当,但在一项德尔菲共识练习中,一个由27位专家组成的小组达成共识,认为IDEAL框架在经过适当修改后,可为治疗性医疗设备的全产品生命周期概念要求构建一个证据模板[72]。
如前所述,我们并未系统评估某项建议的证据基础及其是否足够充分以提供有益的指南;然而,对于通常基于专家意见的方法学建议而言,这种情况很少发生。我们的目的并非直接应用这些建议来设计和分析研究,而是为卫生技术评估机构提供一个概览,介绍在针对治疗性医疗设备的原始研究中可能遇到的挑战以及可能的解决方案,以用于对治疗性医疗设备的疗效进行评估和长期评估。
5. 结论
监管机构、卫生技术评估机构和专家共识文件均同时推荐采用随机对照试验来评估治疗性医疗设备和外科手术的疗效以实现市场准入。随机对照试验研究设计可用于专门应对治疗性医疗设备的快速渐进式发展以及医务人员和患者偏好。在选择患者、医务人员和中心以及数据收集过程中,可考虑治疗性医疗设备干预措施的情境因素。分析。评估者应熟悉这些设计。此外,还有关于学习曲线的分析与量化、观察性研究(包括基于登记的研究)的设计与分析的指南。对于医疗器械有效性和安全性的长期研究,建议使用高质量的疾病相关或基于医疗器械的登记系统。这些登记系统可考虑治疗性医疗器械版本控制和组件识别、长期结局和随访、提供者经验的影响以及用于控制混杂因素的信息。评估者需要了解登记系统设计和分析的质量标准。在卫生技术评估中缺乏针对治疗性医疗设备的原始研究,可能并非由于缺乏评估治疗性医疗设备的方法学概念,而是由于缺乏开展原始研究的激励措施。
致谢 本研究获得欧洲委员会第七个框架计划的资助,资助协议编号为HEALTH‐F3‐2012‐305694( MedtecHTA项目“医疗器械卫生技术评估方法:欧洲视角”)。
补充数据 与本文相关的补充数据可在 https://doi.org/10.1016/j.jclinepi.2017.10.007获取。

2735

被折叠的 条评论
为什么被折叠?



