Artificial Intelligence and Pediatric Care

Translated by MSc. Nguyen Van Minh

On January 6, 2025, the U.S. Food and Drug Administration (FDA) released a new draft guidance on the use of artificial intelligence (AI) throughout the lifecycle of drug and biological products. The document, “Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products,” outlines a seven-step process to establish the credibility of AI models, focusing on both risk assessment and the pre- and post-determination of credibility. This process is illustrated through two theoretical examples: identifying risks in small subgroups and evaluating fill-volume specifications.

FDA Draft Guidance on AI and the Need for Ethical Frameworks

The draft guidance emphasizes the importance of understanding model risks and encourages manufacturers to engage in early discussions with the FDA regarding their proposed credibility assessment plans. These plans should be specific to the regulatory question at hand and proportionate to the associated risk. This includes consideration of the contribution of AI-derived evidence relative to other evidence used to inform the regulatory question (model influence), as well as the severity of potential adverse consequences resulting from incorrect decisions (decision consequences).

Understanding model risk is critical, as it helps set expectations and identify potential challenges early—particularly given the rapidly evolving potential uses of AI across the drug product lifecycle, which may change over time. The guidance provides an adaptive framework for collaboration between drug and biological product manufacturers and regulators, focusing on exemplar questions for developers to address rather than prescriptive rules.

However, the draft guidance does not explicitly address ethical considerations as part of AI model risk within the drug product lifecycle. Medical AI models should be patient-centered, with appropriate consideration of ethical challenges when applied to specific patient populations, alongside model-specific credibility risks. Pediatric digital twins (DTs) illustrate the need for ethical guidance tailored both to the model and to the population.

Delivering on the widely promoted promise of medical AI models requires the development of “fit-for-purpose” models, a clear understanding of the limitations of underlying data, and assurance that AI model predictions are “…closely linked to the patient’s condition in the data—in other words, to the digital twin.” As a class of AI models, DTs—detailed virtual representations of systems that allow numerous variables, design choices, and options to be explored through advanced computational analysis to support overall decision-making—are widely used across many industries. Healthcare applications, however, remain in their early stages.

Recent development and use of DTs in healthcare have accelerated, including applications in planning complex congenital cardiovascular surgeries and drug discovery through AI-enabled simulated patients. DTs have the potential to improve regulatory decision-making by allowing manufacturers to evaluate products across more diverse populations in a safer and more cost-effective manner prior to clinical trials.

Hướng dẫn dự thảo nhấn mạnh sự cần thiết phải hiểu các rủi ro của mô hình, kêu gọi các nhà sản xuất có các cuộc thảo luận sớm với FDA về kế hoạch đánh giá độ tin cậy được đề xuất của họ, cụ thể cho câu hỏi được đặt ra và tương xứng với rủi ro. Điều này bao gồm việc cân nhắc đóng góp của bằng chứng có nguồn gốc từ AI so với các bằng chứng đóng góp khác được sử dụng để cung cấp thông tin cho câu hỏi (ảnh hưởng của mô hình) và mức độ nghiêm trọng của hậu quả bất lợi do quyết định không chính xác (hậu quả quyết định). Việc hiểu rủi ro mô hình là quan trọng bởi vì nó có thể thiết lập kỳ vọng và xác định các thách thức tiềm ẩn từ sớm, đặc biệt vì tiềm năng sử dụng AI trong vòng đời sản phẩm thuốc đang phát triển nhanh chóng và có thể thay đổi trong suốt vòng đời của sản phẩm. Những hướng dẫn này cung cấp một khuôn khổ thích ứng cho quan hệ đối tác giữa các nhà sản xuất sản phẩm thuốc và sinh học với cơ quan quản lý, tập trung vào các câu hỏi mẫu để các nhà phát triển giải quyết thay vì các quy tắc chi tiết.

Tuy nhiên, hướng dẫn dự thảo này không trực tiếp đề cập đến các cân nhắc về đạo đức như một phần của rủi ro mô hình AI trong vòng đời sản phẩm thuốc. Các mô hình AI y tế nên lấy bệnh nhân làm trung tâm, với sự cân nhắc thích đáng đối với các thách thức đạo đức khi được sử dụng với các nhóm bệnh nhân cụ thể cùng với các rủi ro về độ tin cậy cụ thể của mô hình. Các cặp song sinh kỹ thuật số nhi khoa (DTs) minh họa cho sự cần thiết phải có hướng dẫn đạo đức cụ thể cho cả mô hình và quần thể. Việc thực hiện lời hứa rất được quảng bá về các mô hình AI y tế đòi hỏi phải tạo ra các mô hình “phù hợp với mục đích” (fit for purpose), hiểu rõ các hạn chế của dữ liệu cơ bản, và đảm bảo các dự đoán của mô hình AI “…liên kết chặt chẽ với tình trạng của bệnh nhân trong dữ liệu—nói cách khác là với cặp song sinh kỹ thuật số”. Là một loại mô hình AI, DTs—các biểu diễn ảo chi tiết của các hệ thống, qua đó vô số biến số, lựa chọn thiết kế và tùy chọn có thể được nghiên cứu thông qua phân tích tính toán tiên tiến để hỗ trợ ra quyết định tổng thể—được sử dụng rộng rãi trong nhiều ngành công nghiệp. Các ứng dụng chăm sóc sức khỏe vẫn đang ở giai đoạn sơ khai. Việc phát triển và sử dụng DTs trong chăm sóc sức khỏe gần đây đã tăng tốc, bao gồm cả việc lập kế hoạch cho các ca phẫu thuật tim mạch bẩm sinh phức tạp và tìm kiếm thuốc thông qua các bệnh nhân mô phỏng được hỗ trợ bởi AI. DTs có thể cải thiện việc ra quyết định theo quy định, cho phép các nhà sản xuất đánh giá sản phẩm trên các quần thể đa dạng hơn một cách an toàn hơn, hiệu quả hơn về chi phí trước khi thử nghiệm lâm sàng.
 

Illustration: AI-assisted medical decision-making

The National Academies of Sciences, Engineering, and Medicine have increasingly recognized the transformative potential of dynamic, vertically integrated DTs for precision medicine if fully developed—extending beyond simulation to prediction and optimization of healthcare choices before patient intervention, thereby improving health outcomes. DTs and other AI models should be developed “fit for purpose,” particularly as different model scales (e.g., cellular, organ, whole-human, and population levels) raise distinct considerations.

Moreover, creating AI models often requires extensive computational resources to integrate and extrapolate from multiple large data sources, such as electronic health records, biobanks, insurance claims, real-time medical device sensors, home environmental sensors, and personal wearable devices. Each of these data sources is subject to different regulatory regimes to balance privacy, security, and patient trust. Consequently, integration requires model-specific considerations to ensure DTs are safe, reliable, and appropriately incorporated into existing healthcare systems.

Although the FDA’s new approach establishes an adaptive framework that may begin to facilitate model-specific considerations and prove useful and sustainable, additional ethical guidance is needed to ensure that the development and use of AI technologies—including synthetic DT data and in silico clinical trials—are conducted in validated, patient-centered ways.

Pediatric DTs highlight the importance of more population-specific guidance. Regulations addressing ethical challenges could help AI models narrow the persistent clinical trial research gap in pediatric medicine. Although pediatric health outcomes have improved through decades of regulatory efforts—including the Pediatric Research Equity Act and the Best Pharmaceuticals for Children Act—the FDA and the American Academy of Pediatrics continue to recognize the need for timely approval of innovative therapies for children.

Unlike adult medicine, where drug development typically involves large randomized controlled trials (RCTs), many pediatric drugs are prescribed without FDA approval (off-label use). This evidence gap is most evident in neonatal intensive care units (NICUs), where scholars have demonstrated that a large proportion of commonly used medications are prescribed off-label and that enrollment of eligible NICU infants into clinical trials remains disappointingly low.

In the absence of large RCTs, prescribing decisions are often shaped by pharmacokinetic and pharmacodynamic data, extrapolation from adult medicine, observational studies, clinical practice guidelines, and clinical experience. While “…pediatricians have learned to live with it…,” fit-for-purpose AI models such as DTs could better integrate these information sources, along with real-time data, to improve the quality of evidence supporting new pediatric drug use.

Although pediatric DTs may address longstanding gaps in pediatric drug and device development, they warrant additional regulatory guidance due to the breadth of ethical issues specific to pediatric populations.

For example, informed consent for pediatric DTs must consider challenges related to differing preferences, longevity, and sustainability. While all U.S. states allow parents or guardians to consent to medical care for minors, parental consent for the creation of a DT must also account for the DT’s lifespan and predictive functions. DTs created using a child’s data may persist into adulthood, and predictions about the progression of incurable conditions may extend beyond childhood.

If parents consent to data sharing to create a DT that benefits others, can the child later withdraw consent upon reaching adulthood? Could insurers use DT-predicted childhood outcomes to stratify or limit coverage for adult disease? If a company discontinues technical maintenance of a child’s DT, is there a right to repair? Who owns the DT—the patient, parents, hospital, insurer, or technology company?

Consent and data ownership are critical questions for DT development in general, but sustainability and duration of use demand special consideration when DTs are applied to children.

Given the rapid technological advances in healthcare DTs and their potential impact on the physician–patient relationship, additional ethical guidance tailored by age and model type is essential. The FDA document “Considerations for the Use of Artificial Intelligence to Support Regulatory Decision-Making for Drug and Biological Products” provides a necessary first step toward a framework for (1) addressing questions of uncertainty, accuracy, credibility, and fitness for use, and (2) facilitating responsible AI use in drug and biological product development.

Nevertheless, further guidance is needed to address broader ethical issues, including patient autonomy and control over DTs within and beyond specific healthcare systems; risks of manipulation, overreliance, and exploitation or commercialization; digital dignity and silent trials; and many other concerns. Actions taken by the Trump Administration—specifically Executive Orders 14148 and 14179—have placed federal policies aimed at ensuring responsible biomedical AI into uncertainty.

Continued efforts to promote effective, ethical, and equitable development of AI in general, and DTs in particular, would be highly valuable, as digital health equity deserves direct attention—especially for children.

For further details, see the original article published in JAMA.