1 Eficacia de las Vacunas

La eficacia de cualquier vacuna (VE), contrario a lo comúnmente entendido, no es la probabilidad de no tener la enfermedad dado de que el virus ya ha ingresado en mi organismo. Es más bien, un factor de protección que tengo para no contagiarme respecto a los que no han sido vacunados. Es una medida de riesgo relativo.

Es similar a un bloqueador solar. Si me lo aplico, mi exposición efectiva al sol va a disminuir, y será menor respecto a que si no me lo hubiera puesto. En esta analogía, la exposición efectiva al sol corresponde a la probabilidad de contagio.

Por ejemplo, la vacuna AstraZeneca tiene una eficacia declarada de \(70\%\). El complemento a uno de este ratio, \(100\%-70\%=30\%\), es el factor en el que disminuye la probabilidad de contagiarme –si me la aplico– respecto a la que tuvieron los miembros del grupo placebo en el ensayo de la vacuna. En otras palabras, tengo una probabilidad de contagiarme que es el \(30\%\) de la que tuvieron los miembros del grupo placebo.

El protocolo de ensayo verifica –con prueba molecular– si un participante se ha contagiado luego de que éste presenta síntomas. Por lo que estrictamente hablando, la eficacia se calcula contrastando contagiados síntomáticos en los grupos placebo y vacunados.

El tema aquí es que (1) este \(30\%\) es el factor de disminución del riesgo de contagiarme sintomáticamente, y (2) es respecto al riesgo que tuvieron los participantes en el grupo placebo del ensayo.

Como el ensayo es ciego, el participante no saben si le han puesto la vacuna o el placebo, por lo que los participantes en ambos grupos se asume que mantuvieron prácticas orientadas a evitar el contagio, como el uso de máscaras y distanciamiento social. La probabilidad de infectarse en el grupo placebo es la base sobre la cual se refiere el factor de disminución. Note que ni este factor, ni la eficacia son probabilidades. Si a causa de la vacuna, la cantidad de contagios es mayor en el grupo de vacunados que en el placebo, el factor es mayor que uno y la eficacia es negativa: valores que no puede tener una probabilidad.

Si quisiéramos conocer la probabilidad de contagio con la vacuna dado de que el virus ya ingresó en nuestro organismo, deberíamos habernos asegurado que todos los participantes del ensayo, en algún momento, hayan tenido el virus en su organismo. Lo cual por supuesto, no es posible ni correcto.

Los niveles de hospitalización, demanda de camas UCI, fallecimientos, etc. varían linealmente con la cantidad de contagiados. En consecuencia, si todos se aplicaran esta vacuna, todos esos niveles disminuirían al menos al \(30\%\) de cuando nadie estaba vacunado. Sin embargo, las vacunas brindan además protección contra un contagio severo, es decir con consecuencias como Hospitalización o Desaturación (debajo de \(93\%\)). Por ejemplo, si con la vacuna AstraZeneca, solo el \(20\%\) de los contagiados requieren hospitalización, la demanda de hospitalización bajaría al \(30\% \times 20\% = 6\%\) del nivel sin la vacuna.

Continuando con la analogía de la protección solar, el factor de protección de esta vacuna es de \(1/30\%=3.3\). Por otro lado, la vacuna Pfizer con eficacia de \(94.7\%\) corresponde a un factor de \(1/5.3\% = 19\).

En el cuadro “Declaración del Fabricante” a continuación, tenemos los datos de los ensayos de las vacunas según han declarado sus mismos fabricantes. En varios casos, tal fabricante es una asociación de entidades como “Universidad de Oxford + AstraZeneca” o “Beijing Institute of Biological Products + Sinopharm”. Por simplicidad nos referiremos a las vacunas con el nombre popularmente conocido de ellas.

Declaración del Fabricante
Eficacia de la Vacuna y Datos del Ensayo
Vacuna Media3 Intv.Confza.(95%) Tiempo de Vigilancia1 Nº Casos / Total2
Lim.Inf3 Lim.Sup3 Vacuna Placebo Vacuna Placebo
Pfizer 95.0 90.3 97.6 2.214 2.222 8/18198 162/18325
Moderna 94.1 89.3 96.8 3.274 3.333 11/14134 185/14073
AstraZeneca 70.4 54.8 80.6 0.680 0.677 30/5807 101/5829
Sputnik 91.6 85.6 95.2 NA NA 16/14964 62/4902
Ver origen de datos en Referencias.

1 En 1000 personas x año.

2 Cantidad de casos confirmados / Cantidad de personas en el grupo.

3 Expresados como Porcentajes.

Las tres primeras columnas numéricas describen la Eficacia de la Vacuna. Son la Eficacia media de la vacuna, y los límites de su Intervalo de Confianza al \(95\%\). Las demás columnas contienen datos del informe de ensayo de la vacuna. En el caso de Sputnik no contamos con el Tiempo de Vigilancia. En la siguiente sección entenderemos mejor estos datos al usarlos para estimar la Eficacia Media de la vacuna.

1.1 Estimación Puntual de la Eficacia Media

Si la probabilidad de contagio en el grupo con la vacuna es \(P_{vac}\), y en el grupo placebo es \(P_{pla}\), el Riesgo Relativo \((RR)\) de contagio de los vacunados respecto al grupo placebo es:

\[ \mathit{RR} = \frac{P_{vac}}{P_{pla}} \]

En el ejemplo con AstraZeneca, el factor de \(30\%\) al que nos hemos referido en la sección anterior, es el Riego Relativo.

Una vez que tenemos este Riesgo Relativo, la eficacia de la vacuna (VE) no es más que su complemento a uno:

\[\begin{align} \mathit{VE} &= 1- \mathit{RR} \\ \mathit{VE} &= 1 - \frac{P_{vac}}{P_{pla}} \end{align}\]

Una forma de estimar \(P_{vac}\) y \(P_{pla}\), es con el porcentaje de contagiados en cada grupo. Por ejemplo, continuando con AstraZeneca, esto es \(P_{vac}=\frac{30}{5807}=0.00516\) y \(P_{pla}=\frac{101}{5829} = 0.01732\), entonces \(RR = \frac{0.00516}{0.01732} = 29.8\%\), y \(VE=70.2\%\) que está bien cerca al valor publicado.

Sin embargo, el cálculo correcto se hace usando el Tiempo de Vigilancia, que es el acumulado del tiempo transcurrido en cada miembro del grupo hasta el momento de contagio. Por ejemplo, si un grupo tiene 3 miembros, el ensayo lleva 70 días, y uno se infectó en el día 40, otro en el 50 y el tercero aún no se ha contagiado, el tiempo de vigilancia del grupo es de \(40+50+70=160\), en días \(\times\) persona. Esta es una cuenta más precisa de la exposición a la infección en el grupo, y mejor aún, permite tener correctamente en cuenta a miembros del grupo que han ingresado o salido del ensayo en momentos diferentes.

En nuestro ejemplo, esto corresponde a:

\[\begin{align} \mathit{VE} &= 1 - \frac{30/0.680}{101/0.677} = 1 - 29.6\% = 70.4\% \end{align}\]

Que reproduce exáctamente el dato declarado por AstraZeneca.

1.2 La Eficacia de la Vacuna es una Variable Aleatoria

Como la Eficacia de la Vacuna \(\mathit{(VE)}\) depende de la cantidad de casos de contagio en cada grupo, y ésa es una variable aleatoria, la \(\mathit{VE}\) es entonces también una variable aleatoria. Es decir, hay un conjunto de valores posibles de la \(\mathit{VE}\), que conforman su distribución.

El valor que hemos calculado arriba estima la \(\mathit{VE}\) media de AstraZeneca. Pero es muy distinto saber que esa \(\mathit{VE}\) varía en \(70.4\% \pm 4\%\) a que varía en \(70.4\% \pm 20\%\). Esa dispersión es lo que mide el Intervalo de Confianza (IC).

En el cuadro arriba, el Intervalo de Confianza ha sido calculado por cada Fabricante para incluir el \(95\%\) de los \(\mathit{VE}\) posibles en cada distribución. No se hace al \(100\%\) de los valores posibles, porque es usual que una distribución tenga algunos casos anómalos (outliers) con valores muy altos o muy bajos, que causan un intervalo sumamente amplio por incluir dichos extremos. Entonces el \(2.5\%\) de los valores más pequeños y más grandes son ignorados, y el intervalo contiene el \(95\%\) de los posibles valores de \(\mathit{VE}\).

El problema aquí es que mientras menor es la eficacia media de la vacuna, más dispersos están sus valores, y mientras más dispersos, mayor es la incertidumbre de que la media es representativa de los valores posibles de la \(\mathit{VE}\) (ceteris paribus).

Por ejemplo el tamaño del IC en Pfizer es \(97.6-90.3 = 7.3\%\) mientras que el de AstraZeneca es de \(25.8\%\), es decir a menor media, más dispersión. Esto es algo que luego veremos causa un IC muy grande en los ensayos Peruanos.

1.3 ¿A partir de qué VE la Vacuna “Brinda Protección?”

En la documentación del protocolo de ensayo de las cuatro vacunas en el cuadro arriba “Declaración del Fabricante”, el ensayo es diseñado para probar con gran certeza de que su \(\mathit{VE}\) es mayor a cierto valor límite, lo cual define el criterio para determinar si la vacuna es exitosa. Por ejemplo, en el caso de Pfizer, su protocolo requiere que la vacuna tenga una eficacia mayor a \(30\%\) con una certeza por encima de \(98.6\%\). En el caso de AstraZeneca, una eficacia \(\mathit{VE}>50\%\), con una certeza arriba de \(95.1\%\).

La FDA de Estados Unidos [FDA-1] requiere, para autorizar el uso de emergencia de vacunas para prevenir Covid-19, que la vacuna tenga una eficacia mayor a \(50\%\). El criterio de confianza para esto es que el límite inferior del Intervalo de Confianza de la eficacia sea mayor que \(30\%\). En el cuadro arriba vemos que todas estas vacunas cumplen esos límites.

1.4 Datos de Ensayo en Perú Filtrado a la Prensa

A continuación tenemos un cuadro con algunos de los datos del ensayo “Sinopharm” filtrados a la prensa Peruana.

Debemos que tener en cuenta que se trata de dos vacunas diferentes, una es del “Beijing Institute of Biological Products + Sinopharm” y la otra de “Wuhan Institute of Biological Products + Sinopharm”, a las que nos referiremos como “Sinopharm[1]: Beijing Inst.” y “Sinopharm[2]: Wuhan Inst.” respectivamente. A menudo estas dos asociaciones conducen ensayos y prueban sus productos simultáneamente, como refiere este documento en the Lancet. La vacuna adquirida por Perú es la del Instituto Beijing.

Datos Filtrados por la Prensa de Perú
Ensayo Sinopharm en Perú
Vacuna Tiempo de Vigilancia1 Nº Casos / Total2
Vacuna Placebo Vacuna Placebo
Sinopharm[1]: Beijing Inst. 0.5477 0.5396 142/2457 211/2458
Sinopharm[2]: Wuhan Inst. 0.5433 0.5396 188/2460 211/2458

1 En 1000 personas x año.

2 Cantidad de casos confirmados / Cantidad de personas en el grupo.

En este ensayo de las dos vacunas, el grupo de placebo es el mismo, por eso esos datos se repiten en el cuadro. El tiempo de vigilancia, originalmente en días \(\times\) personas, lo hemos convertido a 1000 personas \(\times\) año, para homogenizar los datos de todas las vacunas y poder aplicarles exáctamente los mismos metodos a todas en la siguiente sección.

“Hay que tener en cuenta que los hallazgos que hagamos a partir de estos valores interinos e incompletos, no describe la calidad real de éstas vacunas. Solo con la data final y consolidada de los ensayos podríamos recalcular estas estimaciones y reflejar la calidad real de éstas. Sin embargo, nos interesa tener una interpretación científicamente válida de lo que significan los números filtrados.”

2 Estimación de la Eficacia de las Vacunas

2.1 Métodos de Estimación

La estimación por cada fabricante de la Eficacia de su vacuna, referidas en el cuadro “Declaración del Fabricante” arriba, usa métodos de cálculo distintos. Pfizer y Sputnik usan un modelo Beta-Binomial, Moderna usa Cox estratificado de Hazard Ratios, y AstraZeneca estimación robusta de Poisson sobre los Hazard Ratios.

En el cuadro citado, tenemos suficiente información para reproducir el método de Pfizer sobre todas las vacunas y también para el ensayo Peruano. Esto nos dará la ventaja de poder comparar las vacunas mirándolas a traves del mismo lente.

El método de Pfizer, que denominamos “Binomial Gibbs”, es de tipo Bayesiano. Para simplificar el cálculo, éste usa la distribución Binomial como aproximación a la Poisson. Nosotros incluimos un método que denominamos “Poisson Bayes”, usando directamente la distribución de Poisson en un análisis de tipo Bayesiano completo.

2.2 Estimación con Binomial Gibbs (a lo Pfizer)

En el siguiente cuadro tenemos la Eficacia de las Vacunas estimadas con el método empleado por Pfizer y Sputnik (vea el modelo en detalle aquí). La última columna P(EV>30%) muestra el estimado de la probabilidad de que la Eficacia de la Vacuna sea mayor que \(30\%\).

Método Binomial Gibbs
Eficacia de las Vacunas
Vacuna Media1 Intv.Confza.(95%) P(EV>30%)1,2
Lim.Inf1 Lim.Sup1
Pfizer 95.04 90.32 97.62 100.00
Moderna 93.95 89.19 96.76 100.00
AstraZeneca 70.43 56.00 80.48 100.00
Sputnik 91.55 85.64 95.19 100.00
Sinopharm[1]: Beijing Inst. 33.70 18.16 46.50 69.39
Sinopharm[2]: Wuhan Inst. 11.51 −7.53 27.40 1.01

1 Expresados como porcentajes.

2 Probabilidad de Eficacia > 30%.

Como era de esperarse, el método reproduce los valores declarados por Pfizer y Sputnik (en el cuadro “Declaración del Fabricante”). La Eficacia de Moderna y AstraZeneca, cualitativamente hablando, no ha cambiado.

Para Sputnik en lugar del Tiempo de Vigilancia –que no tenemos– usamos la cantidad de personas en cada grupo, tal como lo hace el mismo Sputnik en el análisis de su ensayo.

Usaremos los valores en este cuadro como referencia para revisar nuestro cálculo final en la siguiente sección.

2.3 Estimación con Poisson Bayes

En el cuadro a continuación, tenemos la Eficacia de las Vacunas estimadas usando el método Poisson Bayes (vea el modelo en detalle aquí). Para Sputnik, nuevamente usamos el tamaño de cada grupo en lugar del Tiempo de Vigilancia que no tenemos.

Método Poisson Bayes
Eficacia de las Vacunas
Vacuna Media1 Intv.Confza.(95%) P(EV>30%)1,2 Mediana
Lim.Inf1 Lim.Sup1
Pfizer 94.72 91.03 97.83 100.00 94.96
Moderna 93.65 89.84 97.08 100.00 93.85
AstraZeneca 69.85 57.92 81.81 100.00 70.46
Sputnik 91.24 86.70 95.75 100.00 91.49
Sinopharm[1]: Beijing Inst. 33.30 18.82 46.55 69.05 33.67
Sinopharm[2]: Wuhan Inst. 11.28 −6.44 28.20 1.28 11.57

1 Expresados como porcentajes.

2 Probabilidad de Eficacia > 30%.

Este es el método que creemos es el más confiable y adecuado para medir la Eficacia de las Vacunas. Su resultado no se aleja demasiado de los resultados “a lo Pfizer, probando que éste último no sacrifica precisión por sencillez. Asímismo, nos da confianza, que aunque estos dos métodos se calculan de forma muy diferente, éste –sin ninguna concesión por ganar sencillez de cálculo, lo que lo hace más robusto– trabaja correctamente.

Note que la media de la Eficacia de las Vacunas Sinopharm, y sus Intervalos de Confianza, coinciden cualitativamente con los valores filtrados a los medios.

Densidad de la Eficacia de las Vacunas. El área bajo cada densidad es la misma en cada vacuna. Note como mientras la densidad tiene menor media (más hacia la izquierda), la altura del pico de la densidad es menor, lo que corresponce a mayor dispersión, y consecuente menor certidumbre, tal como ya lo hemos comentado.

Figure 2.1: Densidad de la Eficacia de las Vacunas. El área bajo cada densidad es la misma en cada vacuna. Note como mientras la densidad tiene menor media (más hacia la izquierda), la altura del pico de la densidad es menor, lo que corresponce a mayor dispersión, y consecuente menor certidumbre, tal como ya lo hemos comentado.

Este método permite además obtener la distribución (densidad) de la Eficacia de la Vacuna, que mostramos en el gráfico “Densidad de la Eficacia de las Vacunas” 2.1. Allí vemos que podemos estar seguros que la vacuna Sinopharm[1]: Beijing Inst. brinda protección, pues practicamente la totalidad de sus masa está está arriba de \(\mathit{VE} = 0\).

Sin embargo, no hay certidumbre que su eficacia sea mayor al \(30\%\): Si bien su pico está sobre \(\mathit{VE}=33\%\), una parte significativa de su masa (el \(30\%\)) está por debajo de ese límite. En principio, hace falta contar con una muestra más grande (tiempo \(\times\) personas) para poder ganar mayor certidumbre. Pero para para llegar a la certidumbre requerida, tendría que tener una dispersión aproximadamente tan angosta como la de Pfizer, lo cual corresponde a tener una muestra 16 veces más grande que la que ya tenemos, lo cuál parece muy improbable de alcanzar.

La eficacia de la vacuna Sinopharm[2]: Wuhan Inst. tiene la media más baja, debajo incluso de la referencia internacional del \(30\%\). Como consecuencia, su Intervalo de Confianza (IC) es muy amplio, y su límite inferior es incluso ligeramente negativo. Es decir, hay tal incertidumbre, que su IC no descarta la posibilidad de que la vacuna no brinde ninguna protección contra el contagio (\(\mathit{VE}=0\)).

Los valores filtrados a los medios, incluyen también una columna con valores-p (p-values), que son el resultado de una prueba \(\chi²\) (Chi-Cuadrado). Esta prueba usa una tabla de contingencia \(2 \times 2\) comparando cuantos contagiados/no-contagiados hay en el grupo de vacunados/placebo. La hipótesis nula (\(H_0\)) es que provienen de una misma distribución, es decir que la vacuna no hace ninguna diferencia. Cuando el p-value es muy pequeño, la \(H_0\) se rechaza, aceptando que son distribuciones diferentes.

En nuestro modelo, eso corresponde a verificar si P(EV>0), lo cual podemos validar que se cumple –al \(95\%\) de confianza– cuando el límite inferior del Intervalo de Confianza es positivo. Ya hemos analizado eso, encontrando que la vacuna de Beijing cumple, pero no la de Wuhan, coincidiendo con lo que indican los p-values filtrados a la prensa.

3 Resultados Secundarios

Los ensayos de las vacunas suelen tener objetivos adicionales (outcomes) al primario, que es probar que la vacuna tiene una eficacia por encima de determinado nivel. Éstos son llamados objetivos secundarios, y también son reportados en el informe del ensayo.

Por ejemplo, un objetivo secundario del ensayo de Pfizer busca confirmar su eficacia contra contagios severos de Covid-19. Esto es similar, en los datos filtrados, a evitar Hospitalización. A continuación vamos a estimar la Eficacia del ensayo Peruano Sinopharm en sus objetivos secundarios según la data filtrada.

3.1 Método de Estimación

Vamos a hacer las estimaciones continuando el uso del modelo Poisson Bayes, que usamos para el objetivo primario. Este método es el más robusto que tenemos, y por lo tanto adecuado para la casuística de pequeño tamaño que tenemos aquí.

En la data filtrada a la prensa, el “brazo 1” (Beijing Inst.), muestra cero fallecimientos en vacunados, contra dos en placebo. Si hacemos el cálculo puntual de la Eficacia, el numerador del Riesgo relativo (RR) es cero y en consecuencia la Eficacia puntual es de \(100\%\), que es el valor que señala dicha data filtrada.

Sin embargo, tal estimación, no toma en cuenta que la cantidad de fallecidos en el grupo de vacunados y de placebo, son dos variables aleatorias. Es decir, no considera la posibilidad de que de los 142 vacunados contagiados, no han habido fallecidos solo por azar, y que –por ejemplo– de repetir el ensayo, o de probarlo con una cantidad mucho mayor de vacunados, sí observaríamos fallecimientos. En cambio, el modelo Poisson Bayes que usamos, sí considera esa aleatoriedad.

También en el ensayo para la vacuna de Beijing, para “Desaturación (<93%)”, muestra 6 casos en vacunados, y 16 en placebo. Si calculamos la Eficacia puntual en este caso, estimando la probabilidad de Desaturar con la proporción entre la cantidad de Desaturados y la de participantes en el grupo, tenemos:

\[ \mathit{EV} = 1- \frac{6/2457}{16/2458} = 62.5 \% \] Que está muy cerca de la eficacia de \(62.9\%\) en la data filtrada. Este cálculo estima la eficacia combinada de la vacuna protegiendo contra contagio y Desaturación. Aquí nos interesa conocer, por separado, la Eficacia en evitar “Desaturación” entre las personas contagiadas y la eficacia contra el contagio. Por lo tanto, las proporciones para calcular la Eficacia, deben tomar en cuenta la cantidad de contagiados y no la de participantes en cada grupo:

\[ \mathit{EV} = 1- \frac{6/142}{16/211} = 44.3 \% \] Como vemos, esta consideración trae resultados diferentes. Lo mismo se aplica para los demás objetivos secundarios. Con el modelo Poisson Bayes calcularemos la Eficiencia de la Vacuna en los objetivos secundarios aplicando estas sugerencias.

3.2 Resultados Secundarios de Vacuna Sinopharm[1]: Beijing Institute

El gráfico “Eficacia de Sinopharm[1]: Beijing en Objetivos Secundarios” 3.1 muestra la Eficacia de la Vacuna para evitar Fallecimiento con un pico sobre un alto valor de Eficacia \((\mathit{VE}=93\%)\). Lamentablemente, la certidumbre es muy baja, lo cual se refleja en una cola larga hacia la izquierda, incluso sobre valores negativos. Este es el caso que comentamos anteriormente, con cero fallecidos en vacunados y apenas dos en placebo. Como consecuencia de la cola larga, la media está sobre \(51\%\) y no hay certidumbre de su eficacia.

Eficacia de la vacuna “Sinopharm[1]: Beijing” en Objetivos Secundarios. La vacuna tiene picos con gran eficacia para los objetivos de evitar Hospitalización y Fallecimento. Sin embargo el volumen de datos no es suficiente para brinar certidumbre de ésto, lo cual se refleja en largas colas a la izquierda, que traen abajo la media de la Eficacia de estos objetivos.

Figure 3.1: Eficacia de la vacuna “Sinopharm[1]: Beijing” en Objetivos Secundarios. La vacuna tiene picos con gran eficacia para los objetivos de evitar Hospitalización y Fallecimento. Sin embargo el volumen de datos no es suficiente para brinar certidumbre de ésto, lo cual se refleja en largas colas a la izquierda, que traen abajo la media de la Eficacia de estos objetivos.

El cuadro “Eficacia de ‘Sinopharm[1]: Beijing’ en Objetivos Secundarios” abajo, nos muestra la Eficacia de la Vacuna en los objetivos secundarios. El límite inferior de los Intervalos de Confianza, muestra que solo para evitar “TAC Anormal” y “Hospitalización”, la vacuna es Eficaz (con Eficacia mayor que \(22\%\) y \(43\%\) respectivamente), con una certidumbre de \(95\%\).

Lo más destacado es que para evitar Hospitalización tiene una eficacia media de \(79\%\), aunque solo hay certidumbre, al \(95\%\), de que es mayor que \(43\%\). Aún así, en este objetivo tenemos Eficacia y certidumbre de nivel internacional.

Eficacia de "Sinopharm[1]: Beijing" en Objetivos Secundarios
Método Poisson Bayes
Objetivo Media1 Intv.Confza.(95%) P(EV>30%)1,2
Lim.Inf1 Lim.Sup1
Saturación < 93% 37.27 −20.58 87.04 66.47
TAC Anormal 44.34 22.34 64.97 89.30
Hospitalización 78.94 43.38 99.92 97.70
Fallecimiento 53.18 −90.98 100.00 81.68

1 Expresados como porcentajes.

2 Probabilidad de Eficacia > 30%.

El efecto combinado de protección contra el contagio y la hospitalización que provee esta vacuna, podemos estimarlo con una media de \(1-66.7\% \times 21.06\% = 86\%\), con un intervalo de confianza de \([62.2\%, 99.9\%]\) al \(95\%\) de certidumbre, estimado con el modelo Poisson.

EDITADO 2021-mayo-17: El 7 de mayo, la OMS agregó la vacuna “Sinopharm[1]: Beijing” [WHO] para uso de emergencia. “La eficacia de la vacuna para la enfermedad sintomática y hospitalización se estimó en \(79\%\), todos los grupos de edad combinados.”

3.3 Resultados Secundarios de Vacuna Sinopharm[2]: Wuhan Institute

No hay certidumbre en ninguno de sus objetivos secundarios, y/o la eficacia media en todos ellos es muy pobre.

Eficacia de la vacuna “Sinopharm[2]: Wuhan” en Objetivos Secundarios. La eficacia media en todos los objetivos secundarios es muy pobre y con una alta incertidumbre.

Figure 3.2: Eficacia de la vacuna “Sinopharm[2]: Wuhan” en Objetivos Secundarios. La eficacia media en todos los objetivos secundarios es muy pobre y con una alta incertidumbre.

Eficacia de Vacuna "Sinopharm[2]: Wuhan" en Objetivos Secundarios
Método Poisson Bayes
Objetivo Media1 Intv.Confza.(95%) P(EV>30%)1,2
Lim.Inf1 Lim.Sup1
Saturación < 93% −25.54 −113.21 48.66 6.27
TAC Anormal 3.30 −25.71 31.29 2.03
Hospitalización −0.84 −88.39 71.94 25.95
Fallecimiento −2.36 −231.80 99.49 55.78

1 Expresados como porcentajes.

2 Probabilidad de Eficacia > 30%.

4 Velocidad de Contagio

Con el modelo Poisson Bayes, estimamos la velocidad de contagio de Covid-19 en ámbos grupos, Placebo y Vacuna (\(\lambda_{pla}\) y \(\lambda_{vac}\)). Formalmente, es la llamada Tasa de Incidencia. La vamos a mostrar en contagios por 1000 personas \(\times\) año.

Velocidad de Contagio por Grupo. Esta es la de velocidad de contagio observada en cada grupo. Note que la velocidad de contagio en el grupo Placebo de “Sinopharm:Perú” es casi siete veces mayor que en el ensayo de Moderna. Se muestra entre paréntesis la posición del pico o moda de la curva (no la media).

Figure 4.1: Velocidad de Contagio por Grupo. Esta es la de velocidad de contagio observada en cada grupo. Note que la velocidad de contagio en el grupo Placebo de “Sinopharm:Perú” es casi siete veces mayor que en el ensayo de Moderna. Se muestra entre paréntesis la posición del pico o moda de la curva (no la media).

El gráfico “Velocidad de Contagio por Grupo” 4.1 arriba, muestra la velocidad de contagio por grupo, en el ensayo de las vacunas. Mientras más a la derecha, mayor es la velocidad de contagio. Esta velocidad es proporcional a la probabilidad de contagio en cada grupo. La proporción de la velocidad en el grupo Vacuna respecto a la de Placebo es el Riesgo Relativo (RR) con la vacuna, que como hemos visto determina su Eficacia Eficacia = 1 - RR.

La velocidad de contagio de los vacunados con Moderna y Pfizer es prácticamente la misma. Lo que causa la diferencia en su Eficacia es que el grupo placebo de Pfizer se contagió más rápidamente, indicando que dicha vacuna soportó un mayor riesgo de contagio, comparado con Moderna, y por eso resulta con mayor eficacia. Una analogía de esto es pensar en dos autos idénticos A y B, con sistemas de aislamiento térmico para tener una misma temperatura interior, digamos de 25°C. Cada auto es sometido a un ensayo exponiéndolo a la temperatura ambiente, pero en el ensayo de A el ambiente llegó a 35°C y en el de B solo a 30°C, manteniendo ambos la meta de 25°C en el interior. Como la del auto A soportó una mayor temperatura exterior, su eficacia resulta mayor que la de B. Sin embargo, queda claro que no sabemos qué hubiera pasado si se sometía a B a los 35°C.

En el ensayo Sinopharm:Perú, la velocidad de contagio en el grupo Placebo, es por lejos, la más alta entre todas las vacunas. Es casi siete veces mayor que la velocidad de contagio en el ensayo de Moderna. En el Perú, durante el ensayo de Sinopharm, la probabilidad media de que una persona sin vacunarse se contagie en el transcurso de un año, fue de \(394/1000=39.4\%\), mientras que en USA, cuando se condujo el ensayo de Moderna, fue de \(56/1000=5.6\%\).

Esta mayor velocidad de contagio, podría explicarse porque la dinámica en la población Peruana, o las medidas profilácticas que toma, la hacen más vulnerable. Otra posibilidad es que la ola actual (desde 2021-enero) en Perú, haya causado esa velocidad, mientras que los otros ensayos no sufrieron de esto.

De cualquier manera, las hipótesis anteriores no explican el pobre desempeño de la vacuna Sinopharm:Beijing en el Perú, que en los Emiratos Árabes Unidos ha tenido una eficacia de 86%, más del doble que en Perú. Una hipótesis alterna es que el biotipo del hombre original de América es más vulnerable a Covid-19. Un indicio para sospechar de esto es que Perú, Ecuador, Bolivia y México con los países con la mayor proporción de muertos en exceso.

Si extrapolamos la Velocidad de Contagio, en el grupo Placebo Sinopharm (con media=\(394.2\), en \([342, 450]\) al \(95\%\)) a toda la población Peruana, entre el 2020-abr-09 (inicio de la primera ola) y 2021-may-17 (fecha de edición vigente), encontramos que entre el \(38\%\) y \(50\%\) de la población ya habría sido contagiada (media de \(43\%\)).

Una proporción de referencia entre fallecidos y contagiados es \(1\%\) [IOAN]. Si la usamos asumiendo que efectivamente el \(43\%\) de la población ya ha sido infectada, tenemos \(32.6\text{M} \times 43\% \times 1\% = 140\)K fallecidos. Que está cerca a los \(170\)K fallecidos en exceso (Sinadef), estimado al 2021-may-09 [DKOB].

5 Detalle de los Modelos

5.1 Modelo Binomial Gibbs

Primero definiremos algunas variables auxiliares, y luego con ellas construiremos el modelo.

Si definimos \(\theta\) como la proporción de contagiados en el grupo de vacunados respecto al total de contagiados en el ensayo, tenemos:

\[ \theta \equiv \frac {\mathit{C_{vac}}} {\mathit{C_{vac}} + \mathit{C_{pla}}} \tag{5.1} \]

Donde \(\mathit{C_{vac}}\) y \(\mathit{C_{pla}}\) son la cantidad de contagiados entre los vacunados y en el grupo placebo, respectivamente. Por otro lado, vamos a estimar \(\mathit{VE}~\) como lo hicimos al estimar puntualmente la Eficacia media:

\[ \mathit{VE} = 1 - \frac{\mathit{C_{vac}}/T_{vac}}{\mathit{C_{pla}}/T_{pla}} \tag{5.2} \]

Donde \(T_{vac}\) y \(T_{pla}\) es el Tiempo de Vigilancia en el grupo de vacunados y en el de placebo, respectivamente. Si manipulamos estas dos ecuaciones para poner \(\theta\) en función de \(\mathit{VE}\), tenemos:

\[ \theta = \frac{r\,(1-\mathit{VE})}{1+r\,(1-\mathit{VE})} \tag{5.3} \] Donde \(r = T_{vac}/T_{pla}\). Si en esta última ecuación despejamos \(\mathit{VE}\), tenemos:

\[ \mathit{VE} = 1 + \frac{\theta}{r\,(\theta-1)} \tag{5.4} \]

Adicionalmente, si asumimos que los Tiempos de Vigilancia en ambos grupos son muy similares (lo que ocurre por diseño en el ensayo de Pfizer), entonces con \(r=1\) en (5.3):

\[ \theta = \frac{1-\mathit{VE}}{2-\mathit{VE}} \tag{5.5} \]

\(\theta\) en función de la Eficacia (VE). La relación entre \(\theta\) y la eficacia \(\mathit{VE}\) según la ecuación (5.5) es monotónica: Cada valor de \(\theta\) corresponde a un único valor de \(\mathit{VE}\) y viceversa. Valores de \(\theta\) mayores que \(0.5\) corresponden a una mayor cantidad de contagiados entre los vacunados que en el gurpo placebo, es decir a una eficacia negativa.

Figure 5.1: \(\theta\) en función de la Eficacia (VE). La relación entre \(\theta\) y la eficacia \(\mathit{VE}\) según la ecuación (5.5) es monotónica: Cada valor de \(\theta\) corresponde a un único valor de \(\mathit{VE}\) y viceversa. Valores de \(\theta\) mayores que \(0.5\) corresponden a una mayor cantidad de contagiados entre los vacunados que en el gurpo placebo, es decir a una eficacia negativa.

La distribución de Poisson es la más natural para modelar la cantidad de contagiados en cada grupo del ensayo. No obstante, la distribución \(Binomial(n, p)\) se aproxima a la de Poisson cuando \(n\) es grande y el producto \(n·p\) es constante. Como consecuencia de esas dos condiciones, se requiere también que \(p\) sea pequeño (vea los detalles aquí).

En la definición de \(\theta\) colapsamos ambos grupos –en el ensayo– de manera que es una proporción respecto a todos los participantes en el ensayo. Como consecuencia, n es realmente grande, por ejemplo para Pfizer \(n=18198+18325=36523\). Asimismo \(\theta\) tiene valores pequeños, continuando con Pfizer como ejemplo, \(\theta = 8 / (8 + 162)= 0.047\). A partir de esto, la estrategia es modelar \(\mathit{C_{vac}}\) y \(\mathit{C_{pla}}\) en función de \(\theta\) usando la distribución Binomial.

Note que en el caso de Sinopharm tenemos \(\theta_{Beijing} \approx 0.40\) y \(\theta_{Wuhan} \approx 0.47\), que no son valores pequeños. Es decir, con esas vacunas nos alejamos de las condiciones requeridas; peor aún ocurre con sus objetivos secundarios.

En el paradigma Bayesiano, las estimaciones se hacen modelando la distribución posterior con el producto del likelihood por la distribución anterior:

\[\begin{align} p(\theta \vert x) &\propto p(x \vert \theta) p(\theta) \\ \text{posterior} &\propto \text{likelihood} \times \text{anterior} \end{align}\]

Donde \(x\) representa a la data del ensayo, como \(\mathit{C_{vac}}\) y \(\mathit{C_{pla}}\).

Como \(\theta\) varía en \([0, 1]\), una distribución Beta es adecuada como distribución anterior. Hemos buscado usar una distribución Binomial como likelihood porque si usamos una distribución anterior Beta, entonces la distribución posterior también será Beta (vea detalles aquí), y los cálculos serán muy sencillos. Este es un hecho comúnmente aprovechado en muestreo de Gibbs (Gibbs sampling), de allí el nombre del modelo.

\[ \theta \sim \text{Beta}(\alpha + c_v, \beta + c_p) \tag{5.6} \]

En principio, cuando buscamos probar que \(P(\mathit{VE}>30\%)\), consideramos \(\mathit{VE}=30\%\) un valor razonablemente bajo, como la eficiencia aproximada que tendría la vacuna en un escenario poco satisfactorio. Si mapeamos este valor de \(\mathit{VE}\) al correspondiente de \(\theta\), tenemos \(\theta = \frac{1-0.3}{2-0.3} = 0.4118\). En consecuencia, podemos usar como distribución anterior una Beta que tenga como media \(\theta = 0.4118\).

Ahora, la distribución Beta que tiene \(0.4118\) como media es \(Beta(0.7, 1)\), pues la media de la Beta es \(\alpha/(\alpha+\beta)\), y en este caso \(0.7/(0.7+1)=0.4118\), que es lo que deseamos. Esta Beta es la distribución Anterior del modelo. Con esta definición la distribución posterior, en la ecuación (5.6), se convierte en:

\[ \theta \sim \text{Beta}(0.7 + c_v, 1 + c_p) \tag{5.7} \]

Con esta distribución de \(\theta\), y su conversión hacia/desde \(\mathit{VE}\) usando las ecuaciones (5.4) y (5.3), tenemos la distribución posterior de la Eficacia según este modelo.

5.2 Modelo Poisson Bayes

En este modelo, la cantidad de contagiados en cada grupo (\(\mathit{C_{vac}}\) y \(\mathit{C_{pla}}\)) es modelado con la distribución Poisson:

\[\begin{align} \mathit{C_{vac}} &\sim \text{Poisson}(\lambda_{vac} \cdot \text{T}_{vac}) \tag{5.8} \\ \mathit{C_{pla}} &\sim \text{Poisson}(\lambda_{pla} \cdot \text{T}_{pla}) \tag{5.9} \end{align}\]

Donde \(\lambda_{vac}\) y \(\lambda_{pla}\) es la Tasa de Incidencia en vacunados y placebo, y \(T_{vac}\) y \(T_{pla}\) es el respectivo Tiempo de Vigilancia.

La noción aquí es que \(\lambda\) es el ritmo verdadero en el que ocurren los contagios (en personas \(\times\) tiempo). Por ejemplo, en la data de Pfizer podemos estimar \(\lambda_{pla} \approx 162/2.222 = 72.9\), esto es \(72.9\) contagiados por mil (personas \(\times\) año). Así, en el modelo calculamos el ritmo de contagio en cada grupo con el producto de dicho ritmo verdadero y la exposición del grupo medido con el Tiempo de Vigilancia \(\lambda \cdot T\).

Note que \(\lambda_{vac}\) y \(\lambda_{pla}\) son proporcionales a la probabilidad de contagiarse en cada grupo, entonces:

\[ \mathit{VE} = 1 - \frac{\lambda_{vac}} {\lambda_{pla}} \]

Para regularizar el modelo “a la Pfizer,” un (hiper) parámetro de entrada en el modelo es la eficacia anterior ve_prior. La cual es convertida a \(\alpha\_\text{prior}\), tal como hicimos en el modelo Binomial Gibbs para obtener \(\alpha=0.7\) a partir de \(\mathit{VE}=30\%\). Por lo que la distribución anterior es:

\[ \theta\_{prior} \sim \text{Beta}(\alpha\_\text{prior} + \lambda_{vac} · T_{vac} \,, 1 + \lambda_{pla} · T_{pla}) \]

La conveniencia de tener ve_prior como parámetro de entrada es que nos permite explorar fácilmente, los resultados que se obtienen con otras distribuciones anteriores, y asegurarnos que no ejerce una excesiva influencia en los resultados.

Distribución de VE Anterior en Binomial Gibbs. Si convertimos los valores de \(\theta\) a \(\mathit{VE}\) en la distribución anterior del modelo Binomial Gibbs, obtenemos esta distribución. Donde parece excesiva su influencia sobre los valores más altos de Eficacia.

Figure 5.2: Distribución de VE Anterior en Binomial Gibbs. Si convertimos los valores de \(\theta\) a \(\mathit{VE}\) en la distribución anterior del modelo Binomial Gibbs, obtenemos esta distribución. Donde parece excesiva su influencia sobre los valores más altos de Eficacia.

El gráfico “Distribución de VE Anterior en Binomial Gibbs” 5.2 muestra la distribución anterior de \(\mathit{VE}\) en el modelo Binomial Gibbs, que usa ve_prior\(= 30\%\). Note que el peso sobre valores altos de la Eficacia parece desproporcionadamente alto. Para explorar qué ocurre, comparativamente, con valores menores de ve_prior probamos con \(10\%\) y \(3\%\):

Efecto de VE_prior en Estimación de Pfizer
Eficacia de la Vacuna y Datos del Ensayo
Caso Media1 Intv.Confza.(95%) P(EV>30%)1,2 median
Lim.Inf1 Lim.Sup1
VE_prior = 30% 94.72 91.03 97.83 100.00 94.96
VE_prior = 10% 94.71 91.04 97.97 100.00 94.92
VE_prior = 3% 94.72 90.94 98.05 100.00 94.92

1 Expresados como porcentajes.

2 Probabilidad de Eficacia > 30%.

El cuadro anterior nos muestra los resultados. Vemos que el valor de ve_prior no afecta indebidamente los resultados, pues los resultados son muy similares entre si. El caso ve_prior\(= 0\) corresponde a una distribución anterior plana, equivalente a no tener distribución anterior.

La única desventaja de este modelo es que la estimación no es tan sencilla. Para ello usamos Stan. Para revisar los conceptos de Análisis (de datos) Bayesiano completo y el uso de Stan, desde cero, lea “Introduction to Bayesian Inference”

El código de los dos modelos y la data para reproducir las estimaciones publicadas en este artículo, se encuentran en Github » OscardeLama » Vaccine-Efficacy.

6 Resumen

7 Bibliografía y Referencias

[AstraZeneca] The Lancet. Safety and efficacy of the ChAdOx1 nCoV-19 vaccine (AZD1222) against SARS-CoV-2: an interim analysis of four randomised controlled trials in Brazil, South Africa, and the UK. https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)32661-1/fulltext

[Date] Sachim Date. The Fascinating Math Powering the COVID-19 Vaccine Trials. https://medium.com/swlh/the-fascinating-math-powering-the-covid-19-vaccine-trials-930a5e97c9c9

[Econ] The Economist. Tracking covid-19 excess deaths across countries. https://www.economist.com/graphic-detail/coronavirus-excess-deaths-tracker

[JJ] National Library of Medicine. PubMed.gov. Safety and Efficacy of Single-Dose Ad26.COV2.S Vaccine against Covid-19. https://pubmed.ncbi.nlm.nih.gov/33882225/

[Moderna] The New England Journal of Medicine. Efficacy and Safety of the mRNA-1273 SARS-CoV-2 Vaccine. https://www.nejm.org/doi/10.1056/NEJMoa2035389

[Pfizer-1] The New England Journal of Medicine. Safety and Efficacy of the BNT162b2 mRNA Covid-19 Vaccine. https://www.nejm.org/doi/full/10.1056/NEJMoa2034577

[Pfizer-2] A look at Biontech/Pfizer’s Bayesian analysis of their Covid-19 vaccine trial. http://skranz.github.io/r/2020/11/11/CovidVaccineBayesian.html

[Sputnik] The Lancet. Safety and efficacy of an rAd26 and rAd5 vector-based heterologous prime-boost COVID-19 vaccine: an interim analysis of a randomised controlled phase 3 trial in Russia. https://www.thelancet.com/pdfs/journals/lancet/PIIS0140-6736(20)32137-1.pdf

[FDA-1] US FDA. U.S. Department of Health and Human ServicesFood and Drug Administration Center for Biologics Evaluation and Research February 2021. Emergency Use Authorization for Vaccines to Prevent COVID-19 Guidance for Industry. https://www.fda.gov/media/142749/download

[FDA-2] US FDA. U.S. Department of Health and Human Services Food and Drug Administration Center for Biologics Evaluation and Research June 2020. Development and Licensure of Vaccines to Prevent COVID-19: Guidance for Industry. https://www.fda.gov/media/139638/download

[IOAN] John P.A. Ioannidis. The infection fatality rate of COVID-19 inferred from seroprevalence data. https://www.medrxiv.org/content/10.1101/2020.05.13.20101253v3

[DKOB] Dmitry Kobak. Excess mortality during the COVID-19 pandemic. https://github.com/dkobak/excess-mortality/blob/main/excess-mortality.csv

[WHO] WHO lists additional COVID-19 vaccine for emergency use and issues interim policy recommendations. World Health Organization. https://www.who.int/news/item/07-05-2021-who-lists-additional-covid-19-vaccine-for-emergency-use-and-issues-interim-policy-recommendations/

Comments