Estimación de la Eficacia de las Vacunas contra Covid-19

1 Eficacia de las Vacunas

La eficacia de cualquier vacuna (VE), contrario a lo comúnmente entendido, no es la probabilidad de no tener la enfermedad dado de que el virus ya ha ingresado en mi organismo. Es más bien, un factor de protección que tengo para no contagiarme respecto a los que no han sido vacunados. Es una medida de riesgo relativo.

Es similar a un bloqueador solar. Si me lo aplico, mi exposición efectiva al sol va a disminuir, y será menor respecto a que si no me lo hubiera puesto. En esta analogía, la exposición efectiva al sol corresponde a la probabilidad de contagio.

Por ejemplo, la vacuna AstraZeneca tiene una eficacia declarada de \(70\%\). El complemento a uno de este ratio, \(100\%-70\%=30\%\), es el factor en el que disminuye la probabilidad de contagiarme –si me la aplico– respecto a la que tuvieron los miembros del grupo placebo en el ensayo de la vacuna. En otras palabras, tengo una probabilidad de contagiarme que es el \(30\%\) de la que tuvieron los miembros del grupo placebo.

El protocolo de ensayo verifica –con prueba molecular– si un participante se ha contagiado luego de que éste presenta síntomas. Por lo que estrictamente hablando, la eficacia se calcula contrastando contagiados síntomáticos en los grupos placebo y vacunados.

El tema aquí es que (1) este \(30\%\) es el factor de disminución del riesgo de contagiarme sintomáticamente, y (2) es respecto al riesgo que tuvieron los participantes en el grupo placebo del ensayo.

Como el ensayo es ciego, el participante no saben si le han puesto la vacuna o el placebo, por lo que los participantes en ambos grupos se asume que mantuvieron prácticas orientadas a evitar el contagio, como el uso de máscaras y distanciamiento social. La probabilidad de infectarse en el grupo placebo es la base sobre la cual se refiere el factor de disminución. Note que ni este factor, ni la eficacia son probabilidades. Si a causa de la vacuna, la cantidad de contagios es mayor en el grupo de vacunados que en el placebo, el factor es mayor que uno y la eficacia es negativa: valores que no puede tener una probabilidad.

Si quisiéramos conocer la probabilidad de contagio con la vacuna dado de que el virus ya ingresó en nuestro organismo, deberíamos habernos asegurado que todos los participantes del ensayo, en algún momento, hayan tenido el virus en su organismo. Lo cual por supuesto, no es posible ni correcto.

Los niveles de hospitalización, demanda de camas UCI, fallecimientos, etc. varían linealmente con la cantidad de contagiados. En consecuencia, si todos se aplicaran esta vacuna, todos esos niveles disminuirían al menos al \(30\%\) de cuando nadie estaba vacunado. Sin embargo, las vacunas brindan además protección contra un contagio severo, es decir con consecuencias como Hospitalización o Desaturación (debajo de \(93\%\)). Por ejemplo, si con la vacuna AstraZeneca, solo el \(20\%\) de los contagiados requieren hospitalización, la demanda de hospitalización bajaría al \(30\% \times 20\% = 6\%\) del nivel sin la vacuna.

Continuando con la analogía de la protección solar, el factor de protección de esta vacuna es de \(1/30\%=3.3\). Por otro lado, la vacuna Pfizer con eficacia de \(94.7\%\) corresponde a un factor de \(1/5.3\% = 19\).

En el cuadro “Declaración del Fabricante” a continuación, tenemos los datos de los ensayos de las vacunas según han declarado sus mismos fabricantes. En varios casos, tal fabricante es una asociación de entidades como “Universidad de Oxford + AstraZeneca” o “Beijing Institute of Biological Products + Sinopharm”. Por simplicidad nos referiremos a las vacunas con el nombre popularmente conocido de ellas.

Declaración del Fabricante
Eficacia de la Vacuna y Datos del Ensayo
Vacuna	Media3	Intv.Confza.(95%)		Tiempo de Vigilancia1		Nº Casos / Total2
		Lim.Inf3	Lim.Sup3	Vacuna	Placebo	Vacuna	Placebo
Pfizer	95.0	90.3	97.6	2.214	2.222	8/18198	162/18325
Moderna	94.1	89.3	96.8	3.274	3.333	11/14134	185/14073
AstraZeneca	70.4	54.8	80.6	0.680	0.677	30/5807	101/5829
Sputnik	91.6	85.6	95.2	NA	NA	16/14964	62/4902
Ver origen de datos en Referencias.
1 En 1000 personas x año. 2 Cantidad de casos confirmados / Cantidad de personas en el grupo. 3 Expresados como Porcentajes.

Las tres primeras columnas numéricas describen la Eficacia de la Vacuna. Son la Eficacia media de la vacuna, y los límites de su Intervalo de Confianza al \(95\%\). Las demás columnas contienen datos del informe de ensayo de la vacuna. En el caso de Sputnik no contamos con el Tiempo de Vigilancia. En la siguiente sección entenderemos mejor estos datos al usarlos para estimar la Eficacia Media de la vacuna.

1.1 Estimación Puntual de la Eficacia Media

Si la probabilidad de contagio en el grupo con la vacuna es \(P_{vac}\), y en el grupo placebo es \(P_{pla}\), el Riesgo Relativo \((RR)\) de contagio de los vacunados respecto al grupo placebo es:

\[ \mathit{RR} = \frac{P_{vac}}{P_{pla}} \]

En el ejemplo con AstraZeneca, el factor de \(30\%\) al que nos hemos referido en la sección anterior, es el Riego Relativo.

Una vez que tenemos este Riesgo Relativo, la eficacia de la vacuna (VE) no es más que su complemento a uno:

\[\begin{align} \mathit{VE} &= 1- \mathit{RR} \\ \mathit{VE} &= 1 - \frac{P_{vac}}{P_{pla}} \end{align}\]

Una forma de estimar \(P_{vac}\) y \(P_{pla}\), es con el porcentaje de contagiados en cada grupo. Por ejemplo, continuando con AstraZeneca, esto es \(P_{vac}=\frac{30}{5807}=0.00516\) y \(P_{pla}=\frac{101}{5829} = 0.01732\), entonces \(RR = \frac{0.00516}{0.01732} = 29.8\%\), y \(VE=70.2\%\) que está bien cerca al valor publicado.

Sin embargo, el cálculo correcto se hace usando el Tiempo de Vigilancia, que es el acumulado del tiempo transcurrido en cada miembro del grupo hasta el momento de contagio. Por ejemplo, si un grupo tiene 3 miembros, el ensayo lleva 70 días, y uno se infectó en el día 40, otro en el 50 y el tercero aún no se ha contagiado, el tiempo de vigilancia del grupo es de \(40+50+70=160\), en días \(\times\) persona. Esta es una cuenta más precisa de la exposición a la infección en el grupo, y mejor aún, permite tener correctamente en cuenta a miembros del grupo que han ingresado o salido del ensayo en momentos diferentes.

En nuestro ejemplo, esto corresponde a:

\[\begin{align} \mathit{VE} &= 1 - \frac{30/0.680}{101/0.677} = 1 - 29.6\% = 70.4\% \end{align}\]

Que reproduce exáctamente el dato declarado por AstraZeneca.

1.2 La Eficacia de la Vacuna es una Variable Aleatoria

Como la Eficacia de la Vacuna \(\mathit{(VE)}\) depende de la cantidad de casos de contagio en cada grupo, y ésa es una variable aleatoria, la \(\mathit{VE}\) es entonces también una variable aleatoria. Es decir, hay un conjunto de valores posibles de la \(\mathit{VE}\), que conforman su distribución.

El valor que hemos calculado arriba estima la \(\mathit{VE}\) media de AstraZeneca. Pero es muy distinto saber que esa \(\mathit{VE}\) varía en \(70.4\% \pm 4\%\) a que varía en \(70.4\% \pm 20\%\). Esa dispersión es lo que mide el Intervalo de Confianza (IC).

En el cuadro arriba, el Intervalo de Confianza ha sido calculado por cada Fabricante para incluir el \(95\%\) de los \(\mathit{VE}\) posibles en cada distribución. No se hace al \(100\%\) de los valores posibles, porque es usual que una distribución tenga algunos casos anómalos (outliers) con valores muy altos o muy bajos, que causan un intervalo sumamente amplio por incluir dichos extremos. Entonces el \(2.5\%\) de los valores más pequeños y más grandes son ignorados, y el intervalo contiene el \(95\%\) de los posibles valores de \(\mathit{VE}\).

El problema aquí es que mientras menor es la eficacia media de la vacuna, más dispersos están sus valores, y mientras más dispersos, mayor es la incertidumbre de que la media es representativa de los valores posibles de la \(\mathit{VE}\) (ceteris paribus).

Por ejemplo el tamaño del IC en Pfizer es \(97.6-90.3 = 7.3\%\) mientras que el de AstraZeneca es de \(25.8\%\), es decir a menor media, más dispersión. Esto es algo que luego veremos causa un IC muy grande en los ensayos Peruanos.

1.3 ¿A partir de qué VE la Vacuna “Brinda Protección?”

En la documentación del protocolo de ensayo de las cuatro vacunas en el cuadro arriba “Declaración del Fabricante”, el ensayo es diseñado para probar con gran certeza de que su \(\mathit{VE}\) es mayor a cierto valor límite, lo cual define el criterio para determinar si la vacuna es exitosa. Por ejemplo, en el caso de Pfizer, su protocolo requiere que la vacuna tenga una eficacia mayor a \(30\%\) con una certeza por encima de \(98.6\%\). En el caso de AstraZeneca, una eficacia \(\mathit{VE}>50\%\), con una certeza arriba de \(95.1\%\).

La FDA de Estados Unidos [FDA-1] requiere, para autorizar el uso de emergencia de vacunas para prevenir Covid-19, que la vacuna tenga una eficacia mayor a \(50\%\). El criterio de confianza para esto es que el límite inferior del Intervalo de Confianza de la eficacia sea mayor que \(30\%\). En el cuadro arriba vemos que todas estas vacunas cumplen esos límites.

1.4 Datos de Ensayo en Perú Filtrado a la Prensa

A continuación tenemos un cuadro con algunos de los datos del ensayo “Sinopharm” filtrados a la prensa Peruana.

Debemos que tener en cuenta que se trata de dos vacunas diferentes, una es del “Beijing Institute of Biological Products + Sinopharm” y la otra de “Wuhan Institute of Biological Products + Sinopharm”, a las que nos referiremos como “Sinopharm[1]: Beijing Inst.” y “Sinopharm[2]: Wuhan Inst.” respectivamente. A menudo estas dos asociaciones conducen ensayos y prueban sus productos simultáneamente, como refiere este documento en the Lancet. La vacuna adquirida por Perú es la del Instituto Beijing.

Datos Filtrados por la Prensa de Perú
Ensayo Sinopharm en Perú
Vacuna	Tiempo de Vigilancia1		Nº Casos / Total2
	Vacuna	Placebo	Vacuna	Placebo
Sinopharm[1]: Beijing Inst.	0.5477	0.5396	142/2457	211/2458
Sinopharm[2]: Wuhan Inst.	0.5433	0.5396	188/2460	211/2458
1 En 1000 personas x año. 2 Cantidad de casos confirmados / Cantidad de personas en el grupo.

En este ensayo de las dos vacunas, el grupo de placebo es el mismo, por eso esos datos se repiten en el cuadro. El tiempo de vigilancia, originalmente en días \(\times\) personas, lo hemos convertido a 1000 personas \(\times\) año, para homogenizar los datos de todas las vacunas y poder aplicarles exáctamente los mismos metodos a todas en la siguiente sección.

“Hay que tener en cuenta que los hallazgos que hagamos a partir de estos valores interinos e incompletos, no describe la calidad real de éstas vacunas. Solo con la data final y consolidada de los ensayos podríamos recalcular estas estimaciones y reflejar la calidad real de éstas. Sin embargo, nos interesa tener una interpretación científicamente válida de lo que significan los números filtrados.”

2 Estimación de la Eficacia de las Vacunas

2.1 Métodos de Estimación

La estimación por cada fabricante de la Eficacia de su vacuna, referidas en el cuadro “Declaración del Fabricante” arriba, usa métodos de cálculo distintos. Pfizer y Sputnik usan un modelo Beta-Binomial, Moderna usa Cox estratificado de Hazard Ratios, y AstraZeneca estimación robusta de Poisson sobre los Hazard Ratios.

En el cuadro citado, tenemos suficiente información para reproducir el método de Pfizer sobre todas las vacunas y también para el ensayo Peruano. Esto nos dará la ventaja de poder comparar las vacunas mirándolas a traves del mismo lente.

El método de Pfizer, que denominamos “Binomial Gibbs”, es de tipo Bayesiano. Para simplificar el cálculo, éste usa la distribución Binomial como aproximación a la Poisson. Nosotros incluimos un método que denominamos “Poisson Bayes”, usando directamente la distribución de Poisson en un análisis de tipo Bayesiano completo.

2.2 Estimación con Binomial Gibbs (a lo Pfizer)

En el siguiente cuadro tenemos la Eficacia de las Vacunas estimadas con el método empleado por Pfizer y Sputnik (vea el modelo en detalle aquí). La última columna P(EV>30%) muestra el estimado de la probabilidad de que la Eficacia de la Vacuna sea mayor que \(30\%\).

Método Binomial Gibbs
Eficacia de las Vacunas
Vacuna	Media1	Intv.Confza.(95%)		P(EV>30%)1,2
		Lim.Inf1	Lim.Sup1
Pfizer	95.04	90.32	97.62	100.00
Moderna	93.95	89.19	96.76	100.00
AstraZeneca	70.43	56.00	80.48	100.00
Sputnik	91.55	85.64	95.19	100.00
Sinopharm[1]: Beijing Inst.	33.70	18.16	46.50	69.39
Sinopharm[2]: Wuhan Inst.	11.51	−7.53	27.40	1.01
1 Expresados como porcentajes. 2 Probabilidad de Eficacia > 30%.

Como era de esperarse, el método reproduce los valores declarados por Pfizer y Sputnik (en el cuadro “Declaración del Fabricante”). La Eficacia de Moderna y AstraZeneca, cualitativamente hablando, no ha cambiado.

Para Sputnik en lugar del Tiempo de Vigilancia –que no tenemos– usamos la cantidad de personas en cada grupo, tal como lo hace el mismo Sputnik en el análisis de su ensayo.

Usaremos los valores en este cuadro como referencia para revisar nuestro cálculo final en la siguiente sección.

2.3 Estimación con Poisson Bayes

En el cuadro a continuación, tenemos la Eficacia de las Vacunas estimadas usando el método Poisson Bayes (vea el modelo en detalle aquí). Para Sputnik, nuevamente usamos el tamaño de cada grupo en lugar del Tiempo de Vigilancia que no tenemos.

Método Poisson Bayes
Eficacia de las Vacunas
Vacuna	Media1	Intv.Confza.(95%)		P(EV>30%)1,2	Mediana
		Lim.Inf1	Lim.Sup1
Pfizer	94.72	91.03	97.83	100.00	94.96
Moderna	93.65	89.84	97.08	100.00	93.85
AstraZeneca	69.85	57.92	81.81	100.00	70.46
Sputnik	91.24	86.70	95.75	100.00	91.49
Sinopharm[1]: Beijing Inst.	33.30	18.82	46.55	69.05	33.67
Sinopharm[2]: Wuhan Inst.	11.28	−6.44	28.20	1.28	11.57
1 Expresados como porcentajes. 2 Probabilidad de Eficacia > 30%.

Este es el método que creemos es el más confiable y adecuado para medir la Eficacia de las Vacunas. Su resultado no se aleja demasiado de los resultados “a lo Pfizer”, probando que éste último no sacrifica precisión por sencillez. Asímismo, nos da confianza, que aunque estos dos métodos se calculan de forma muy diferente, éste –sin ninguna concesión por ganar sencillez de cálculo, lo que lo hace más robusto– trabaja correctamente.

Note que la media de la Eficacia de las Vacunas Sinopharm, y sus Intervalos de Confianza, coinciden cualitativamente con los valores filtrados a los medios.

Figure 2.1: Densidad de la Eficacia de las Vacunas. El área bajo cada densidad es la misma en cada vacuna. Note como mientras la densidad tiene menor media (más hacia la izquierda), la altura del pico de la densidad es menor, lo que corresponce a mayor dispersión, y consecuente menor certidumbre, tal como ya lo hemos comentado.

Este método permite además obtener la distribución (densidad) de la Eficacia de la Vacuna, que mostramos en el gráfico “Densidad de la Eficacia de las Vacunas” 2.1. Allí vemos que podemos estar seguros que la vacuna Sinopharm[1]: Beijing Inst. brinda protección, pues practicamente la totalidad de sus masa está está arriba de \(\mathit{VE} = 0\).

Sin embargo, no hay certidumbre que su eficacia sea mayor al \(30\%\): Si bien su pico está sobre \(\mathit{VE}=33\%\), una parte significativa de su masa (el \(30\%\)) está por debajo de ese límite. En principio, hace falta contar con una muestra más grande (tiempo \(\times\) personas) para poder ganar mayor certidumbre. Pero para para llegar a la certidumbre requerida, tendría que tener una dispersión aproximadamente tan angosta como la de Pfizer, lo cual corresponde a tener una muestra 16 veces más grande que la que ya tenemos, lo cuál parece muy improbable de alcanzar.

La eficacia de la vacuna Sinopharm[2]: Wuhan Inst. tiene la media más baja, debajo incluso de la referencia internacional del \(30\%\). Como consecuencia, su Intervalo de Confianza (IC) es muy amplio, y su límite inferior es incluso ligeramente negativo. Es decir, hay tal incertidumbre, que su IC no descarta la posibilidad de que la vacuna no brinde ninguna protección contra el contagio (\(\mathit{VE}=0\)).

Los valores filtrados a los medios, incluyen también una columna con valores-p (p-values), que son el resultado de una prueba \(\chi²\) (Chi-Cuadrado). Esta prueba usa una tabla de contingencia \(2 \times 2\) comparando cuantos contagiados/no-contagiados hay en el grupo de vacunados/placebo. La hipótesis nula (\(H_0\)) es que provienen de una misma distribución, es decir que la vacuna no hace ninguna diferencia. Cuando el p-value es muy pequeño, la \(H_0\) se rechaza, aceptando que son distribuciones diferentes.

En nuestro modelo, eso corresponde a verificar si P(EV>0), lo cual podemos validar que se cumple –al \(95\%\) de confianza– cuando el límite inferior del Intervalo de Confianza es positivo. Ya hemos analizado eso, encontrando que la vacuna de Beijing cumple, pero no la de Wuhan, coincidiendo con lo que indican los p-values filtrados a la prensa.

3 Resultados Secundarios

Los ensayos de las vacunas suelen tener objetivos adicionales (outcomes) al primario, que es probar que la vacuna tiene una eficacia por encima de determinado nivel. Éstos son llamados objetivos secundarios, y también son reportados en el informe del ensayo.

Por ejemplo, un objetivo secundario del ensayo de Pfizer busca confirmar su eficacia contra contagios severos de Covid-19. Esto es similar, en los datos filtrados, a evitar Hospitalización. A continuación vamos a estimar la Eficacia del ensayo Peruano Sinopharm en sus objetivos secundarios según la data filtrada.

3.1 Método de Estimación

Vamos a hacer las estimaciones continuando el uso del modelo Poisson Bayes, que usamos para el objetivo primario. Este método es el más robusto que tenemos, y por lo tanto adecuado para la casuística de pequeño tamaño que tenemos aquí.

En la data filtrada a la prensa, el “brazo 1” (Beijing Inst.), muestra cero fallecimientos en vacunados, contra dos en placebo. Si hacemos el cálculo puntual de la Eficacia, el numerador del Riesgo relativo (RR) es cero y en consecuencia la Eficacia puntual es de \(100\%\), que es el valor que señala dicha data filtrada.

Sin embargo, tal estimación, no toma en cuenta que la cantidad de fallecidos en el grupo de vacunados y de placebo, son dos variables aleatorias. Es decir, no considera la posibilidad de que de los 142 vacunados contagiados, no han habido fallecidos solo por azar, y que –por ejemplo– de repetir el ensayo, o de probarlo con una cantidad mucho mayor de vacunados, sí observaríamos fallecimientos. En cambio, el modelo Poisson Bayes que usamos, sí considera esa aleatoriedad.

También en el ensayo para la vacuna de Beijing, para “Desaturación (<93%)”, muestra 6 casos en vacunados, y 16 en placebo. Si calculamos la Eficacia puntual en este caso, estimando la probabilidad de Desaturar con la proporción entre la cantidad de Desaturados y la de participantes en el grupo, tenemos:

\[ \mathit{EV} = 1- \frac{6/2457}{16/2458} = 62.5 \% \] Que está muy cerca de la eficacia de \(62.9\%\) en la data filtrada. Este cálculo estima la eficacia combinada de la vacuna protegiendo contra contagio y Desaturación. Aquí nos interesa conocer, por separado, la Eficacia en evitar “Desaturación” entre las personas contagiadas y la eficacia contra el contagio. Por lo tanto, las proporciones para calcular la Eficacia, deben tomar en cuenta la cantidad de contagiados y no la de participantes en cada grupo:

\[ \mathit{EV} = 1- \frac{6/142}{16/211} = 44.3 \% \] Como vemos, esta consideración trae resultados diferentes. Lo mismo se aplica para los demás objetivos secundarios. Con el modelo Poisson Bayes calcularemos la Eficiencia de la Vacuna en los objetivos secundarios aplicando estas sugerencias.

3.2 Resultados Secundarios de Vacuna Sinopharm[1]: Beijing Institute

El gráfico “Eficacia de Sinopharm[1]: Beijing en Objetivos Secundarios” 3.1 muestra la Eficacia de la Vacuna para evitar Fallecimiento con un pico sobre un alto valor de Eficacia \((\mathit{VE}=93\%)\). Lamentablemente, la certidumbre es muy baja, lo cual se refleja en una cola larga hacia la izquierda, incluso sobre valores negativos. Este es el caso que comentamos anteriormente, con cero fallecidos en vacunados y apenas dos en placebo. Como consecuencia de la cola larga, la media está sobre \(51\%\) y no hay certidumbre de su eficacia.