Derivação da resposta livre de kappa

Por dois avaliadores, o costume de kappa estatística (Po-Pe)/(1-Pe) onde Po é a proporção observada concordante classificações e Pe é o esperado proporção de concordante classificações por acaso. Quando a classificação é dicotómica, os dados podem ser resumidos numa tabela 2 × 2. Vamos denotar por a o número de resultados que são classificados como negativos por ambos os avaliadores, b e c, o número de conclusões avaliado como positivo por um avaliador, mas negativa para o outro, e d o número de resultados classificada como positiva tanto pelos avaliadores. Existem, portanto, pares concordantes + D de notações e pares discordantes b + c entre N pares de observações. Assumindo que as observações são mutuamente independentes, Po é estimado por (A + d)/N e Pe por /N2. Então, a estatística kappa (neste caso, kappa de Cohen) é dada por:

Quando os pacientes podem contribuir mais do que uma observação, os dados são agrupados. Yang et al propôs uma estatística kappa obtido a partir da fórmula usual (Po-Pe)/(1-Pe), onde Po é uma média ponderada das proporções de acordo sobre clusters (pacientes) e Pe é obtido a partir de médias ponderadas das proporções marginais das classificações de cada avaliador. Com esta abordagem, a kappa para dados agrupados tem a mesma estimativa de quando a agregação é ignorada. Por conseguinte, o quadro de base 2 × 2 é igualmente adequado para a estimativa do acordo para os dados agrupados.para a avaliação da resposta livre, cada rater relata Apenas resultados positivos e o número a é Desconhecido. Seria errado substituir a por 0, como se os raters não tivessem concordado com qualquer observação negativa; tanto o acordo observado como a kappa seriam subestimados. Também seria incorreto simplesmente substituir a pelo número de pacientes sem qualquer resultado positivo, pois existem vários locais potenciais de lesão em cada paciente. Tipicamente, a pode ser considerada alta em exames de imagem, porque cada saída exibe um grande número de estruturas ou subestruturas anatômicas ou funcionais, cada uma potencialmente positiva ou negativa. Assim, o número de resultados positivos num determinado doente é geralmente pequeno em comparação com o número potencial de anomalias que podem ocorrer.propomos aqui uma estatística kappa que descreve a kappa de Cohen como uma aproximação ao infinito. A derivada parcial da estatística kappa definida em Eq. (1) no que diz respeito a A is:

Esta derivada parcial é positivo, portanto, a estatística kappa aumenta monotonously com um. Além disso, este derivativo tem um limite nulo, como se aproxima do infinito, o que implica que a estatística kappa tem um limite finito, como se aproxima do infinito. Chamamos a isto limite a resposta livre kappa (KFR). Por Eq. (1), KFR é a razão de duas funções de A, f (a) = 2 (ad-bc) e g (A) = (b + C) (A + b + C + d) + 2 (ad-bc), ambas se aproximam do infinito como um se aproxima do infinito, de modo que sua razão é indeterminada. Pela L’Hôpital regra, KFR, igual ao limite do rácio entre as derivadas parciais de f em (a) e g (a) como um se aproxima de infinito, o que acaba por ser

Propriedades de resposta livre de kappa

KFRhas várias propriedades interessantes. Não depende de a, mas apenas das observações positivas b, c e D. Por conseguinte, a incerteza quanto a a a não exclui que a estimativa do acordo seja impossível se o número de conclusões negativas puder ser considerado muito elevado.

ao interpretar KFR, é útil considerar o número de classificações feitas por cada rater individualmente. O primeiro rater fez observações positivas c + d, e o segundo rater fez observações positivas b + D. Portanto, o denominador b + c + 2d é o número total de positivos individuais observações feitas por 2 avaliadores, 2d é o número de observações feitas pelo avaliador que foram confirmadas pelos outros, e b + c é o número de observações feitas pelo avaliador que não foram confirmadas pelos outros. O KFR é, portanto, a proporção de observações individuais positivas confirmadas entre todas as observações individuais positivas. Uma estatística do KFR de 0,5 significa que metade dos resultados positivos foram confirmados pela outra taxa, que pode ser considerada média, enquanto que 0.8 pode ser considerado muito bom. Isto está de acordo com as normas de interpretação publicadas para a Kappa de Cohen .

Quando os dados são agrupados, O KFR pode ser obtido diretamente através do colapso das tabelas 2 × 2 de todos os aglomerados em uma única Tabela 2 × 2 e aplicação do Eq. (2). O KFR agregado é uma média ponderada das estatísticas kappa de resposta livre individuais de doentes com pelo menos uma observação positiva (cada doente é indexado por k):

, onde cada peso vk representa a percentagem de classificações positivas em paciente k entre todos avaliações positivas:

segue-se que pacientes sem lesões detectadas não contribuem para a estimativa de KFR; seu peso é zero. Por conseguinte, não é necessário ter em conta o agrupamento de doentes para calcular o KFR, e os doentes sem resultados positivos podem ser ignorados.

da nota, a equação para KFR corresponde à proporção de acordo específico (positivo) como descrito por Fleiss . Enquanto a equação é idêntica, o propósito e interpretação são diferentes. Para Fleiss, um acordo positivo específico (e também um acordo negativo específico) é uma estatística complementar que melhora a interpretação do acordo global. A omissão de duas observações negativas é uma decisão a priori. O importante é que Fleiss está interessado em um acordo observado, não em um acordo corrigido para o acaso. Finalmente, Fleiss não aborda o contexto de resposta livre.variância da resposta livre kappa

porque o KFR Está ligado por 0 e 1, Nós primeiro normalizamos o estimador tomando o logit de KFR, ou seja ln (KFR/(1 – KFR)). A variância da estimativa logit (KFR), obtido pelo método delta (Anexo 1) é:

Assim, um intervalo de confiança podem ser obtidos para logit (KFR), e o limite superior e inferior de confiança limites de trás-transformados para a escala original.

Uma abordagem alternativa é fazer uso da relação direta entre KFR e a proporção de congruente pares de observações entre todas as observações disponíveis, p = d/(b + c + d). É facilmente mostrado que KFR = 2p / (1 + p). Portanto, um intervalo de confiança de 95% pode ser obtido para p, usando qualquer método disponível para proporções binomiais, incluindo métodos exatos, e os limites de confiança podem então ser transformados de volta para a escala KFR.

temos simulado o desempenho de três métodos de intervalo de confiança para observações independentes em valores KFR de 0.3, 0.5, 0.7 e 0.9, e para tamanhos de amostra (N = b + C + d) de 20, 50, 100 e 200. Para cada condição que gerou 50’000 amostras aleatórias de uma distribuição binomial com parâmetros N e p, onde p foi definido por KFR/(2-KFR), que é o inverso da equação KFR = 2p/(1 + p). Para cada amostra, calculámos um intervalo de confiança de 95% utilizando NQA. (3) para o logit do KFR, e também utilizando dois métodos para o parâmetro binomial p Que são adequados para pequenas amostras em que os métodos assintóticos podem produzir resultados incorrectos: o método Agresti-Coull e o método Clopper-Pearson . Para cada situação relatamos o valor simulado médio do KFR, a proporção de intervalos de confiança que incluem o valor verdadeiro, e a largura média dos intervalos de confiança.os três métodos foram bem executados (Quadro 1). Intervalos de confiança com base na QEQ. (3) tinha uma cobertura reduzida (0,932) quando o tamanho da amostra e o KFR eram ambos pequenos. Isto porque neste caso 2% das amostras eram degeneradas (d = 0 ou d = N), EQ. (3) não foi possível aplicar (se tivéssemos excluído estas amostras, a cobertura teria sido 0,951). O método Clopper-Pearson produziu os mais altos níveis de cobertura, mas isso foi à custa de intervalos de confiança desnecessariamente grandes. Os intervalos de confiança foram mais estreitos para o Eq. (3) e para o método Agresti-Coull.

De observação, o valor médio observado KFR foram ligeiramente abaixo dos valores de parâmetro, especialmente em baixa tamanhos de amostra. Isto é porque simulamos com um parâmetro fixo p, E KFR = 2p/(1 + p) é uma função côncava. Por desigualdade de Jensen, a expectativa de uma função côncava de p (i.e., o KFR médio observado) será então menor que a função da expectativa de p (i.e., o KFR que corresponde ao parâmetro p).para serem válidos, estes métodos de estimativa exigem que as observações sejam mutuamente independentes. Isto pode aplicar-se em algumas circunstâncias: por exemplo, se for aplicado um teste de rastreio emparelhado a uma grande população, e apenas aqueles com pelo menos um resultado positivo são remetidos para investigação posterior. Mas para a maioria dos procedimentos de imagiologia os dados são naturalmente agrupados dentro dos pacientes. Então a variação assintótica proposta de KFR seria tendenciosa. Em presença de agrupamento, pode ser utilizado um procedimento de bootstrap para obter um intervalo de confiança (ver Apêndice 2).