Classificação

• Um outro problema dentro de aprendizado supervisionado é a classificação
  • $y$ é discreto:
    • e-mail: SPAM/não SPAM?
    • transções online: fraudulenta/normal?
    • tumor: maligno/benigno?
• vamos começar com um problema de classificação binária (veremos multiclasse depois)

Classificação

• Podemos usar regressão linear?
• $y$ pode ser representado como $0$ ou $1$:
  • $0$: classe negativa
  • $1$: classe positiva
  • Um ponto de corte no valor predito (p.ex. acima de 0.5), é classificado como classe positiva

Classificação

• E se tivermos poucos exemplos da classe 1? Provavelmente a inclinação da reta seria menor, e classificaríamos tudo com classe $0$.
• Nossa hipótese também prediz valores abaixo de 0 e acima de 1, apesar da classe só poder assumir os valores 0 e 1.
• Regressão logística pode contornar esses problemas

Regressão logística

• Apesar de se chamar regressão, é um algoritmo de classificação
• A hipótese tem a forma de $h_theta(x) = g((\theta^\intercal x))$, em que:
  $g(z) = \frac{1}{1+e^{-z}}$
• Essa é a função sigmoid ou função logística
• Podemos reescrever $h_theta(x)$ como
  $h_\theta(z) = \frac{1}{1+e^{-\theta^\intercal x}}$

Regressão logística

Fronteira de decisão

• Para predizer a classe, utilizamos aquela com maior probabilidade, segundo o modelo
  • Isso é equivalente a predizer a classe $1$ se $h_\theta(x) > 0.5$, e a classe $0$ caso contrário
• Observando a função logística, temos que $h_\theta(x) = 0.5$ quando $z=0$.
• Como $z = \theta^\intercal x$, a linha $\theta^\intercal x = 0$ é a fronteira de decisão entre as duas classes
  $\theta^\intercal x > 0$: predizer classe $1$
  $\theta^\intercal x leq 0$: predizer classe $0$

Fronteira de decisão

• A linha em que $h_\theta(x) = 0.5$ (ou que $\theta^\intercal x = 0$) é a fronteira de decisão.

Fronteira de decisão não linear

• Se adicionarmos novos atributos que fazem uma transformação não linear nos dados (como na aula passada, em que fizemos regressão polinomial adicionando atributos do tipo $x^k$)

• Por exemplo, se adicionarmos atributos quadráticos, podemos ter fronteiras de decisão do tipo

função de custo para regressão logística

• Nossa hipótese é
  $h_\theta(z) = \frac{1}{1+e^{-\theta^\intercal x}}$
• Na regressão linear temos que
  $J(\theta) = \frac{1}{m}\sum_i^m Cost(h_\theta(x),y)$
  Em que o custo é definido como:
  $Cost(h_\theta(x),y) = \frac{1}{2} (h_\theta(x)-y)^2$

função de custo para regressão logística

• Podemos usar a mesma função de custo para regressão logistica?
  • Essa função de custo é não convexa (a função da nosso hipótese (sigmoid) é não linear)
  • Ao tentar miniminar, podemos ter muitos mínimos locais
  • O algoritmo da descida do gradiente pode não encontrar os melhores valores para $\theta$
  • Temos uma função convexa para por no lugar?

função de custo para regressão logística

• Uma função de custo convexa:

$Cost(h_\theta(x),y) = \begin{cases} -log(h_\theta(x)) & se y=1\\ -log(1-h_\theta(x)) & se y=0 \end{cases}$

função de custo para regressão logística

função de custo para regressão logística

• Como só temos duas classes, podemos escrever a função de custo de uma maneira mais compacta:

$Cost(h_\theta(x),y) = -ylog(h_\theta(x)) - (1-y)log(1-h_\theta(x))$

• Essa função pode ser derivada da estatística, usando o princípio da estimação da máxima verossimilhança
• Assume que existe uma distribuição Gaussiana dos atributos
• É convexa

Além do gradiente descendente

• Existem outras possíveis maneiras de minizar a função de custo

  • Gradiente conjugado
  • BFGS
  • L-BFGS
  • ...

• São algoritmos mais complexos e otimizados, que podem ser aplicados à mesma entrada e função de custo

Além do gradiente descendente

• Vantagens:
  • Não precisamos ajustar $\alpha$ (taxa de aprendizado) manualmente
  • Testam vários $\alpha$ internamente para escolher o mais adequado (além de outras melhorias)
  • Em geral, mais rápidos que o gradiente descendente
• Desvantagens
  • Difícil "acompanhamento"
  • Difícil implementação
  • Diferentes bibliotecas usam diferentes otimizações (desempenho diferente)

Regressão logística multiclasse

• Poblemas multiclasse: mais de duas classes
  

Regressão logística multiclasse

• Estratégia "um contra todos" (one-versus-all ou one-versus-rest)
  • Dividir o conjunto de dados em diversos problemas de classificação (igual ao número de classes)
  • Em cada problema, uma das classes é a positiva, e as demais são agrupadas na negativa
  • Escolher a classe que maximiza $P(y=1 | x_k; \theta)$, em que $k$ é a classe positiva no problema de classificação $k$

Regressão logística multiclasse