Universidade Federal de Santa Maria

Ci. e Nat., Santa Maria v.42, e82, 2020

DOI: 10.5902/2179460X40068

ISSN 2179-460X

Received: 18/09/2019 Accepted: 05/06/2020 Published: 12/12/2020

Geociências

Avaliação relativa do desempenho de algoritmos congêneres orientados à classificação supervisionada de imagens implementados em diferentes softwares: implicações à interpretação dos resultados

Relative performance evaluation of similar supervised classification methods implemented in different geoinformation systems: impacts on the users’ interpretation

Arthur Duarte VieiraI

João Vitor Meza BravoII

Vinicius Francisco RofattoIII

George Deroco MartinsIV

I   Universidade Federal de Uberlândia, Uberlândia, Brasil - arthurduarte.eac@gmail.com

II  Universidade Federal de Uberlândia, Uberlândia, Brasil - jvmbravo@gmail.com

III Universidade Federal de Uberlândia, Uberlândia, Brasil - vfrofatto@gmail.com

IV Universidade Federal de Uberlândia, Uberlândia, Brasil - deroco@ufu.br

Resumo

O presente artigo propõe avaliar o desempenho de algoritmos congêneres implementados em diferentes sistemas de geoinformação, a fim de verificar se há diferença no resultado da classificação da imagem em função da plataforma utilizada. Para certificar a hipótese levantada, selecionou-se softwares à comparação, a saber, o SAGA GIS e ENVI. O cenário idealizado contemplou a operação de classificação conduzida por um usuário sem educação formal em Sensoriamento Remoto, avaliando-se os impactos dos resultados na interpretação realizada por este indivíduo. Foram dadas condições equivalentes para todos os algoritmos e sistemas selecionados, i.e., os parâmetros default dos sistemas, simulando, assim, um operador desprovido de conhecimento do funcionamento dos algoritmos. Com efeito, os resultados demonstraram que algoritmos iguais, implementados em softwares diferentes, podem gerar resultados ora distintos, ora equivalentes, o que impacta diretamente na interpretação dos resultados. É necessário, portanto, atenção na seleção da técnica de classificação e do software, para que se obtenha resultados equivalentes, passíveis de serem interpretados com as mesmas condições.

Palavras-chave: Sensoriamento remoto; Classificação de imagem; Sistemas de geoinformação; Análise de desempenho; Baixo custo.

Abstract

In this paper we evaluated the performance of similar algorithms implemented in different geoinformation systems, in order to verify if there are differences among the results of the image classification processes, according to the platform used. We have selected two geoinformation systems commonly used for this purpose: SAGA GIS and ENVI. We have idealized a scenario where a user without formal education in Remote Sensing techniques carried the classification and interpreted the results. Therefore, we have evaluated the impacts of such analyses, which possibly would lead to mistakes. For this reason, we have given equivalent conditions for all algorithms and the systems selected, i.e., we have used the default parameters, for simulating an operator without formal education in Remote Sensing. In fact, the results showed that the same algorithm implemented in different software, generates different results, which impacts directly on the user’s interpretation. Therefore, it was confirmed that there must be attention while selecting a geoinformation system and an algorithm in order to perform an image classification. Otherwise, there will be inequivalent results among the software, which impacts on the user’s capacity of interpretation.

Keywords: Remote sensing; Image classification; Geoinformation systems; Performance analysis; Low cost.

1     Introdução

O processo de classificação de imagens no Sensoriamento Remoto é um procedimento voltado à categorização dos pixels de uma imagem, segundo a identificação de classes espectrais que podem ser associadas às classes de cobertura do solo (LILLESAND et al., 2004; CENTENO, 2009). Tal categorização é obtida por meio da transformação dos números digitais associados aos pixels da imagem em valores que se agrupam em classes temáticas. Especificamente, os pixels são agrupados e de acordo com as semelhanças nos números digitais, considerando-se modelos estatísticos ou determinísticos (STEIN et al., 1999; LILLESAND et al., 2004; CENTENO, 2009).

O processo de classificação de imagens no Sensoriamento Remoto pode ser executado mediante a utilização da técnica não-supervisionada e a técnica supervisionada (CRÓSTA, 1992; STEIN et al., 1999; LILLESAND et al., 2004; CANTY, 2006; RICHARDS, 2012). A classificação não-supervisionada é realizada com o intuito de se fazer uma análise exploratória dos elementos existentes em uma imagem, a fim de se evitar a subestimação ou a superestimação da quantidade de classes na geração do mapa temático (CANTY, 2006). Já classificação supervisionada é realizada segundo o treinamento prévio de um operador, procedimento no qual são estabelecidas zonas de identificação ou pixels de feições conhecidas (CANTY, 2006). Neste caso, as informações obtidas nos treinamentos são utilizadas como referência para se realizar a classificação dos pixels da imagem (CENTENO, 2009). Vale ressaltar que, na classificação supervisionada os erros podem ser atribuídos ao despreparo do operador ao escolher a quantidade e a distribuição das amostras de treinamento e, também, ao selecionar um algoritmo. Na literatura, pouco se discute sobre as diferenças entre os algoritmos de classificação supervisionada implementados em diferentes softwares, o que pode levar a diferentes interpretações, considerando-se o cenário de operação no qual se tem usuários com diferentes níveis de conhecimento sobre o uso das técnicas.

Ao se revisar esta temática, é possível identificar grande variedade de algoritmos empregados no processo de classificação supervisionada, implementados em diferentes softwares (SMITS e SCHOWENGERDT, 1999; ERBEK 2004; PERUMAL e BHASKARAN, 2010; DUARTE et al., 2018; CAMPOS et al. 2016). No universo de opções, destacam-se os seguintes modelos: Minimum Distance, Spectral Angle Mapper, Maximum Likelihood, Mahalanobis Distance (KRUSE, 1993; STEIN et al., 1999; LILLESAND et al., 2004; PERUMAL e BHASKARAN, 2010; RICHARDS, 2012). Apesar do uso difundido destas técnicas de classificação supervisionada, é possível afirmar que o desempenho individual destes algoritmos nem sempre é observado pelos operadores, que, além de desconhecer os impactos da seleção de um método em função dos objetivos da classificação, desconhecem, também, as possíveis diferenças entre os resultados gerados por um mesmo classificador implementado em diferentes softwares. Este fenômeno é natural ao se considerar o contexto tecnológico no qual há maior demanda pelo uso e produção de geoinformação, bem como, há o crescimento do número de operadores sem educação formal no uso e produção de dados espaciais (HEIPKE, 2010; ELVWOOD et al., 2012; SEE, 2016).

Nesse sentido, sabe-se que o desempenho dos diferentes algoritmos de classificação supervisionada já foi avaliado em função: (1) das correspondências dos resultados das classificações obtidas mediante a aplicação de diferentes classificadores implementados em um mesmo software (ERBEK, 2004; PERUMAL e BHASKARAN, 2010; CAMPOS et al. 2016; DUARTE et al., 2018) e; (2), em função do custo de projeto (SMITS e SCHOWENGERDT, 1999). É comum encontrar avaliações realizadas função da na interpretação do coeficiente Kappa e da matriz de confusão. Contudo, estes indicadores buscam avaliar a qualidade do mapeamento realizado e não o desempenho do algoritmo, especificamente. (LILLESAND et al., 2004; CANTY, 2006; CENTENO, 2009; RICHARDS, 2012). Assim, do ponto de vista computacional (BARR et al., 2001; GREENBERG, 1990), observar somente estes critérios não permite que se avalie o desempenho dos algoritmos.

Para computação, as pesquisas científicas voltadas à avaliação do desempenho dos algoritmos recorrem ao estudo da robustez do método; à observação dos resultados ótimos; à verificação do tempo decorrido para se encontrar (a) o resultado ótimo e (b) quaisquer resultados (BARR et al., 2001). Dessa forma, considerando-se estes critérios, elaborou-se o presente estudo, a fim de verificar se há diferença de desempenho de um mesmo algoritmo de classificação supervisionada implementado em diferentes sistemas de geoinformação. Entende-se que no cenário de uso e produção de dados espaciais realizados por indivíduos sem educação formal (HEIPKE, 2010; ELWOD et al., 2012; GRIFFIN e FABRIKANT, 2012) é importante conhecer a equivalência dos resultados da aplicação das técnicas implementadas em softwares distintos, para que se tenha a real noção das implicações da escolha de uma determinada ferramenta.

Posto o questionamento, a hipótese que se levanta é que se os algoritmos foram implementados seguindo lógicas e condições equivalentes, espera-se que o desempenho seja semelhante em termos de tempo de execução e correspondência entre os resultados na atribuição das classes, independentemente da plataforma (software) utilizada. Dessa forma, as diferenças nas interpretações emanariam, apenas, dos fatores humanos envolvidos no processo, descartando a possibilidade de conflitos advindos dos resultados da escolha de diferentes softwares.

2     MÉTODO

Para sintetizar os procedimentos adotados nesta pesquisa elaborou-se a Figura 1.

Figura 1 – Fluxograma dos procedimentos metodológicos

 

Na Figura 1 pode-se visualizar que a metodologia de avaliação proposta neste estudo foi realizada mediante 4 etapas principais. Nos próximos itens, tais etapas serão apresentadas detalhadamente.

2.1 Aquisição dos dados e caracterização da área de estudo

Para realizar o presente estudo foi selecionada uma cena capturada pelo sensor Multispectral Instrument (MSI), instalado a bordo do satélite Sentinel-2, com resolução espacial de 10 metros, disponível na plataforma EarthExplorer, pertencente ao Serviço Geológico dos Estados Unidos (USGS).

A área de estudo encontra-se localizada no limite dos estados de Goiás e Minas Gerais e compreende uma extensão de 3600 km² (Figura 2). A região é caracterizada pela diversificação de classes de informação geográfica, identificadas pela presença de atividades agrícolas de diferentes culturas, vegetações nativas de diferentes espécies, regiões de reflorestamento, rios perenes, solos com diferentes características e regiões urbanizadas. Tais condições reproduzem um cenário diversificado de alvos com respostas espectrais distintas, situação comum nas operações de classificação de imagens de satélite.

Com o objetivo de melhor discriminar as classes de informações presentes na imagem, optou-se por selecionar uma cena recente, datada em 27/09/2018, utilizando a composição entre as bandas 8, 5 e 4. Esta operação reproduz um contexto comum às aplicações que demandam a interpretação fenômenos relacionados à caracterização de uso da terra, no qual se faz uma composição de imagens nas bandas do Infravermelho-próximo, vermelho e verde.

Figura 2 – Mapa de localização da área de estudo

 

Dessa forma, a escolha da área de estudo com tais características visou reproduzir um contexto de operação comum no Sensoriamento Remoto, no qual há diversidade de alvos com respostas espectrais distintas. Tal cenário de operação heterogêneo pode complicar a atuação de usuários sem educação formal em Sensoriamento Remoto, quando há avaliação dos resultados da classificação da imagem sem que se pondere a correta escolha do algoritmo e das condições de execução (parâmetros) no software.

2.2 Sistemas de Geoinformação e Algoritmos de Classificação

Em consequência dos avanços tecnológicos na área das informações espaciais, encontra-se disponível uma vasta diversidade de softwares para a produção e manipulação de geoinformação. Dentro do universo de possibilidades, é possível encontrar softwares de licenças livres e softwares de licenças pagas.

Dentre os softwares livres, pode-se destacar as plataformas QGIS e SAGA GIS, pois ambos são softwares livres e com código fonte aberto, o que possibilita aos pesquisadores executar, estudar, distribuir e realizar modificações nos algoritmos implementados. Já entre os softwares de licenças pagas pode-se destacar as plataformas ENVI e ArcGIS, os quais são referências para os usuários de geoinformação, empresas e comunidade acadêmica.

Desta forma, com a finalidade de verificar a hipótese levantada, buscou-se selecionar softwares livres e pagos que permitissem em seu ambiente a execução de algoritmos de classificação supervisionada de imagens. Sendo assim, dentre os softwares destacados anteriormente, foram selecionados para o estudo de caso levantado nesta pesquisa o SAGA GIS, que possui uma extensão implementada dentro do QGIS e o ENVI. O software ArcGIS foi descartado desta análise visto que há implementado um único algoritmo de classificação supervisionada em seu sistema. Tais softwares são comumente utilizados por operadores que executam o processo de classificação de imagens de satélite. Por conta da interface amigável, esses softwares permitem que usuários sem educação formal em Sensoriamento Remoto operem os recursos instalados.

Após a seleção dos softwares para o estudo de caso, foi necessário realizar a seleção dos algoritmos de classificação supervisionada. Considerou-se (a) os algoritmos comumente usados pelos operadores no processo de classificação e, (b) os algoritmos congêneres disponíveis nos softwares selecionados. Assim, selecionou-se os seguintes algoritmos, com as seguintes lógicas de funcionamento:

1 Minimum Distance: baseado na distância espectral entre as assinaturas espectrais dos pixels da imagem e as assinaturas espectrais de treinamento.

(1)

Onde:

xi = vetor de assinatura espectral de um pixel de imagem;

y(j,i) = representa o valor da média da classe j na banda i;

n = número de bandas de imagem;

Portanto, a distância é calculada para cada pixel na imagem, atribuindo a classe da assinatura espectral que está mais próxima, de acordo com a seguinte função discriminante (RICHARDS, 2012):

(2)

Onde:

Ck = classe de cobertura do solo k;

yk = assinatura espectral da classe k;

yj = assinatura espectral da classe j;

É possível definir um limite 𝑇𝑖 para excluir pixels abaixo desse valor da classificação:

(3)

2 Spectral Angle Mapper: calcula o ângulo espectral entre as assinaturas espectrais dos pixels da imagem e as assinaturas espectrais de treinamento. O ângulo espectral 𝜃 é definido como (KRUSE et al., 1993):

(4)

Onde:

x = vetor de assinatura espectral de um pixel de imagem;

y = vetor de assinatura espectral de uma área de treinamento;

n = número de bandas de imagem;

Portanto, um pixel pertence à classe que possui o menor ângulo, ou seja:

(5)

Onde:

Ck = classe de cobertura do solo 𝑘;

yk = assinatura espectral da classe 𝑘;

yj = assinatura espectral da classe 𝑗.

3 Maximum Likelihood: Método baseado na probabilidade de um pixel pertencer a uma determinada classe. Em particular, as distribuições de probabilidade para as classes são assumidas como forma de modelos normais multivariados (RICHARDS, 2012). A função discriminante, descrita por Richards (2012) é calculada para cada pixel como:

(6)

Onde:

Ck = classe de cobertura do solo k;

x = vetor de assinatura espectral de um pixel de imagem;

p(Ck) = probabilidade de que a classe correta seja Ck;

|Σk | = determinante da matriz de covariância dos dados da classe Ck;

Σk^ (-1) = inverso da matriz de covariância;

yk = vetor de assinatura espectral da classe k;

Assim sendo:

(7)

Além disso, é possível definir um limite para a função discriminante, a fim de excluir pixels abaixo desse valor da classificação. Considerando um limiar 𝑇𝑖 a condição de classificação torna-se:

(8)

4 Mahalanobis Distance: diferente do Minimum Distance, esse método considera a variabilidade de classes em cada banda, e, também, a correlação entre bandas, ao incluir os elementos de covariância. Assim, o cálculo da distância é dado por:

(9)

Onde:

xi = vetor de assinatura espectral de um pixel de imagem;

y(j,i) = representa o valor da média da classe j na banda i;

n = número de bandas de imagem;

S²(j,i) = a variância da classe j na banda i; e j representa o valor do pixel na banda i;

Os algoritmos selecionados são reconhecidamente utilizados em diversos estudos em Sensoriamento Remoto, conforme verificado na literatura clássica (KRUSE, 1993; STEIN et al., 1999; LILLESAND et al., 2004; AL-AHMADI; HAMES, 2009; CENTENO, 2009; PERUMAL; BHASKARAN, 2010; RICHARDS, 2012).

2.3 Procedimentos padronizados adotados na classificação

Independente da variedade dos algoritmos de classificação supervisionada disponíveis, sejam aqueles baseados em distribuições de probabilidade ou aqueles nos quais o espaço de medição espectral é particionado geometricamente em regiões específicas de classe, os procedimentos essenciais que compõem o processo de classificação de imagens segundo Richards (2012) são:

1.         Determinação das classes de uso e cobertura do solo presentes na área de estudo;

2.         Escolha dos pixels representativos para cada uma das classes determinadas (dados de treinamento);

3.         Utilizar os dados de treinamento para estimar os parâmetros do algoritmo classificador a ser empregado; o conjunto de parâmetros é conhecido como a assinatura dessa classe;

4.         Processo de classificação da imagem; usando o classificador treinado para rotular cada pixel na imagem como pertencente a uma das classes especificadas na etapa 1;

5.         Produção dos mapas temáticos que resumem associações de classe de todos os pixels na imagem, a partir dos quais as áreas das classes podem ser medidas;

6.         Avaliação da precisão do produto final usando um conjunto de dados de teste rotulado.

Para o desenvolvimento desta etapa do presente artigo, seguiu-se tais procedimentos propostos por Richards (2012), com exceção do processo de avalição descrito na etapa 6, tendo em vista que o objetivo do estudo é avaliar o desempenho dos algoritmos em função da plataforma utilizada, e não avaliar a qualidade/assertividade dos produtos gerados (imagens classificadas).

Deste modo, visando verificar as classes de uso e cobertura do solo presentes na área de estudo, realizou-se uma análise visual sobre a cena escolhida. A partir da análise, foi possível identificar quatro classes predominantes, as quais possivelmente se associam aos alvos: vegetação, solo exposto, água e regiões urbanizadas. As classes identificas foram utilizadas, posteriormente, como referências na coleta das amostras de treinamento.

Para o estabelecimento das amostras de treinamento foi utilizado o método de amostragem sistemático não alinhado proposto por Lamparelli et al., (2001). Este método consiste em dividir a região a ser amostrada em sub-regiões uniformemente distribuídas, onde em sequência, foram definidas as amostras de treinamento das classes de informações selecionadas (LAMPARELLI et al., 2001). Deste modo, sobre a área de estudo, foram estabelecidas 36 sub-regiões (1 km² cada), onde sempre que possível, em cada sub-região, foram coletadas pelo menos duas amostras de cada classe.

Buscando uma melhor qualidade no processo de coleta das amostras, foi realizado na área de estudo uma classificação não-supervisionada com 5 classes de informações, com objetivo de verificar o comportamento espectral das classes. Após este procedimento, as amostras foram coletadas. A Figura 3 mostra a distribuição espacial das amostras na área de estudo.

Figura 3 – Distribuição espacial das amostras de treinamento

 

Visando reproduzir diferentes regiões com classes diversificadas, foi realizado um processo de segmentação da área de estudo em quatro partes (30kmx30km cada) e em nove partes (20kmx20km cada), tendo assim, um total de treze imagens classificadas. Este procedimento foi realizado com a finalidade de se obter redundância nos resultados para posterior verificação estatística. A Figura 4 exemplifica a segmentação realizada.

Figura 4 – Segmentação da área de estudo

 

No desenvolvimento desta pesquisa, quando a segmentação foi de n=4, as imagens foram nomeadas segundo a sequência de 1A a 4A. Na segmentação n=9, as imagens foram nomeadas segundo a sequência de 1B a 9B, conforme representado na Figura 4.

Para realizar do processo de classificação e garantir-se a compatibilidade entre os resultados, foram dadas condições equivalentes aos softwares/algoritmos selecionados, i.e., os dados de treinamento coletados e os parâmetros utilizados foram idênticos entre todos os sistemas.

Para a definição dos parâmetros, buscou-se utilizar as configurações default dos próprios softwares, simulando um cenário de operação no qual se tem um usuário sem educação formal no campo do Sensoriamento Remoto.

2.4 Análise comparativa

De modo geral as condições variantes testadas nesta pesquisa estavam atreladas à variação na distribuição e quantidade de amostras de treinamento, variáveis comumente condicionantes às contradições nos resultados dos das classificações de imagens (LILLESAND et al., 2004; CENTENO, 2009). Em função do estudo pormenorizado dos métodos de classificação, adicionou-se o cenário de variação do tamanho da amostra, como item condicionante à avaliação da correspondência dos resultados se fosse notada discrepância na avaliação inicial.

Essencialmente, as comparações entre diferentes sistemas visam responder aos seguintes questionamentos: (1) Qual é a melhor solução encontrada? (2) Quanto tempo leva para determinar a melhor solução? (3) Com que rapidez o algoritmo encontra boas soluções? (BARR et al., 2001). Considerando a proposta de avaliação de desempenho de Barr et al. (2001) e o propósito desta pesquisa, buscou-se analisar dois aspectos: (1) O tempo de processamento gasto para cada algoritmo encontrar uma solução (classificação) em função do sistema utilizado; (2) Análise de correspondência entre os resultados obtidos pelos sistemas selecionados.

Neste estudo, para quantificar o tempo de processamento foi utilizado um cronômetro ao se iniciar cada classificação. Vale ressaltar que os algoritmos foram expostos a condições equivalentes de hardware (Processador Intel® Core™ i5-4210U CPU 1.70GHz; Memória RAM de 8GB), garantindo assim que nenhum dos sistemas de geoinformação sejam beneficiados; não havia processos secundários na máquina no momento dos testes. Já na avaliação da correspondência, buscou-se analisar a quantidade de pixels classificados como idênticos nas operações realizadas nos diferentes sistemas. Para se executar tal avaliação, foi desenvolvido o método da análise de correspondência global. Em função da natureza e do objetivo desta proposta, todas as análises comparativas feitas neste artigo são do tipo relativas, i.e., considerou-se um resultado como referência às comparações, desprezando-se a qualidade absoluta do resultado da classificação, pois o interesse deste estudo reside em quantificar as discrepâncias entre os mesmos algoritmos implementados em diferentes softwares.

Especificamente, a análise de correspondência global foi feita por meio da subtração matricial dos resultados obtidos nos processos de classificação, visando a avaliação da correspondência entre as imagens classificadas. Conhecendo-se a imagem classificada de referência, quantificou-se as diferenças entre a classificação de um mesmo algoritmo implementado em diferentes softwares. Para tanto, elaborou-se rotinas que permitiram a contabilização das diferenças entre os resultados, utilizando-se de um software diferente dos que foram selecionados na avaliação. Neste caso, as rotinas de subtração de imagens e quantificação de classes de pixels foram executadas via o software MATLAB versão R2015a.  Em detalhe, a rotina iniciou-se com a leitura das imagens obtidas no processo de classificação, e.g., Algoritmo 1 – Classificação A e Algoritmo 1 – Classificação B. Posteriormente foi criado um laço de repetição (for) que percorre todas as posições da matriz verificando se determinado pixel (na posição i, j) da Classificação A possui a classe de informação igual ao pixel de mesma posição na Classificação B. Caso as classes sejam correspondentes, em uma matriz N qualquer, atribuiu-se o valor 1 para a posição em análise, caso contrário, atribuiu-se o valor 0, criando assim, uma “imagem” binária que permite quantificar a porcentagem de correspondência global entre as classificações. Os resultados dessas ações foram expressos por meio de porcentagem de correspondência, uma vez que se conhecia valor total da quantidade de pixels da imagem classificada. As imagens classificadas via o software ENVI foram utilizadas como valores de referência às comparações almejadas.

Adicionalmente, sabe-se que estudos semelhantes foram executados utilizando-se o software ENVI, e.g., Harken e Sugumaran (2005), Pinho et al., (2005), Bernardi et al., (2007), Perumal e Bhaskaran (2010), Campos et al., (2016). Entretanto, tais estudos avaliaram a acurácia absoluta dos resultados das classificações supervisionadas, provenientes da aplicação dos algoritmos implementados nesta plataforma, sem que houvesse explicitamente, cuidado na verificação da consistência da rotina implementada, ou, ainda, comparações com soluções implementadas em softwares distintos. Tal condição representa um dos avanços promovidos pelo presente estudo.

3     Resultados e Discussões

Neste item são apresentados os resultados relativos à análise global do desempenho, que contempla a verificação do tempo de execução dos algoritmos, bem como a avaliação da correspondência entre os resultados das classificações.

A análise global do desempenho iniciou-se com o computo do tempo necessário à execução do processo de classificação nos diferentes softwares. A hipótese é que se os algoritmos de classificação foram implementados segundo a mesma lógica e os dados de entrada foram os mesmos, os tempos de execução seriam equivalentes.

Dessa forma, a Tabela 1 e a Tabela 2 mostram os valores de tempo necessários à execução dos algoritmos nos diferentes softwares para as imagens (n=4 e n=9).

Tabela 1 – Tempo de execução dos algoritmos nos diferentes softwares para n=4

Algoritmos

Imagens

SAGA (h:min:s)

ENVI (h:min:s)

∆T (s)

Minimum Distance

1A

00:01:08

00:00:53

15

2A

00:01:17

00:01:01

16

3A

00:01:06

00:01:02

4

4A

00:01:04

00:01:00

4

Spectral Angle Mapper

1A

00:01:12

00:00:54

18

2A

00:01:03

00:00:59

4

3A

00:01:04

00:01:04

0

4A

00:01:00

00:00:58

2

Minimum Likelihood

1A

00:01:27

00:00:58

29

2A

00:01:11

00:01:01

10

3A

00:01:21

00:01:05

16

4A

00:01:10

00:01:02

8

Mahalanobis Distance

1A

00:01:32

00:00:53

39

2A

00:01:11

00:00:58

13

3A

00:01:12

00:01:03

9

4A

00:01:08

00:00:58

10

 

Tabela 2 – Tempo de execução dos algoritmos nos diferentes softwares para n=9

Algoritmos

Imagens

SAGA (h:min:s)

ENVI (h:min:s)

∆T (s)

Minimum Distance

1B

00:00:33

00:00:29

4

2B

00:00:34

00:00:26

8

3B

00:00:30

00:00:25

5

4B

00:00:32

00:00:25

7

5B

00:00:30

00:00:26

4

6B

00:00:29

00:00:26

3

7B

00:00:34

00:00:26

8

8B

00:00:30

00:00:26

4

9B

00:00:30

00:00:25

5

Spectral Angle Mapper

1B

00:00:35

00:00:30

5

2B

00:00:30

00:00:27

3

3B

00:00:29

00:00:27

2

4B

00:00:29

00:00:26

3

5B

00:00:30

00:00:26

4

6B

00:00:29

00:00:25

4

7B

00:00:29

00:00:28

1

8B

00:00:31

00:00:31

0

9B

00:00:28

00:00:26

2

Maximum Likelihood

1B

00:00:41

00:00:30

11

2B

00:00:34

00:00:27

7

3B

00:00:34

00:00:27

7

4B

00:00:32

00:00:27

5

5B

00:00:33

00:00:27

6

6B

00:00:32

00:00:26

6

7B

00:00:32

00:00:28

4

8B

00:00:34

00:00:28

6

9B

00:00:31

00:00:28

3

Mahalanobis Distance

1B

00:00:36

00:00:29

7

2B

00:00:36

00:00:27

9

3B

00:00:37

00:00:26

11

4B

00:00:32

00:00:25

7

5B

00:00:34

00:00:26

8

6B

00:00:31

00:00:25

6

7B

00:00:31

00:00:28

3

8B

00:00:35

00:00:27

8

9B

00:00:35

00:00:26

9

 

Analisando-se os resultados descritos na Tabela 1 e Tabela 2, é possível afirmar que os sistemas avaliados obtiveram resultados semelhantes para os algoritmos testados, não existindo grandes variações entre os mesmos. Apesar da pouca discrepância, os algoritmos implementados no software ENVI sempre obtiveram um tempo menor ou igual em comparação ao SAGA GIS para todas as imagens testadas.

Na sequência fez-se a avaliação da correspondência das classificações propiciadas pelos algoritmos congêneres. Quantificou-se, em porcentagem, a correspondência global entres os resultados fornecidos pelos softwares SAGA e ENVI. A Tabelas 3 e Tabela 4 descrevem os valores encontrados. Destaque especial é dado aos algoritmos que tiveram correspondência menor que 90%.

Tabela 3 – Correspondência entre as classificações dos softwares SAGA x ENVI para n=4

Algoritmos

Imagens

Corresp. (%)

Minimum Distance

1A

100

2A

100

3A

100

4A

100

Spectral Angle Mapper

1A

99,838

2A

99,998

3A

99,998

4A

99,997

Minimum Likelihood

1A

100

2A

100

3A

100

4A

100

Mahalanobis Distance

1A

71,21

2A

65,266

3A

80,678

4A

60,435

 

Tabela 4 – Correspondência entre as classificações dos softwares SAGA x ENVI para n=9

Algoritmos

Imagens

Corresp. (%)

Minimum Distance

1B

100

2B

100

3B

100

4B

100

5B

100

6B

100

7B

100

8B

100

9B

100

Spectral Angle Mapper

1B

99,9

2B

99,7

3B

100

4B

99,9

5B

100

6B

100

7B

99,9

8B

99,9

9B

99,9

Maximum Likelihood

1B

100

2B

100

3B

100

4B

100

5B

100

6B

100

7B

100

8B

100

9B

100

Mahalanobis Distance

1B

69,2

2B

66,3

3B

62,1

4B

69,2

5B

72,3

6B

67,9

7B

80,4

8B

76,6

9B

63,0

 

Observando os resultados apresentados na Tabela 3 e na Tabela 4, é possível notar que o software SAGA obteve os resultados idênticos ou semelhantes ao software ENVI para os algoritmos de classificação Minimum Distance, Spectral Angle Mapper e Maximum Likelihood. As semelhanças entre os resultados obtidos permitem afirmar que a observação de seus resultados geraria interpretações semelhantes entre si. Entretanto, o algoritmo Mahalanobis Distance apresentou resultados diferentes entres as plataformas. Esse resultado propicia a percepção de que existem diferenças que devem ser consideradas nos modelos implementados nos softwares testados.

A fim de representar as diferenças ocorridas entre as classificações para tal algoritmo, foi elaborado a Figura 5, onde na mesma é possível realizar uma análise de correspondência entre as classificações obtidas pelo software ENVI e SAGA. Para tal representação foi escolhida a área A4 (n=4), pois dentre todas as áreas analisadas é a região que apresentou o desempenho mais inferior (60,435% de correspondência), como representado anteriormente na Tabela 3.

Figura 5 – Diferenças entre as classificações obtidas pelos softwares ENVI e SAGA para o classificador Mahalanobis Distance na área A4

 

A partir da Figura 5 apresentada, analisando as classificações e os seus respectivos histogramas, é possível notar que as maiores dissemelhanças entre as classificações obtidas pelos softwares encontram-se nas classes de vegetação baixa (50,54% de correspondência) e solo exposto (32,86% de correspondência). Para algumas aplicações, como, por exemplo, o computo da área de produção de insumos agrícolas, mapeamento de áreas de ocorrências de incêndios, ou mesmo, à verificação da área ocupada por uma determinada feição para fins de apreciação judicial, deveriam, neste caso, destoar de modo relevante. Essa constatação levaria a questionamentos mais incisivos, o que incita a necessidade de uma avaliação criteriosa na escolha dos métodos e softwares para a execução dos processos de classificação de imagens. Essa afirmação corrobora com o que indicam Khatami et al. (2016).

Esses resultados permitem afirmar que um usuário sem educação formal no campo do Sensoriamento Remoto estaria sujeito a interpretações distintas, utilizando as mesmas condições e um mesmo algoritmo, variando apenas a adoção de um software. Permite ainda afirmar que um mesmo classificador pode dar resultados de correspondência variáveis em função da classe de alvo avaliado. Isso quer dizer que a escolha do classificador e do software tem impacto na avaliação final dos fenômenos, o que deve ser observado com atenção no momento da seleção da técnica e ferramenta ideais à situação de avaliação.

3.1 Avaliação contextual do algoritmo Mahalanobis Distance observando-se o tamanho da amostra

Notadamente, ao se observar os resultados demonstrados nas Tabelas 3 e 4, verifica-se que há discrepância entre os resultados obtidos na aplicação do classificador Mahalanobis Distance nas imagens. Observando-se os parâmetros da equação (9), se destaca o termo “S²”, que representa a variância da classe j na banda i, onde j representa o valor do pixel na banda i. Este termo é o que diferencia o método Mahalanobis Distance do método Minimum Distance, o qual atingiu estreita correspondência na comparação anterior. Dessa forma, é factível imaginar que este termo da equação é o que impacta diretamente na diferença dos valores vistos nas Tabelas 3 e 4.

Nesse sentido, a hipótese que se levanta, pensando-se no significado atribuído à implementação deste termo no método Mahalanobis Distance, é que a variação no tamanho da amostra é o elemento chave à avaliação das condições de implementação deste algoritmo. Teoricamente se esperava que diminuindo-se o tamanho da amostra, diminuir-se-ia, também, a variabilidade dos números digitais associados a uma classe, quando se aplica este método de classificação.

Considerando-se essas condições teóricas, fez-se o teste de variação do tamanho das amostras de treinamento. Como resultado da aplicação desta condição, não se obteve valores de correspondência diferentes ao se comparar com os valores do primeiro teste. Isso permite a interpretação de que existem diferenças na implementação deste método dentro dos softwares avaliados. Tais resultados são validados pela repetibilidade dos testes, cujas redundâncias permitem afirmar que as diferenças persistem em quaisquer contextos geográficos.

Adicionalmente notou-se que, o software ENVI considera que o algoritmo do método Mahalanobis Distance é equivalente ao método Maximum Likelihood. Segundo a literatura, essa afirmação é verdadeira quando a função de densidade de probabilidade segue uma distribuição normal multivariada, i.e., só vale esta condição quando as classes dos pixels de interesse no espaço espectral são normalmente distribuídas (RICHARDS, 1999).  Essa indicação feita, demandou o teste de comparação entre os resultados da aplicação do algoritmo do método Mahalanobis Distance com o algoritmo do método Maximum Likelihood, implementados no ENVI. A comparação demonstrou que há uma correspondência de aproximadamente 62%. Assumindo esta diferença, o modelo implementado no ENVI difere da proposta da literatura, pois condiciona a classificação a valores de covariância iguais para o algoritmo do método Mahalanobis Distance. Interessante notar que, em testes adicionais, comparou-se os resultados do algoritmo Mahalanobis Distance implementado no software SAGA, com os resultados obtidos na aplicação dos demais algoritmos do software ENVI. Nesse caso, houve sempre correspondência global acima de 90%, e correspondência entre classes com valor semelhante. Estes resultados confirmam o que aponta a literatura (RICHARDS, 1999; CENTENO, 2009)

4     Conclusões

Detectou-se que os algoritmos congêneres, implementados em softwares diferentes, podem gerar resultados de classificação de imagens que levam a interpretações ora equivalentes, ora distintas. Essa conclusão é importante à tomada de decisão relacionada (1) à seleção de um algoritmo classificador e, também, (2) à seleção de um software, adequados à aplicação demandada. Profissionais imbuídos desta tarefa devem, portanto, considerar tais diferenças quando utilizam classificadores de imagens enquanto procedimentos na condução de seus trabalhos.

Neste artigo destaca-se que o processo de seleção de um software e de um método de classificação, deverá considerar as características das imagens, da área de estudo, das classes de alvos de interesse, bem como, a quantidade e a distribuição de amostras de treinamento. Importante destaque é dado ao estudo prévio do modelo matemático dos classificadores implementados nos softwares, os quais podem ter características de implementação distintas, mesmo quando as denominações do método são iguais. Por conseguinte, recomenda-se que os usuários estudem os modelos matemáticos dos algoritmos implementados nos diferentes softwares, processo que demanda exercício de investigação e assimilação de conceitos. Pode-se afirmar que essa recomendação serve de alerta aos usuários leigos, que devem estudar as variáveis embutidas nos processos selecionados, a fim de compreender a dinâmica de funcionamento do classificador usado no mapeamento.

Como alternativa, usuários leigos em sensoriamento remoto podem recorrer ao estudo empírico dos resultados. Com os custos computacionais reduzidos pelos avanços tecnológicos, os operadores podem testar as melhores soluções dadas pelos diferentes algoritmos classificadores: considerando-se conhecimento prévio da área de estudo e demais variáveis já listadas. Essa condição seria algo semelhante ao que se espera do operador quando se aplica classificadores automáticos. Após os resultados apresentados pelos diferentes métodos, os usuários podem, ainda, investigar o melhor modelo matemático vinculado às condições de classificação, utilizando o estimador de “Akaike” (AKAIKE, 1974).

Especificamente, em relação ao teste do desempenho, observou-se que os algoritmos implementados nos softwares SAGA GIS e ENVI, têm tempo de execução semelhantes. As poucas variações demonstraram que havia possibilidade de ocorrência de diferenças nos métodos de implementação, entretanto, essa variável se mostrou pouco determinante. Em relação à correspondência global e correspondência entre as classes após a aplicação dos classificadores, é possível afirmar que os métodos de implementação são semelhantes, mas não iguais. No caso do algoritmo atrelado ao método Mahalanobis Distance, notou-se as maiores diferenças. Neste caso, buscou-se um método de comparação complementar, a saber, a variação no tamanho das amostras de treinamento. Assim obteve-se resultado semelhante aos testes anteriores, o que validou a hipótese que levantada com base na literatura (RICHARDS, 1999). Ademais, os testes demonstraram que as diferenças nas correspondências podem ter ocorrido em função da não previsão de condições iguais nas covariâncias relacionadas às classes de alvos.

Conclusão importante desta pesquisa é que usuários com recursos financeiros diminutos podem usufruir da tecnologia implementada em softwares livres, como o QGIS, a qual tem correspondência de desempenho com aquela implementada em softwares pagos consagrados, como é o caso do ENVI. Tal condição exposta permite afirmar que há maior acessibilidade tecnológica, item importante à reprodutibilidade de estudos com viés semelhante. Essa última constatação sugere que, ao se usar softwares livres facilita-se os avanços das aplicações na academia e em estudos técnicos, em razão da otimização da relação custo-benefício.

Estudos futuros devem contemplar a mesma avaliação seguindo-se comparações estatísticas, com testes que demonstrem a semelhança ou dessemelhança entre as variações nos resultados, focalizando atenção no estudo da normalidade dos dados utilizados pelos classificadores. Para tanto, é importante que tais estudo variem não só as imagens de entrada, mas também, os parâmetros iniciais de operação dos algoritmos, o que pode gerar conclusões mais incisivas. Outra característica importante é a variação das áreas de estudo, utilizando-se imagens de diferentes regiões, com maior ou menor heterogeneidade de feições.

Referências

AKAIKE, H. A new look at the statistical model identification. IEEE Transactions on Automatic Control. 1974; 19 (6): 716–723.

AL-AHMADI, F. S., & HAMES, A. S. Comparison of four classification methods to extract land use and land cover from raw satellite images for some remote arid areas, kingdom of Saudi Arabia. Earth. 2009;20(1):167-191.

BARR, R. S., GOLDEN, B. L., KELLY, J., STEWARD, W., & RESENDE, M. Guidelines for designing and reporting on computational experiments with heuristic methods of the Proceedings of International conference on Metaheuristics for Optimization; 2001:1-17.

BERNARDI, H., DZEDZEJ, M., CARVALHO, L., & ACERBI JÚNIOR, F. W. 2007. Classificação digital do uso do solo comparando os métodos “pixel a pixel” e orientada ao objeto em imagem QuickBird of the Simpósio Brasileiro de Sensoriamento Remoto, 2007, Florianópolis, INPE:5595-5602.

CAMPOS, W. W., GASPAR, J., LAGE, M. O., KAWASHIMA, R. S., GIANNOTTI, M. A., & QUINTANILHA, J. A. Avaliação de classificadores de imagem de satélite a partir do uso de uma técnica de votação. Revista Brasileira de Cartografia. 2016;68 (8).

CANTY, M.J. Image analysis, classification and change detection in remote sensing with algorithms for ENVI/IDL: Taylor & Francis, CRC Press; 2006.

CENTENO, J. A. S. Sensoriamento remoto e processamento de imagens digitais. Curitiba: UFPR; 2003.

CRÓSTRA, A. Processamento digital de imagens de sensoriamento remoto. Campinas: Instituto de Geografia–UNICAMP; 1992.

DUARTE, D. C. O., ZANETTI, J., JUNIOR, J. G., & MEDEIROS, N. G. Comparison of supervised classification methods of Maximum Likelihood, Minimum Distance, Parallelepiped and Neural Network in images of Unmanned Air Vehicle (UAV) in Viçosa-MG. Revista Brasileira de Cartografia. 2018;70 (2).

ELWOOD, S.; GOODCHILD, M. F.; SUI, D. Z. Researching Volunteered Geographic Information: Spatial Data, Geographic Research, and New Social Practice of the Association of American Geographers; 2012; 102(3):571-590.

ERBEK, F. S., ÖZKAN, C., & TABERNER, M. Comparison of maximum likelihood classification method with supervised artificial neural network algorithms for land use activities. International Journal of Remote Sensing. 2004;25(9):1733-1748.

FONTE, C.C.; MINGHINI, M., PATRIARCA, J., ANTONIOU, V., SEE, L. & SKOPELITI, A. Generating Up-to-Date and Detailed Land Use and Land Cover Maps Using OpenStreetMap and GlobeLand30. ISPRS International Journal of Geo-Information. 2017; vol. 6.

GREENBERG, H. J. Computational testing: Why, how and how much. ORSA Journal on Computing, 1990;2(1):94-97.

GRIFFIN, A. L.; WHITE, T.; FISH, C. TOMIO, B.; HUANG, H.; SLUTER, C. R et,. al. Designing across map use contexts: A research agenda. International Journal of Cartography. 2017;3:1-25.

HARKEN, J., & SUGUMARAN, R. Classification of Iowa wetlands using an airborne hyperspectral image: a comparison of the spectral angle mapper classifier and an object-oriented approach. Canadian Journal of remote sensing. 2005;31(2):167-174.

HEIPKE, C. Crowdsourcing Geospatial Data. ISPRS Journal of Photogrammetry and Remote Sensing. 2010;65(6):550-557.

KHATAMI, R., MONTRAKIS, G., STEHMAN, S. V. A meta-analysis of remote sensing research on supervised pixel-based land-cover image classification processes: General guidelines for practitioners and future research. Remote Sensing of Environment. 2016; vol. 177:89-100.

KRUSE, F. A., LEFKOFF, A. B., BOARDMAN, J. W., HEIDEBRECHT, K. B., SHAPIRO, A. T., BARLOON, P. J et., al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. Remote sensing of environment. 1993;44 (2-3):145-163.

LAMPARELLI, R. A. C., ROCHA, J. V., & BORGHI, E. Geoprocessamento e agricultura de precisao: fundamentos e aplicacoes. 2001:vol. 2.

LILLESAND, T. M., KIEFER, R. W., & CHIPMAN, J. W. Remote Sensing and Image Interpretation. New York: JohnWiley and Sons; 2004.

PERUMAL, K., & BHASKARAN, R. Supervised classification performance of multispectral images. Journal of Computing. 2010;Volume 2:Issue 2.

PINHO, C. D., FEITOSA, F. D. F., & KUX, H. 2005. Classificação automática de cobertura do solo urbano em imagem IKONOS: Comparação entre a abordagem pixel-a-pixel e orientada a objetos of the Simpósio Brasileiro de Sensoriamento Remoto; 2005; Goiânia, GO. INPE; p. 4217-4224.

RICHARDS, J. A. Remote Sensing Digital Image Analysis: An Introduction. Australia: Springer; 2012.

SEE, L.; MOONEY, P.; FOODY, G.; BASTIN, L.; COMBER, A.; ESTIMA, J. et., al. Crowdsourcing, Citizen Science or Volunteered Geographic Information? The current state of Crowdsourced Geographic Information. ISPRS International Journal of Geo-Information. 2016;5(55):1-23.

SMITS, P. C., DELLEPIANE, S. G., & SCHOWENGERDT, R. A. Quality assessment of image classification algorithms for land-cover mapping: a review and a proposal for a cost-based approach. International journal of remote sensing. 1999;20 (8):1461-1486.

STEIN, A., VAN DER MEER, F. D., & GORTE, B. Spatial statistics for remote sensing: Springer Science & Business Media; 2006.