Paradigmas estéticos para classificar imagens informacionais

Ao fazer a curadoria das imagens do Calendário Dissidente, editando uma produção de mais de 800.000 posts ativistas no Instagram, nota-se que há uma poética singular nas imagens produzidas. Para analisar essa imageria com características peculiares, estudamos algumas abordagens metodológicas a fim de propor uma estratégia que fosse eficaz e coerente para ser empregada numa pesquisa sobre design gráfico contemporâneo. Era claro que o volume de informação demandava braços e olhos maquínicos e a criação de parâmetros estéticos para catalogação e visualização de imagens não seria encontrada em um software de prateleira ou pelas visões computacionais oferecidas pelas chamadas Big Techs, como o Google e Meta.

Iniciamos este processo com uma análise qualitativa a partir de um processo cognitivo – a a edição das 6 categorias mais representativas das estéticas das redes. As amostras das narrativas apresentadas neste ponto do trabalho elucidam a relevância dessas peças gráficas e apontam para problemas relativos ao arquivamento dessa produção efêmera. Assim, sobressai uma questão: como arquivar para classificar e como classificar para arquivar?

Categorias estéticas das imagens dissidentes

Depois de mais de um ano acompanhando o fluxo diário de postagens de imagens dissidentes, percebeu-se quais os traços principais que caracterizavam essas imagens. Como apresentado anteriormente, as sete categorias sugeridas procuraram organizar esses posts a partir de paradigmas estéticos pertencentes ao campo de design gráfico: critérios formais de composição, uso de tipografia, desenhos vetoriais, colagens e montagens muito específicas, com sobreposição de linguagens e uso de imagens documentais apropriadas da mídia jornalística. São elas: 1. Factual; 1.1. Meme (subcategoria de factual); 2.Ilustração Digital; 3. Tipografia Digital; 4. Ilustração manual; 5. Tipografia manual (ou vernacular); 6. Apropriação.

Na análise cognitiva desse grande conjunto de imagens, organizadas pelas hashtags, foram observados alguns padrões estéticos, algumas tendências e a necessidade de classificar essa produção, à luz de outros parâmetros formais. A primeira classificação, resultou nessa taxonomia de sete categorias estéticas.

Os parâmetros utilizados nessa classificação se baseiam na natureza da figura predominante do post. Se é majoritariamente composto por uma ilustração digital ou manual, ou por uma fotografia documental, por exemplo. Para as peças tipográficas, observamos se a linguagem verbal é o elemento central e se esta é composta por fontes digitais ou fontes manuais, caligráficas ou feitas à mão. Abaixo esquematizamos como a metodologia de coleta de dados, catalogação e edição desse conjunto de imagens utilizou-se dos seguintes procedimentos:

  1. O uso da “#” precedido da palavra-chave para a visualização de dados: a legenda da imagem contemporânea;
  2. Captura de imagens do Instagram pelo software Stogram, usado para download de todas as imagens postadas no Instagram pelas hashtags escolhidas;
  3. Criação de parâmetros estéticos e categorias de tipos de imagem para classificar as imagens capturadas;
  4. Uso de aprendizagem de máquina supervisionada para otimizar e ampliar a classificação quantitativa de imagens com uso de rotuladores (labels) capazes de reconhecer milhares de imagens dentro das sete classificações estéticas usadas pela autora como dados (features) para o treinamento supervisionado. O resultado dessa etapa da pesquisa está detalhado em Aprendizagem de máquina e subjetividade.

 

Modelos de classificação

Há uma dificuldade em incorporar novos modelos arquivísticos para banco de imagens digitais. Já apontamos a relevância do colecionismo e do arquivamento de imagens pelos próprios artistas, pelos produtores de linguagem e por grupos que não dependem das grandes nuvens para arquivar sua produção (Beiguelman, 2021; Vicente, 2014; Quaranta, 2014), como o caso do Calendário Dissidente.

Sob o ponto de vista museográfico ou de instituições culturais que arquivam fotografias e outros materiais iconográficos, Meneses (2003) critica as lacunas na categorização da História da Fotografia nos bancos de dados institucionais. Um campo de atuação bastante diverso, cujos arquivos ainda não separam imagens familiares das imagens industriais, de publicidade, pornografia, imagens de segurança, moda. São áreas de produção de imagens distintas, com discursos completamente diferentes. O mesmo acontece na História do Cinema pois estão descobertas dos acervos públicos e particulares (Ibid, 1999).

Atualmente a maioria desses acervos disponibilizam parte de suas coleções para pesquisa on-line nos respectivos sites institucionais, ou mediante uma pesquisa agendada no banco de dados. Nota-se que há um esforço das fundações privadas como Getty Images, fundada pelo empresário norte-americano Paul Getty, que doou o maior aporte financeiro para uma instituição de arte. No Brasil, o Instituto Moreira Salles (IMS), fundado pela família Moreira Salles, detém o maior acervo de fotografias do Brasil, aberto à pesquisadores. Nessas coleções, constatamos que as classificações ainda seguem os critérios de autoria, data ou o tema da imagem. A natureza da imagem ainda não é objeto de classificação dessas práticas institucionais no campo da fotografia. Já na pintura, vemos acervos museológicos organizados por tipos; aquarelas, gravuras, desenhos, escultura. Existem algumas coleções privadas e institucionais específicas, como pinturas do Brasil Colônia e Império, coleções de caricaturas e cartografias, como a Coleção Brasiliana do Itaú, mas os critérios de categorização de imagens ainda obedecem a uma estrutura museológica tradicional.

Nesse contexto, concordamos com Meneses (2003) de que é importante contextualizar a realidade social na qual a imagem foi produzida para analisá-la e classificá-la. Os elementos classificatórios de uma imagem nem sempre estão nela, mas no contexto, na reação e na interação com o público. Ou seja, as análises classificatórias dos bancos de dados de instituições museológicas estão atreladas a metodologias sobre Iconografia/Iconologia de Panofsky ou de uma semiótica historicizada, que dificultam o estudo dos enunciados da imagem ou suas trajetórias:

 “Aos objetos visuais não convém a ideia positivista de documento (ainda que de origem): documento é aquilo capaz de fornecer informações a uma questão do observador, qualquer que seja sua natureza tipológica, material ou funcional. É preferível, portanto, considerar a fotografia (e as imagens em geral) como parte viva de nossa realidade social. Vivemos a imagem em nosso cotidiano, em várias dimensões, usos e funções. O emprego de imagens como fonte de informação é apenas um dentre tantos (inclusive simultaneamente a outros) e não altera a natureza da coisa, mas se realiza efetivamente em situações culturais específicas, entre várias outras. A mesma imagem, portanto, pode reciclar-se, assumir outros papéis, ressemantizar-se e produzir efeitos diversos” (MENESES, 2003, p. 22-23).

O argumento acima reforça o motivo pelo qual decidimos criar outros parâmetros estéticos para a análise das imagens-mensagens dissidentes. A dificuldade prática de criação de repositórios visuais, já citados, reforça o quanto a prática de classificar e arquivar peças gráficas digitais ainda é incipiente e representa um desafio no campo do design de comunicação.

 

Treinamento da máquina

A classificação cognitiva das imagens foi empregada para o set de imagens usadas para o treinamento da máquina. Vale destacar que o fenômeno da repetição de imagens que possuem o padrão de determinada categoria é recomendado para o reconhecimento algorítmico.

 

  1. Factual:

As imagens da categoria Factual são compostas por fotografias documentais relacionadas a fatos ou personagens. Pode ter intervenções de texto. São trabalhos caracterizados pela precariedade da composição e da colagem, devido à velocidade com que o material é produzido para ser veiculado. O que importa é a participação ativa na rede, quase em tempo real;

1.1 Meme:

A categoria Meme é uma subcategoria do factual. Porém, há uma elaboração na mensagem, normalmente em tom mais satírico/humorístico. Esses posts são caracterizados por imagens reapropriadas da mídia (emissoras de TV ou jornais on-line), são compostos por uma faixa superior e/ou inferior preta com textos aplicados e que se propagam na rede e tornam “virais” com mais facilidade. Voltaremos aos “memes”, tópico que merece ser aprofundado, pois o termo é amplamente usado para caracterizar diversos tipos de postagens replicantes nas redes.

  1. Ilustração digital:

A categoria Ilustração digital é representada por uma grande variedade de linguagens e sintaxes visuais, frequentemente bastante elaboradas. Podem ser ilustrações vetoriais, muitas vezes bidimensionais (figurativas ou abstratas), colagens digitais com usos de fotografia e de desenhos à mão, misturados e digitalizados. Essa categoria representa a maioria das imagens-mensagens, provavelmente porque a linguagem digital compila as práticas de edição dos aplicativos disponíveis nos softwares dos aplicativos, onde é possível retrabalhar imagens de diferentes naturezas, em uma colagem e um remix de referências. Trataremos disso adiante.

  1. Tipografia digital:

Os posts tipográficos digitais representam as imagens-mensagens compostas por linguagem estritamente verbal. Os elementos principais são frases, extratos de música, perguntas, reprodução de trechos de notícias digitais. Na maioria das vezes, essa imagem é produzida com as fontes default oferecidas no próprio aplicativo;

  1. Ilustração manual:

A categoria Ilustração manual é representada por desenhos feitos à mão, charges, quadrinhos, trabalhos assinados por ilustradores ou não.

  1. Tipografia vernacular:

Essa categoria concentra os posts, cartazes de papel ou faixas, feitos à mão, trabalhos com letras manuscritas, letras recortadas, uso de stencil. Alguns posts apresentam uma composição realizada com uma escrita caligráfica ou por uma tipografia manual, aludindo a cartazes dos anos 1950. São peças gráficas que fazem referência à linguagem visual da cultura popular e vernacular.

  1. Apropriação:

Posts nos quais há uma apropriação explícita da imagem de um cartaz, de uma série da Netflix, de uma página de quadrinhos ou de jornal, de uma obra de arte ou de uma fotografia de autores consagrados.

A ideia de propor classificadores próprios para analisar as imagens evidencia a diversidade estética produzida e compartilhada no Instagram, além de possibilitar a investigação de linguagens visuais regionais, vinculadas à cultura local e a linguagens globais. Será que essa diversidade representa culturalmente a produção gráfica local? Quais influências são locais, quais são globais?

As manifestações nas redes reforçam a importância do arquivamento da produção gráfica veiculada no Instagram, para discutir-se a linguagem visual dessas peças gráficas; se há uma homogeneidade de estilos; se a linguagem remixada, característica da cultura digital das redes, é predominante; se há características específicas da produção ativista brasileira em relação ao resto do mundo.

Nessa linha, os modelos dos classificadores poderão ser disponibilizados como programas de código aberto, ampliando a extensão da pesquisa sobre o uso assistido de inteligência artificial na atividade de edição de imagens e de narrativas dissidentes. Foram construídos com softwares livres (creative commons) e a partir de códigos “de prateleira” (scripts disponíveis e compartilhados nas libraries do Python). Ver Aprendizagem de máquina e subjetividade.

 

Categorização estética, em números

A fim de criar uma amostra diversificada, capturamos e categorizamos as imagens veiculadas nos Instagram entre o primeiro e o segundo turno das eleições (de 5 de outubro a 5 de novembro de 2018), o período mais crítico da polarização política. Classificamos 141.873 imagens relacionadas a cinco hashtags ativistas, dentro das cinco categorias descritas abaixo:

Fonte: dados extraídos do software criado para a classificação de imagens desta pesquisa.

A classificação, primeiro cognitiva, e posteriormente realizada pela visão computacional dos classificadores, explicada em detalhes no tópico Paradigmas estéticos para classificar imagens informacionais, ilustrou a diversidade e a riqueza dessas imagens e, sobretudo, a dificuldade de separá-las em categorias tão estanques, do ponto de vista analítico. Foi preciso investigar outros critérios para a análise semântica dessa produção de imagens à luz do design de comunicação, a partir da releitura do diagrama de Julier (2006).

 

Seleção de amostras para classificação maquínica

Devido à variedade de estilos e linguagens das imagens-mensagens e os desdobramentos possíveis nas análises individuais e formais de cada peça, decidiu-se focar nas narrativas visuais mais significativas sob o ponto de vista do design gráfico de comunicação. Essas peças gráficas são as representadas pelas ilustrações digitais, ilustrações manuais, tipografias digitais, imagens vernaculares e imagens cuja apropriação é explícita.

Renomeamos a categoria Tipografia manual para Imagens vernaculares, a fim de contemplar peça gráficas onde a linguagem verbal é predominante, mas não se enquadra no campo da tipografia manual, caligráfica, tal como conhecemos como “categoria tipográfica”. Descartamos as imagens ficcionais, pois essas apresentam características predominantemente fotográficas, documentais e que podem ser interpretadas por critérios mais comunicacionais e não à luz do design.

Os memes, reconhecidos como os grandes protagonistas das redes, também foram descartados, apesar da sua importância na história da memória gráfica da política brasileira. Essa categoria representa uma nova vertente comunicacional, uma produção de comunicação de massa, feita por qualquer cidadão engajado nos temas dos acontecimentos diários. As montagens com imagens e textos em tons satíricos, replicadas e reapropriadas infinitas vezes, cuja origem e autoria são impossíveis de ser rastreadas, poderiam ser classificadas como posts dessa categoria. No entanto pela sua composição mais rústica, satírica e vinculada às imagens apropriadas da grande mídia jornalística, a análise desses posts, pela óptica do design de comunicação, fugiria do foco do projeto, interessado justamente em filtrar novas vertentes estéticas e linguagens visuais dos posts dissidentes.

Outro dado importante, no que diz respeito ao treinamento das máquinas e criação dos classificadores de imagens com IA, é a subjetividade das informações textuais dos posts meméticos, e a impossibilidade do robô em interpretar as nuances da linguagem. Portanto, não chegamos a criar um classificador de imagem dessa subcategoria.

Vale lembrar que originalmente o termo “meme” existe antes da internet. Cunhado pelo cientista Richard Dawkins (1976) é baseado na teoria evolucionista de Darwin para definir uma unidade de transmissão da informação que se propaga de cérebro para cérebro por meio de um processo que pode ser chamado, em sentido amplo, de imitação. No artigo Memes, educação e cultura de compartilhamento nas redes sociais, Andrea Silva (2018) traça um paralelo da definição científica baseada na biologia evolucionista com os memes da comunicação digital. Os desdobramentos deste último nas redes são inegáveis. O autor destaca três características, resumidas abaixo:

(i) mutação – quando o meme é alterado na medida em que é replicado pelos usuários da rede social;

(ii) seleção natural – nem todos os memes permanecem ativos na rede e nem todos são viralizados;

(iii) hereditariedade – um meme modificado, que sofre variação do original. “O meme é usado para se referir a conteúdos de caráter viral replicados diversas vezes, em determinados nichos culturais” (FONTANELLA, 2007, apud SILVA, 2018, p. 4).

No campo da comunicação e novas mídias, incluindo design, jornalismo e ciências políticas, há uma ampla bibliografia abordando aspectos significativos dos memes. Integrantes do Laboratório de Pesquisa em Comunicação, Culturas Políticas e Economia da Colaboração (coLAB) da Universidade Federal Fluminense criaram o projeto e um museu virtual #museudememes.

A partir de uma ampla coleção de memes, em diversas categorias, pode-se ter uma ideia da amplitude do uso dessa linguagem, para além do uso político. Observa-se que as características descritas por Dawkins e a comparação dos princípios biológicos de “replicadores” com os memes das redes evoluíram. Segundo os pesquisadores do Colab, coordenado pelo Prof. Dr. Victor Chagas “hoje, quando nos referimos a memes, não estamos mais pensando em um ‘replicador cultural’ ou uma ‘unidade de transmissão de informação’, mas em uma linguagem midiática. E é a partir dessa perspectiva que esse fenômeno passa a ser observado por uma série de pesquisadores oriundos do campo das humanidades digitais”. [Sidenote: Conteúdo disponível no site: https://museudememes.com.br/. Acesso em abril, 2022.]

A categoria Imagem vernacular também apresenta uma ampla variedade de expressões gráficas que merecem destaque no campo do design de comunicação. No entanto, nessa categoria, a classificação maquínica dessas imagens geraram um número considerável de erros. Abaixo reproduzimos os destaques dessa produção:

Imagens capturadas da #coleraalegria, classificadas como vernaculares pela sua construção formal, na qual o uso de letras manuscritas, pinceladas e uso de stencil confere uma linguagem personalizada e remete à cartazes e trabalhos artísticos de maio de 1968.
Imagens capturadas do perfil de Militão Queiroz, também visualizadas nas #designativista e #elenão. Foram classificadas como vernaculares pelo uso da tipografia manual, aludindo a um estilo de cartazes dos anos 60, popularmente difundidos pela publicidade americana. O vernacular remete à cultura caligráfica dessas peças.
Cartazes realizados por coletivos e cidadãos mobilizados pelo ativismo a favor da moradia digna, liderada por Preta e Carmem, do Movimento Sem Teto (MST), líderes também da Ocupação 9 de julho. Os trabalhos foram veiculados sob a #coleraalegria.

A categoria Apropriação também é carregada de subjetividade e depende da análise do editor e da interpretação humana para ser classificada. As imagens apropriadas não poderiam ser reconhecidas pelos robôs devido à subjetividade de linguagens e dados culturais e etnográficos, mas foram incorporadas na pesquisa por representarem uma forte vertente de linguagem experimental no campo da ilustração digital.

Apropriação de referências

Obra de Andy Warhol, 1967

A silhueta em alto-contraste de Marilyn Monroe, serigrafada em várias opções de cores, é trocada pela imagem de Marielle. O ícone da mulher do cinema e sex symbol dos anos 60 é substituído pelo ícone da mulher brasileira que representa diversos ativismos, como antirracismo, protagonismo feminino, LGBTQIA+.

Capa da revista Times − The woman of the year, 2020

Reapropriação da capa original com a ilustração de Marielle, confundindo se de fato a personagem, morta em março de 2018, foi eleita pela publicação como a mulher do ano.

Cartaz de <i>Deus e o diabo na terra do sol</i>, filme de Glauber Rocha

A estrutura da composição do post é a mesma do cartaz desenhado por Rogério Duarte, peça gráfica que marcou o cinema novo brasileiro e a resistência cultural em 1964. A figura de Marielle está presente no lugar de Lampião, ambos ícones da resistência do povo brasileiro.

A imagem de Angela Davis – líder do ativismo negro americano nos anos 70

A figura do símbolo da luta pelos direitos dos negros e das mulheres nos Estados Unidos no início dos anos 70, membro do partido comunista Black Panthers, é associada à imagem de Marielle, líder ativista carioca, vereadora e representante das mulheres, dos negros, dos homossexuais e dos menos favorecidos no Brasil.

Orange is the new black, série Netflix

A série é parodiada no caso envolvendo “os laranjas”, candidatos fantasmas, do partido de Bolsonaro, a uma vaga de Deputado Federal.

Laranja mecânica, filme de Stanley Kubric, 1971

O cartaz icônico foi usado como referência para ilustrar o caso dos laranjas no esquema das rachadinhas, coordenado por Fabrício Queiroz, o ex-assessor do Senador Flávio Bolsonaro.

O silêncio dos inocentes, filme de Jonathan Demme, 1991

Outra apropriação para representar o mesmo tema dos laranja, desta vez usando o cartaz do filme O silêncio dos inocentes, de Jonathan Demme.

Retrato de Barack Obama, desenhado pelo ilustrador e ativista Shepard Fairey, 2008

 O cartaz que marcou a primeira campanha de Barack Obama nas eleições presidenciais é usado como referência de linguagem de ilustração vetorial e também de composição dos posts das figuras políticas de Bolsonaro e Marielle.

Retrato de Stalin

Um meme, uma paródia, no qual a estética do design de comunicação da Revolução Russa é remixado com bom humor em uma série de posts relacionados à uma suposta “União Soviética da América Latina”, a URSAL, partido fictício criado por internautas.

Retrato de Hitler, autor desconhecido, 1940

A comparação entre o ditador alemão e Bolsonaro nos níveis políticos renderam centenas de memes, e ilustrações. O topete do penteado de Hitler se assemelha ao corte de cabelo do brasileiro. O designer gráfico e ilustrador Eduardo Foresti sintetizou os traços do rosto de Hitler, utilizando do grafismo da expressão “ele não” para compor o nariz, os olhos e a boca e o bigode da figura.

Capa do disco The dark side of the moon de Pink Floyd, 1973

 

O prisma, figura central da capa desenhada por Storm Thorgerson é substituído pelo logotipo da empresa Vale do Rio Doce, responsável pela tragédia da barragem de Mariana, rompida em janeiro de 2019.

Há um aspecto antropofágico no visual dessas imagens-mensagens que se apropriam da música, das artes visuais, do cinema e das séries de TV no streaming. O jogo de adição, multiplicação e de subtração dos elementos visuais dos posts suscitam associações formais e constituem uma estética presente nas redes: a estética remix, como vimos com Navas (2016) em Narrativas visuais no Instagram.

 

Consideramos a categoria “apropriação” uma das mais emblemáticas para a pesquisa, pois evidencia a tendência de apropriação estética de diversas referências visuais provenientes de diferentes fontes. Essa prática do copy and paste, característica da cultura visual digital das redes, envolve uma grande complexidade de tipos de imagens e linguagens, exige um repertório cultural do espectador, não sendo possível classificá-las a partir de metodologias de visão computacional. Detalharemos o processo de construção dos classificadores, suas limitações e a subjetividade da interpretação das IAs adiante. Antes, porém, discutiremos os resultados do uso de outros métodos de análise de imagem, por meio de um viés mais semântico.