Introdução
Já faz cerca de 5 anos que trabalho em uma empresa de produtos na área de finanças, economia e negócios. Além dessa área temática, temos uma segunda, não menos importante — a otimização SEO 📈. Meu trabalho anterior foi em uma web studio, onde criei vários sites pequenos e médios, parte dos quais também era voltada para a otimização para motores de busca. A diferença na qualidade da otimização entre esses dois lugares é significativa. No trabalho atual, isso recebe uma enorme atenção, e não é à toa, temos sempre uma equipe de especialistas em SEO composta por 5 a 7 pessoas. Além disso, até mesmo os líderes da empresa são excelentes especialistas em SEO 👨💼. Durante esse tempo, ouvi muitas palavras sábias entre eles, e parte delas eu assimilei bem.
Otimização SEO Teórica e Técnica
Na otimização SEO, eu destaco duas direções: a primeira é a familiar para todos, que chamarei de teórica ou simplesmente comum, e a segunda é a técnica.
A primeira 📊 é o que todos os especialistas em SEO fazem: análise de concorrentes, serviços de busca como o Wordstat, elaboração de um núcleo semântico e os trabalhos subsequentes até o lançamento do site ou de uma seção específica do site.
A segunda ⚙️ direção que quero destacar é a SEO técnica. Na minha opinião, ela surgiu muito depois da teórica, pois nos primeiros anos da internet, esse aspecto de promoção pouco preocupava as pessoas, e os algoritmos dos motores de busca prestavam significativamente menos atenção a isso. Ao longo dos anos trabalhando na empresa atual, eu compilei uma lista clara 📋 do que está incluído na otimização SEO técnica, e talvez um dia eu escreva sobre isso também, por exemplo, em postagens no trabalho, mas é improvável que isso apareça no meu blog, pois são questões técnicas complexas que eu não publico lá.
O Wordstat é um serviço da empresa Yandex que permite entender e analisar quais consultas são mais frequentemente buscadas pelos usuários do motor de busca Yandex.
O núcleo semântico do site (semântica) é uma lista de palavras-chave e expressões que atraem visitantes-alvo para o site, utilizada para promover o site nos motores de busca.
Gatilhos para Escrever um Artigo
Neste artigo, falarei principalmente sobre a otimização SEO teórica e suas imperfeições na atualidade. Embora, como ela esteja intimamente ligada à parte técnica, eu também chamaria algumas das atividades técnicas de inúteis, se tivéssemos motores de busca ideais.
A ideia para escrever este artigo surgiu de uma certa opinião ilusória que eu ouço constantemente (até mesmo no trabalho), de que os motores de busca, com a ajuda de redes neurais, evoluíram a tal ponto que não podem mais ser enganados 🤖, que são muito inteligentes. A cada ano, mais fatores de ranqueamento são aplicados, mas será que eles realmente melhoram o quadro geral da otimização SEO? Na minha opinião, não! Vamos tentar entender.
O ranqueamento (nos resultados de busca) é a ordenação de prioridades na exibição de resultados para diferentes sites e links. Em outras palavras, ao ranquear, o motor de busca decide por que um site deve estar na primeira linha da primeira página para a mesma consulta, enquanto outro deve aparecer em algum lugar no meio da segunda página.
De qualquer forma, no meu trabalho, eu lido regularmente com SEO e, às vezes, leio algo para mim mesmo. Este ano, li o livro 📗 "O Lado Claro da Promoção de Sites" dos autores Ramazan Mindubaev, Dmitry Bulatov e Albert Safin. Também assisti a uma série de materiais em vídeo que acompanham este livro. Os autores chamam isso de lado claro da promoção de sites. Mas, para mim, isso é mais como o lado negro do SEO e um monte de trabalho sem sentido e estúpido. Claro, isso não é tão negro quanto quando, por exemplo, as pessoas enganavam os motores de busca listando todas as palavras-chave em um bloco completamente oculto nas páginas do site. Mas eu ainda não vejo um lado claro no SEO moderno, mas sim a imperfeição dos motores de busca. De forma alguma critico os especialistas em SEO modernos por seus métodos. Eles apenas jogam conforme as regras existentes e usam todos os meios possíveis e permitidos de otimização.
O que há de errado com os motores de busca?
Tentarei dividir todas as minhas insatisfações em alguns pontos e analisar cada um deles em detalhes.
1. Algoritmos e fatores de classificação. 🔝
Existem muitos fatores e critérios pelos quais um motor de busca avalia a "qualidade" do material. Cada sistema pode ter um número diferente desses critérios. Por exemplo, o Yandex tem mais de 200 fatores. Muitos fatores dos motores de busca podem ser agrupados por critérios semelhantes (por exemplo, fatores comportamentais: como o usuário se comporta na página, ou, por exemplo, fatores do nome de domínio: quão antigo é o nome de domínio, se não está em listas de spam, quão adequadas são as temáticas do site, etc.) e outros grupos de fatores.
A cada ano, os fatores de classificação são aprimorados, mas isso acontece de forma tão lenta que, com essas pequenas melhorias, chegaremos a um motor de busca realmente de qualidade em 50 anos. Cada novo algoritmo de classificação parece mais uma pequena alteração nos fatores existentes: aumentar o fator A em 1%, diminuir o fator B em 4%. Se essa mudança é feita manualmente ou por neurônios — não sabemos, mas o importante é que isso é claramente insuficiente para uma busca conceitualmente boa.
Entre os fatores de classificação, existem muitos estranhos: o tempo de permanência no site nem sempre indica a qualidade do material; o ano do domínio: nem sempre um domínio antigo significa que é mais qualificado do que um recém-registrado, e assim por diante.
2. Experimentos eternos. ⚖
Estamos sempre realizando experimentos e testes: medimos quanto isso pode nos ajudar a superar concorrentes em determinadas buscas ou simplesmente a obter mais tráfego (visitantes) no site. Não sabemos exatamente o que aparecerá nos snippets dos resultados de busca, apenas nos orientamos por recomendações gerais. Não tenho nada contra testes voltados para analisar o comportamento e a percepção das pessoas, pois todos são diferentes, e mudar um botão verde para azul realmente pode aumentar ou diminuir a quantidade de cliques em um determinado percentual. Mas se as pessoas são todas diferentes, por que um sistema de busca (como o Google) é único? Por que mudar a posição de alguns blocos ou adicionar informações textuais a um bloco, na opinião do sistema de busca, torna a página melhor ou pior? Não deveríamos escolher a melhor solução para o sistema de busca de forma aleatória. Precisamos conhecê-la de forma clara e objetiva.
Os snippets (nos resultados de busca) são materiais adicionais da página exibidos junto com o link para o site e uma descrição dessa página. Snippets podem incluir endereços, telefones, acordeões, mini-tabelas e muitas outras informações.
3. Geração de conteúdo desnecessário. 🗃
A humanidade hoje produz em um único dia 8500 vezes mais conteúdo do que está armazenado na Biblioteca do Congresso dos EUA; a cada segundo, publica 1000 vezes mais, e diariamente gera 80 milhões de vezes mais conteúdo na internet do que os 130 milhões de livros impressos publicados ao longo da história da humanidade.
Brett King
Um dos principais problemas do SEO, na minha opinião, é a geração de conteúdo desnecessário e o próprio processo de construção do núcleo semântico. Primeiro, analisamos as consultas de busca. Em seguida, ajustamos (compomos) títulos e outras palavras-chave da página de acordo com as intenções, em ordem de importância (em ordem decrescente, onde as mais importantes são colocadas no início).
Intenções são os desejos e propósitos do usuário; o que ele tem em mente ao digitar uma consulta de busca.
Quando dizem que um sistema de busca é um complexo de fatores com os quais trabalham redes neurais e outros algoritmos de aprendizado/autoaprendizado, eu sempre vejo isso de forma diferente. O sistema de busca, na minha compreensão atual, é como uma criança que se deixa levar pelas consultas. Quem otimiza melhor: de forma legal ou enganosa (encontrando uma brecha) — esse estará em prioridade. Você nunca sabe ao certo o que essa criança gosta ou não, e sempre realiza vários testes A/B. É como uma avó ingênua que tem sua própria opinião, mas raramente ela é verdadeiramente correta, até que venha alguém (um avaliador) em quem o sistema de busca confia de olhos fechados.
Vamos dar um exemplo bastante real. Temos em nosso site de 15 a 20 mil páginas que são semelhantes em 95 a 99% de seu conteúdo. Apenas os títulos mudam e, em alguns casos, uma parte muito pequena da informação.
Essas páginas podem ser, por exemplo:
Empréstimo para aposentados de 100.000 rublos em Smolensk
Empréstimo para aposentados de 100.000 rublos em Omsk
Empréstimo para aposentados de 100.000 rublos em Tyumen
Pode haver milhares de cidades. O valor necessário pode variar, digamos, de 10.000 a 1 milhão, e no exemplo, o tomador do empréstimo pode ser qualquer um: estudante, militar, dona de casa, deficiente, imigrante e muitos outros grupos sociais. Qualquer substantivo que descreva quem pode ser uma pessoa se encaixa na consulta. E como agimos em situações como essa? Pense um momento sobre o que fazemos para alcançar nossos objetivos e "alimentar" essa informação ao sistema de busca? Certo, geramos todas as possíveis combinações de opções! E tudo isso apenas para que nossos títulos estejam o mais próximo possível da frequência da consulta. E para cobrir mais consultas, criamos centenas, até milhares de páginas com várias combinações dessas opções.
Por que não podemos fazer apenas uma única página?
Empréstimos para aposentados de 100.000 rublos nas cidades [Smolensk, Omsk, Tyumen]. No entanto, na realidade atual, essa consulta (a menos que seja de um site extremamente autoritário) não será bem classificada. Além disso, mesmo essa opção não é ideal para o sistema de busca do futuro. O problema dessa consulta é que aqui está claramente especificado o valor de 100.000 rublos e a categoria do tomador do empréstimo: aposentado. Isso não significa que nessas cidades não se pode obter um empréstimo de outro valor e para outros grupos sociais. O sistema de busca ideal deve entender que existe uma única página onde se pode obter informações sobre empréstimos de um valor N até um valor M nas cidades (lista de cidades) para o grupo (lista de grupos sociais).
Empréstimos {10.000, 15.000, 20.000, … , 1.000.000} {aposentado, estudante, dona de casa, …, deficiente} em {Smolensk, Omsk, …, Tyumen}.
APIs de interação (enumeração) para o sistema de busca, que seriam fornecidas pelos otimizadores de sites, podem e provavelmente serão completamente diferentes e mais abrangentes. Mas estou certo de que tanto os modernos profissionais de SEO quanto os administradores comuns de blogs, lojas virtuais e outros sites entenderiam essa interação.
API — é um conjunto de ferramentas e funções na forma de uma interface para a criação de novos aplicativos, que permite que um programa interaja com outro.
Em um sistema de busca ideal do futuro, essa consulta não deve ser inferior a uma consulta de alta frequência específica. O sistema de busca deve prestar atenção à qualidade da informação, sua veracidade, velocidade e conveniência de apresentação. É isso! Nada de 20 mil páginas. Se o proprietário do recurso precisar fornecer algum parâmetro para interagir com o sistema de busca, isso não será difícil: basta transmitir as páginas disponíveis, as cidades disponíveis e os grupos sociais disponíveis. Para milhares de sites, principalmente lojas virtuais, especialmente pequenas e médias, que lutam contra grandes empresas por consultas de alta frequência, não seria necessário criar milhares de páginas. Uma única página de cada site nas bases de dados dos sistemas de busca. Imagine como podemos economizar centenas ou até milhares de discos rígidos, centenas de servidores, se não ficarmos apenas criando duplicatas de informações, fazendo trabalho desnecessário e nos concentrando na qualidade, e não na padronização e otimização para os mecanismos de busca.
Consulta de alta frequência é uma consulta que possui alta demanda na internet. A inclusão de um site entre as consultas de alta frequência nos resultados de busca impacta significativamente o crescimento do tráfego e a visibilidade do site.
4. Ignorando os requisitos e configurações. 🔗
O sistema de busca é uma caixa preta, cheia de magia (e ainda não se sabe se boa ou ruim), que está oculta dos olhos dos especialistas em SEO. Ninguém sabe ao certo o que acontecerá após a otimização das páginas entre mil outras páginas concorrentes. Mas mesmo entre essa magia, existem algumas regras claras que os mecanismos de busca permitem que todos joguem. Entre elas, podemos incluir, por exemplo, o título e a descrição da página, que serão exibidos nos resultados de busca. O que a pessoa preencheu nos campos especiais deve ser o que aparece na exibição da página! Isso realmente deve funcionar assim? Sim! É assim que realmente funciona? Não exatamente! Mesmo sabendo onde e como escrever a informação para a descrição que o usuário deve ver, o sistema de busca raramente ignora a descrição indicada no campo requerido e pega outra completamente diferente, que, na visão do algoritmo, se encaixa melhor.
5. O papel dos avaliadores. 🦸♂️
Talvez eu esteja revelando algo novo para algumas pessoas, mas os sistemas de busca não funcionam completamente de forma independente. Um papel importante, e em alguns casos até decisivo, é desempenhado pelos avaliadores. Eles podem tanto diminuir quanto aumentar o ranqueamento de uma fonte no sistema de busca a seu critério. E, embora em geral eles processem um volume muito pequeno de informação, eles existem! Nós também prestamos muita atenção aos avaliadores em nosso trabalho. Exibimos informações importantes (na nossa opinião) em locais de destaque, para que isso chame a atenção dos avaliadores, que, mesmo que rapidamente, visitam o site. Se os sistemas de busca fossem perfeitos e ideais, nenhuma intervenção humana seria necessária.
Os avaliadores são pessoas, representantes dos sistemas de busca, que verificam a qualidade e a veracidade da informação.
6. Complexidade técnica na programação. ⛓
Possivelmente, o ponto mais difícil de ler, cheio de termos incompreensíveis. Mas eu também não poderia deixá-lo de fora. Como resultado dos pontos acima e de alguns problemas não mencionados, surge a dificuldade de criar e manter um recurso desse tipo. Se o uso de URLs amigáveis (URLs que são compreensíveis para humanos) ainda pode ser justificado, uma vez que um link legível e um endereço sempre são mais agradáveis de se perceber, a "correta" estrutura de URLs do site, o fortalecimento das seções do site e o uso de subdomínios exclusivamente para fins de SEO — tudo isso é uma completa utopia e uma complicação significativa na programação. Projetar um aplicativo web otimizado para SEO que atenda completamente aos pedidos e desejos dos especialistas em SEO é uma tarefa muito complexa. E quando se trata de reestruturar completamente ou em grande parte a hierarquia de páginas e seções ao longo do funcionamento do site, a complexidade do processo pode aumentar várias vezes. Às vezes, em tais reestruturações, é impossível não recorrer a soluções temporárias ou permanentes. Quando meus amigos programadores me perguntam por que não usamos frameworks de frontend em nossos projetos de SEO, uma das principais questões que menciono é: a roteirização de nenhum framework de frontend conhecido atualmente pode atender plenamente aos desejos dos especialistas em SEO. Frequentemente, até mesmo a roteirização de frameworks de backend (que por padrão são projetados para trabalhar de forma flexível com URLs) não é suficiente para atender às necessidades de otimização de SEO, então o que dizer sobre React e Angular? Vamos encerrar com os termos complexos e com essa seção considerável e seguir em frente.
Como vejo os motores de busca
Quais características espero dos sistemas de busca de nova geração:
- Ausência de avaliadores
- Fatores de ranqueamento mais modernos e, acima de tudo, avançados
- Universalidade da consulta sem a necessidade de duplicar e copiar centenas/milhares de páginas sem sentido (esse é, sem dúvida, o fator mais importante)
- Mais humanidade, em vez de uma análise mecânica e sem reflexão de grandes dados
- Os testes A/B podem influenciar o comportamento das pessoas no site (botões chamativos com um apelo para comprar um produto podem aumentar a taxa de conversão em algumas porcentagens ou, ao contrário, afastar os usuários devido à sua insistência). No entanto, o teste A/B não deve ser utilizado para monitorar o comportamento do site nos resultados de busca.
- Transparência (isso eliminaria a necessidade de testes A/B)
- Regras do jogo unificadas
Sempre há sites e otimizadores que conseguem alcançar as posições TOP (posições altas e lucrativas nos resultados de busca) por meio de métodos obscuros de otimização (isso é chamado de SEO sombrio, que poderia resultar em banimento e que, felizmente, está diminuindo a cada ano). No entanto, espero que o termo "lado sombrio da providência" permaneça no passado, lá no final dos anos 2000. A otimização clara, que os especialistas em SEO chamam de metodologia moderna, passará por mudanças significativas.
Quando esperar melhorias
Quando podemos esperar sistemas de busca realmente de qualidade? Nos próximos 5 a 10 anos, não acredito que algo mude drasticamente. Há esperança em computadores quânticos e computação quântica, mas eles não resolverão todos os problemas de forma abrangente. Eles podem apenas resolver alguns problemas relacionados, por exemplo, à falta de poder computacional. Com isso, é possível processar informações mais rapidamente. Mas isso provavelmente será insuficiente para construir um sistema de busca que nos satisfaça completamente. Além disso, não vejo indícios de que modificações nos algoritmos existentes e nos fatores de ranqueamento possam, no futuro próximo, impactar significativamente a qualidade e levar os sistemas de busca a um nível completamente novo. Talvez seja necessário algo conceitualmente novo, e a computação quântica e os computadores possam dar esse impulso.
SEO segundo regras claras e justas
Como será o SEO se as regras do jogo forem realmente transparentes e unificadas para todos: suponha que sabemos claramente quais devem ser os títulos (ou melhor, isso não deveria ser mais importante) e quais dados devem ir para a microformatação. Quando todos os sites se tornarem "iguais" em termos de atratividade, em que a busca se concentrará? Acredito que ainda será possível trabalhar e focar em indicadores técnicos: velocidade de carregamento 🏃♂️, desempenho da página (esses indicadores já existem e são considerados atualmente) 🖥, mas eles não correspondem à realidade. Muitos sites ruins ainda conseguem entrar nas posições TOP, enquanto sites rápidos e amigáveis frequentemente ficam em posições inferiores. Isso se deve ao fato de que, em primeiro lugar, a otimização teórica é levada em conta. Nos mecanismos de busca da nova geração, a otimização teórica deve desaparecer completamente. Ou, pelo menos, se transformar em algo diferente. Como os mecanismos de busca terão uma inteligência artificial "real" (muito superior em qualidade) 🤖, especialmente se excluirmos a presença de avaliadores, eles devem ser capazes de determinar a qualidade e a veracidade das informações fornecidas de forma independente e em um nível mais novo. Isso deve se tornar o principal critério de ranqueamento (ainda mais do que a otimização técnica) e substituir completamente o SEO teórico. No momento, não vejo indícios de que as redes neurais de busca consigam analisar as informações de forma adequada. O que pode estar por trás disso: o volume excessivo de informações na internet, que continua a crescer em progressão geométrica, ou a baixa qualidade das redes neurais — é difícil dizer. Acredito que seja mais o segundo caso. Mas uma coisa eu sei com certeza: ao gerar 20 mil páginas semelhantes, estamos claramente indo pelo caminho errado e apenas complicando o trabalho dos mecanismos de busca e "poluindo" os servidores com informações desnecessárias. No entanto, sem boas alternativas, ainda estamos envolvidos em tal promoção. Nos mecanismos de busca do futuro, não olharemos para as intenções ao formar títulos, para ajustar as frases o máximo possível às consultas. Diremos imediatamente aos mecanismos de busca quem somos e quais serviços oferecemos. E a qualidade com que fazemos isso deve ser determinada pelo mecanismo de busca. A coleta do núcleo semântico se tornará diferente. Com a chegada dos computadores quânticos com cubos estáveis, o poder computacional em geral aumentará. Isso permitirá indexar páginas com mais frequência e qualidade. Mas se a qualidade da própria indexação dos mecanismos de busca aumentará — essa questão permanece em aberto.
Conclusões
Vou tentar resumir o que foi escrito acima e listar brevemente os problemas que vejo nos motores de busca modernos.
- 🔝 Fatores e algoritmos de ranqueamento e avaliação da qualidade dos sites são imperfeitos.
- ⚖ É necessário realizar testes A/B e vários experimentos constantemente para entender como isso afeta os resultados de busca.
- 🗃 Geração de uma infinidade de páginas desnecessárias e conteúdo repetitivo, tudo para satisfazer os motores de busca. Isso se assemelha a ajustar uma resposta de tarefa, em vez de buscar uma solução de qualidade.
- 🦸♂️ A intervenção humana (avaliadores) no sistema não significa algo ruim, no entanto, deve ser um caso isolado, e não algo regular. Os bots de busca devem ser capazes de lidar bem com isso sozinhos.
E um pouco mais sobre os motores de busca
Saindo um pouco do tema principal (reflexões sobre a qualidade do SEO teórico atualmente), vou falar um pouco sobre os motores de busca em geral 💡.
Poucas pessoas sabem, mas além dos motores de busca Yandex e Google, existem muitos outros, incluindo alguns bastante bons. Se motores de busca como Rambler, Bing, Yahoo e Mail não inspiram confiança por vários motivos (alguns têm uma base de busca pequena, outros já não estão no auge e nunca voltarão), existem alguns motores de busca que despertam meu interesse. Falando sobre o DuckDuckGo 🦆, é um bom buscador com uma grande base e uma boa privacidade (pelo menos no momento da redação deste artigo). Além do DuckDuckGo, tenho nos meus favoritos o buscador Brave, do navegador homônimo, que pretendo testar em breve. E há também um buscador interessante chamado You, que me interessa ainda mais do que o Brave e o DuckDuckGo. Em particular, para consultas de programação, os resultados desse buscador me agradam ainda mais do que os do Yandex ou Google.
Às vezes, surgem na minha mente pelo menos duas perguntas relacionadas aos motores de busca. Tentarei expor minhas reflexões a seguir.
- Mudará a participação do Yandex e do Google na dominância da internet? (Como este post é direcionado a leitores de língua russa, e essas são as principais ferramentas de busca para eles, escolhi esses exemplos). Se a resposta for breve, provavelmente não. Se o Yandex, sob as sanções (que, de modo geral, foram impostas à região), pode gradualmente perder qualidade ou, pelo menos, ficar atrás em recursos em relação ao Google, o próprio Google, no mundo, tem poucas barreiras para continuar se desenvolvendo. Portanto, acredito que o Google continuará a dominar. Isso se aplica aos próximos 20 anos. Mas não devemos esquecer que no mundo da TI já houve muitos casos em que a política de uma empresa levou a crises e à perda de um domínio claro no mercado: Xerox, Intel e, claro, o motor de busca Yahoo, que dominou seu setor no início dos anos 2000. Provavelmente, o Google aprendeu com os erros dos outros e não permitirá que isso aconteça com ele. Além disso, o motor de busca é uma parte comercial realmente importante para o Google 💵. Mas não vamos especular sobre o que acontecerá em 50 anos. Talvez, em algum momento, ninguém se lembre do motor de busca Google, assim como ninguém se lembra do Yahoo hoje 😟.
- Podem surgir motores de busca especializados 🔍 que superem em qualidade os mais universais? Esta questão é, talvez, ainda mais complexa. Em certa medida, tais sistemas já existem e funcionam (buscam) dentro de seus próprios limites, mas é improvável que saiam disso e concorram com motores de busca mais universais. Por outro lado, se um motor de busca realmente representasse algo muito progressivo em termos de busca, eu começaria a usá-lo, não importando se a busca é por código de programação ou materiais de construção, o importante é que a busca nessa área seja o mais natural e humana possível. Essa busca implicaria na ausência dos algoritmos habituais e seria baseada completamente em aprendizado de máquina e tecnologias mais avançadas. Por outro lado, se tal busca fosse capaz de funcionar com qualidade em uma única área específica, o que impediria aplicá-la e treiná-la em outras áreas? Então, acabaríamos retornando a uma busca universal. Apenas desta vez, mais aperfeiçoada.
