Skip to content

Um grupo do central em servidores separados

Redundância explica os componentes de uma instalação redundante e o que muda com uma segunda instância. Esta página descreve os ajustes de cada instância, os endereços do grupo nos streamers e as verificações de redundância.

Este guia configura uma instalação existente com instâncias separadas do central e streamers conectados. Não inclui a instalação do produto, o início dos processos nem a adesão de streamers.

O que exatamente é implantado

Uma instalação com reserva tem quatro partes, e apenas uma delas é o Optic:

  • Um cluster PostgreSQL, acessível por todas as instâncias num mesmo endereço. É o único depósito de estado e a única parte cuja tolerância a falhas o Optic não assume.
  • Duas ou mais instâncias do central — máquinas separadas com a mesma configuração, diferindo nos papéis e no endereço anunciado.
  • Streamers — máquinas separadas às quais se dá não o endereço de uma instância, e sim a lista de endereços do grupo.
  • Um ponto de entrada do operador — um único endereço com uma instância disponível atrás: um nome DNS com comutação ou um balanceador.

A regra para essa instalação é: o central e os streamers funcionam em máquinas separadas. Um streamer local dentro do processo do central não serve: seus streams param junto com o central.

Quantos de cada um

Parte Quantos Observação
PostgreSQL Um cluster lógico Dois servidores de banco independentes são duas instalações distintas, não uma reserva
Instâncias do central Duas ou mais Uma terceira entra com a mesma configuração; as existentes não precisam ser reescritas
Streamers Quantos a transmissão exigir A redundância deles vem da alocação, não daqui
Ponto de entrada do operador Um endereço Os streamers não passam por ele

A configuração de uma instância do central

As instâncias de um grupo diferem em exatamente duas linhas: o endereço anunciado e o conjunto de papéis. Todo o resto é idêntico, inclusive a string de conexão com o banco.

A primeira instância:

listeners:
  http:
    - port: 80

central:
  database_url: postgres://optic:senha@db.example.com:5432/optic
  admin_keys:
    - chave-de-gestao
  components: {run: true, migrate: true, layouter: true, stats: true, agents: true}
  advertise_url: http://central-a.example.com

optic: {}

api_auth:
  login: admin
  password: senha-do-operador

A segunda é a mesma, sem o papel migrate e com seu próprio endereço:

central:
  database_url: postgres://optic:senha@db.example.com:5432/optic
  admin_keys:
    - chave-de-gestao
  components: {run: true, migrate: false, layouter: true, stats: true, agents: true}
  advertise_url: http://central-b.example.com

Esses ajustes vão no /etc/optic/optic.yaml de cada máquina.

Papéis são declarações, não atribuições

Um papel na configuração significa «esta máquina está pronta para fazer este trabalho», não «esta máquina o faz». Qual instância realmente faz o trabalho é decidido pelo PostgreSQL e não pela configuração — por isso layouter e stats são declarados pelas duas, e isso não é erro nem partida dupla.

  • run — atender requisições: o console, a API de gestão, a sincronização dos streamers e as métricas. Necessário em cada instância.
  • migrate — aplicar as migrações do esquema no início.
  • layouter — executar as passagens de alocação.
  • stats — manter as estatísticas atuais de todo o cluster.
  • agents — aceitar as conexões de controle endpoint dos agentes.

O único papel que não se pode deixar em todas é migrate. Ele não é protegido por um mandato: dois processos que partam ao mesmo tempo lançarão as migrações em disputa. Por isso o esquema é aplicado por uma instância e as demais partem depois dela.

central.components é combinado campo a campo. Um campo omitido herda o valor da camada anterior; true o ativa e false o desativa. Um objeto vazio mantém os valores anteriores. O pacote optic ativa agents por padrão. Os demais componentes mantêm seus valores ou os ajustes do operador. Exemplo:

central:
  components:
    run: true
    migrate: true
    layouter: true
    stats: true
    agents: true

Na segunda instância, defina explicitamente central.components.migrate: false. Um arquivo drop-in pode alterar apenas um campo sem repetir os demais. Reinicie o processo para aplicar a alteração.

O array antigo central.roles não é mais aceito, nem junto com components. Antes de atualizar, substitua-o em todos os arquivos: use true para os papéis da lista antiga não vazia e false para os demais para preservar o conjunto exato. Remova uma lista antiga vazia para manter os valores padrão. O campo antigo no arquivo principal impede a inicialização; em um drop-in gera um aviso e esse arquivo é ignorado.

O endereço anunciado

advertise_url é o endereço usado pelas demais instâncias para acessar esta máquina. Uma instância mantém as estatísticas atuais e as demais as consultam pela rede: o titular publica seu endereço para que possam usá-lo.

O endereço de um balanceador não serve aqui — levaria o vizinho de volta a si mesmo. O endereço tem de ser o de uma máquina específica.

Defina advertise_url em cada instância do grupo. Sem ele, as demais instâncias não podem consultar suas estatísticas nem encaminhar comandos de agentes para ela. O console indica a ausência do endereço; consulte a verificação do grupo.

Quem faz o quê: os mandatos

O trabalho que não deve ser executado simultaneamente é feito por uma instância: a titular do mandato. O mandato é mantido no PostgreSQL por uma conexão dedicada. Quando a conexão termina, ele é liberado sem tratar executores bloqueados por tempos de espera.

Os mandatos são vários e são independentes. O central não tem um líder único: layouter e stats podem acabar em máquinas diferentes, e isso é um estado normal, não um desequilíbrio.

Cada concessão tem um número: a época. Ele aumenta quando o titular muda e é verificado a cada escrita. Se uma instância continuar trabalhando após perder o mandato, suas escritas serão rejeitadas para impedir alterações na alocação com resultados obsoletos. Por isso, a troca de titular é segura e não precisa de confirmação manual.

A troca de titular leva segundos: o tempo necessário para o PostgreSQL detectar o fim da sessão e para outra instância obter o mandato liberado.

Uma instância sem mandatos continua atendendo o console, a API e a sincronização dos streamers. Os mandatos controlam apenas as tarefas de fundo.

A configuração de um streamer

O streamer se dirige ao grupo, não a um processo, então sua configuração leva uma lista de endereços:

managed_by:
  name: streamer-01
  url:
    - http://central-a.example.com
    - http://central-b.example.com
  join_token: token-de-adesao

A ordem da lista é a preferência do operador. O streamer vai ao primeiro endereço enquanto ele responder, passa ao seguinte após uma requisição malsucedida e uma vez a cada cinco minutos testa o primeiro de novo: assim que ele revive, a máquina volta a ele. O teste é uma requisição de sincronização comum, não há uma verificação de disponibilidade à parte: um endereço serve quando a sincronização funciona por ele.

A mesma lista é aceita pela variável de ambiente CENTRAL_URL — endereços separados por vírgula.

O streamer aprende o grupo sozinho

A configuração do streamer não é a única fonte de endereços. Cada resposta à sincronização traz a composição do grupo: os endereços das instâncias disponíveis que atendem streamers. O streamer os acrescenta aos endereços da sua configuração — estes ficam na frente, na ordem dada — e guarda o aprendido em disco junto ao resto do estado da máquina, de modo que sobrevive a um reinício e é usado já no registro.

Consequências para a operação:

  • É possível adicionar uma instância sem alterar as configurações dos streamers. Uma instância com o mesmo banco e um advertise_url aparece na composição do grupo em segundos; cada streamer fica sabendo dela na próxima sincronização.
  • Um streamer instalado com um endereço recebe o de reserva na primeira resposta. Os streamers existentes passam a fazer parte do grupo sem alterar suas configurações.
  • Uma instância que deixa de enviar dados ao grupo é removida do anúncio após vinte segundos, e os streamers a removem dos endereços aprendidos. Os anúncios nunca alteram os endereços configurados: não podem adicioná-los nem removê-los.

As máquinas que ainda não sincronizaram com o central continuam precisando de um segundo endereço configurado. Antes da primeira resposta, o streamer conhece apenas os endereços configurados do grupo. O central usa a sincronização como único sinal de que o streamer está disponível. Se perder seu único endereço antes da primeira sincronização, ele será marcado como offline após um minuto e meio; o layouter então moverá seus streams de uma máquina que continua funcionando.

Configure a primeira instância como endereço preferido em parte dos streamers e a segunda nos demais. Assim, as requisições de sincronização são distribuídas durante o funcionamento normal. Se uma instância falhar, somente seus streamers passam para o outro endereço e retornam quando ela fica disponível novamente.

O ponto de entrada do operador

O operador precisa de um único endereço que encontre sozinho uma instância disponível: um nome DNS com comutação ou um balanceador diante do grupo. Um manipulador de requisições não guarda estado próprio, então qualquer instância pode responder à requisição de um operador.

Os streamers não devem passar por esse ponto de entrada: eles têm a própria lista de endereços, e um intermediário a mais no caminho da sincronização só acrescenta um ponto de falha.

O que verificar após a implantação

Abra Cluster → Central no console.

Duas instâncias do Optic: endereços anunciados, componentes e titulares de mandatos

  • A tabela tem uma linha por instância. A linha aparece em segundos após o início. Se não aparecer, a instância não se conectou ao banco.
  • A coluna Instância mostra o endereço de cada central. A marca «não anunciado» indica que as demais instâncias não conseguem acessá-la: falta advertise_url.
  • A coluna Papéis reivindicados mostra os papéis declarados. Verifique se exatamente uma instância declara migrate.
  • Pelo menos uma instância tem dados em Mandatos detidos. Se todas estiverem vazias, nenhuma declarou layouter ou stats: o grupo não tem alocação nem estatísticas atuais.
  • A coluna Compilação é igual em todas as linhas. Versões diferentes em um grupo são normais apenas durante uma atualização.
  • A seção Streamers mostra todos os streamers a partir de qualquer instância. Se endereços diferentes mostram listas diferentes, as instâncias não recebem estatísticas compartilhadas: verifique advertise_url.
  • Um arquivo group.json aparece no diretório de estado do streamer (/var/lib/optic em uma máquina com pacote), com endereços de instâncias que não constam na configuração. Se ele não existir, o streamer ainda não recebeu uma resposta ou as demais instâncias não têm advertise_url.

Três streamers visíveis no console compartilhado do grupo do Optic

Teste a comutação em uma instalação de teste separada: pare um central e verifique a disponibilidade do grupo pela instância restante.

O que este arranjo não faz

  • Não torna o banco redundante. A tolerância a falhas do PostgreSQL é tarefa do próprio banco: uma réplica com comutação ou uma instância gerenciada de um provedor.
  • Não substitui backups. A reserva protege da perda de uma máquina, não de uma exclusão por engano — ver Backup e restauração.
  • Não afeta a transmissão. Os streams transmitem e gravam o arquivo sem o central; só a gestão é tornada redundante, ver Autonomia do streamer.

Redundância de conexões de agentes

Ative central.components.agents: true nas instâncias que aceitam agentes. O pacote optic o ativa por padrão. Cada central deve ter seu próprio advertise_url, acessível pelas demais instâncias.

central:
  components:
    agents: true

Para conectar os agentes, configure um nome DNS com vários IPs de instâncias com o componente agents ativo. Configure em cada uma um certificado TLS para esse nome. Se a conexão ou o protocolo endpoint falhar, o agente tenta outro IP da resposta DNS. Uma conexão que funciona permanece no central que a aceitou. Você pode enviar as requisições de controle para qualquer central.

Para configurar a conexão, consulte a recepção de vídeo por agentes.

Se você já usa seu próprio balanceador, os agentes também podem se conectar por ele. O balanceador deve direcionar novas conexões para instâncias disponíveis do central, aceitar conexões de longa duração e preservar as respostas do protocolo. Se ele processar HTTP, configure o encaminhamento de HTTP Upgrade.