Cómo actualizar los servidores de la manera correcta
En Flussonic estamos trabajando constantemente para mejorar nuestros productos y frecuentemente lanzamos actaluizaciones para corregir errores y para agregar mejoras al software.
Sin embargo, sabemos que las actualizaciones pueden generar miedo en algunos de nuestros clientes puesto que éstas pueden generar estrés y que algunas cosas dejen de funcionar de la misma manera en que lo hacian antes. Por esta razón hemos escrito este articulo con algunos consejos a seguir para ayudar a nuestros usuarios para que el proceso de actualizacion sea menos traumático. Sigue nuestros consejos paso a paso y verás como todo irá mucho mejor.
TL; DR
- Siempre lee el registro de los cambios. Es muy útil para saber de antemano los cambios introduciodos en la nueva versión. Siempre publicamos un registro de cambios con cada versión.
- Realiza copias de seguridad periódicamente.
- No actualices un viernes al final de la jornada laboral. Si tienes algún problema, nadie de servicio técnico estará disponible para ayudarte.
- Si hay algo que no entiendes, no te asustes. Escribe a nuestro soporte técnico solicitando una aclaración y con gusto te ayudaremos. Recomendamos escribir para aclarar las dudas antes de actualizar.
Consulta el registro de cambios
El registro de cambios contiene una breve lista de cambios introducidos en la nueva versión, con una pequena descripción explicando cada uno de ellos.
Lee detenidamente y presta especial atención a las nuevas funciones. Siempre incluimos enlaces a nuestra base de conocimiento con mas instrucciones detalladas.
Por ejemplo, en el registro de cambios de Flussonic 21.12 mencionamos WebRTC 9 veces y agregamos enlaces con explicaciones detalladas de como WebRTC funciona y cómo lanzar y correr un servicio WebRTC. Tómate unos minutos para leer detalladamente estas instrucciones para que conozcas estas nuevas configuraciones que te ayudarán a mejorar tu servicio.
Actualiza en staging primero
La mayoria de operadores no utilizan staging por razones de costos. Sin embargo uno o dos servidores deberian ser suficientes para proyectos pequeños y un tiempo de inactividad corto no debe significar perdidas para el negocio.
Cuando no hay servidores dedicados para staging, los servidores de producción sufren experimentos con configuraciones y pueden quedar inactivos al actualizar el software principal, al actualizar el sistema operativo y al momento de realizar mantenimiento de hardware.
El servidor de backup es una excelente alternativa para utilizarlo como staging. Éste siempre está en standby y se conecta solo durante las horas de carga máxima. Cuando el servicio esté funcionando regularmente, puedes deshabilitar el servidor de respaldo mientras te familiarizas con la nueva versión.
Es recomendable primero actualizar el servidor de Staging, abrir la interfaz web, asegurarse visualmente de que se haya iniciado y de que haya comenzado a capturar transmisiones.
Despues, pasamos al seguimiento instrumental.
Monitoreo
El monitoreo es una parte importante de cualquier servicio. Sin un monitoreo adecuado y constante solo podemos deducir que las cosas estan funcionando correctamente. Es basicamente decir “bueno todo parece estar funcionando correctamente”.
Con un monitoreo detallado podemos hablar con métricas y entender exactamente lo que está pasando: ninguna de las N metricas se desvió, todos los canales Z han sido capturados, la tasa de bits en la entrada no ha cambiado, etc.
Flussonic tiene un exportador Prometheus exporter y un Grafana Dashboard. Estas son herramientas de monitoreo modernas.
Habilita el monitoreo de todos los servidores, configura las notificaciones, examina las horas de carga máxima, planifica las actualizaciones del servidor y consulta las métricas. De esta manera te ahorraras la llamada al soporte técnico.
El peor momento para actualizar
Si solo tienes un servidor, no hay forma de transferir la carga de un nodo a otro. Entonces la opción mas tentadora es la de actualizar el servidor cuando el servicio tiene menos demanda de usuarios: generalmente es tarde en la noche o temprano en la mañana e incluso los fines de semana.
Este es el peor momento para actualizar porque es muy probable que tengas que trabajar horas extras y el servicio de soporte técnico no estará disponible. De ocurrir un error, es probable que tu entres en pánico al ver que no puedes solucionar el problema inmediatamente y cuando te dés cuentas que la mayoría de tus usuarios están a punto de volver a tu servicio.
Recomendamos iniciar un servidor adicional para que puedas realizar actualizaciones durante el horario comercial y puedas ensayar la actualización en el Staging.
Entonces, ¿cúal es el mejor momento para actualizar?
Es mejor planificar la actualización del servicio al inicio de la jornada laboral y después de estar seguro de haber tomado todos los pasos para estar preparado:
- Después de haber estudiado detalladamente el registro de cambios
- Después de haber probado la nueva version en Staging
- Después de haber configurado el monitoreo
- Después de haber hecho copias de seguridad
- Hay una comprensión clara de cómo devolver el sistema a su estado original, de ser necesario
- La carga ha sido distribuida entre los otros nodos.
- Los suscriptores y otros departamentos son notificados sobre el trabajo realizado
Flussonic se ejecuta en Linux, por lo que la actualización debe realizarla un administrador del sistema con habilidades confiables en la administración de paquetes, lectura de registros y edición de archivos de texto. Es importante poder trabajar con systemd y leer otros registros del sistema, excepto los registros de Flussonic.
Si no estás seguro de tus habilidades con Linux, comunícate con el servicio de soporte y confirma que los ingenieros estarán en línea durante su proceso de actualizacion.
En pocas palabras, el mejor momento para actualizar es cuando estéa completamente seguro de que estas preparado.
En la práctica, las actualizaciones periódicas no tardan más de 15 minutos, incluido el estudio de las notas de la nueva versión.
No te olvides de las copias de seguridad
Un error común es no realizar una copia de seguridad de Flussonic. Flussonic Media Server no almacena datos personales, no almacena los resultados del trabajo de las personas (por ejemplo, códigos o textos) y no es un servicio para compartir archivos.
Flussonic puede configurarse una vez y olvidarse, cambia obedientemente los bytes de la entrada a la salida y no se recuerda a sí mismo. Hasta que ocurra un “accidente”:
- el administrador modifico accidentalmente la configuración
- el sistema de archivos del servidor está dañado
- la configuración actual no es compatible con la versión anterior de Flussonic
- el servidor está físicamente fuera de servicio, debe implementarlo desde cero en un nuevo hardware
Si no hay una copia de seguridad, entonces agregar incluso unas pocas docenas de subprocesos, sus nombres y fuentes de la memoria no es un procedimiento rápido ni agradable.
Muy sencillo si tienea un archivo .txt o Excel con fuentes del proveedor y muy complicado si necesitas escanear la red y volver a agregar varios cientos de cámaras IP y distribuir derechos.
Por eso es necesario hacer copias de seguridad todos los días:
- Flussonic:
flussonic.conf se descarga usando crontab, además, será bueno recoger la configuración a través de la API.
- Watcher: hacemos una [copia de seguridad] de la base de datos PostgreSQL, la subimos a un almacenamiento confiable u otro servidor.
Intenta restaurar el servicio desde cero a partir de copias de seguridad en otro servidor “limpio”. De esta forma te aseguraráa de que la copia de seguridad contenga todos los datos necesarios.
Revertir un servicio
¿Algo salió mal? ¿El paquete no ha sido instalado? ¿Ha detectado una reducción del tráfico para el seguimiento? ¿Han dejado de funcionar algunas fuentes? ¿Los suscriptores han comenzado a llamar para solicitar asistencia?
Que no cunda el pánico, ingresa tranquilamente a la interfaz web de Flussonic y describe la situación en la página de depuración de carga.
La identificación recibida se envía a support@flussonic.com o crea un ticket.
Si la situación no es crítica, espera la respuesta del equipo de soporte tecnico. Nuestros expertos te ayudarán a estabilizar el servicio o actualizar la configuración para una nueva versión.
¿Es la situación crítica? Estamos instalando la versión anterior de Flussonic, es decir, la anterior, y no a de hace un año.
Preparate porque necesitarás revertir las dependencias y flussonic.conf o la base de datos Watcher no serán compatibles, porque su estructura se ha actualizado para la nueva versión.
Para tales casos, realizamos copias de seguridad y capacitamos en servidores de respaldo y almacenamiento intermedio, y lo que es aún más importante: el soporte técnico de Flussonic está disponible para ti. Trata de no realizar acciones que no comprendas y no copies comandos de Internet. Comunícate con el soporte, dinos dónde se almacenan tus copias de seguridad y describe los pasos que ya has completado.
No actualices todo a la vez
- Hola, soporte, ayúdame a retroceder, ¡He actualizado y mi servicio ha caído!
- Sí, bueno, veamos … Su archivo de configuración contenía más opciones sin usar. He revertido su servidor, lee la lista de cambios y preparate para la actualización.
- ¿Y qué hacer con los otros 11 servidores?
También existen estos casos: los comandos para actualizar el servidor se copian en el portapapeles y se insertan secuencialmente en una docena de terminales. Después de actualizar todos los servidores, queda claro que ninguno de ellos funciona debido a un pequeño error.
Nunca actualices todos los servidores a la vez, esta es una forma directa de poner todo el servicio en riesgo a la vez. Actualiza un servidor, espera un poco, y repite el proceso con el siguiente. Si tienea muchos servidores, entonces vale la pena hacerlo usando Ansible, te enseñaremos cómo hacerlo.
Author:
Maksim Klyushkov
Flussonic Media Server Team Lead
At the forefront of Flussonic innovations: responsible for development of Flussonic Media Server, video analytics & UI services