Projetos de pequenos e médios data centers: erros a serem evitados

Quando falamos em projetos de pequenos e médios data centers, precisamos ficar atentos às normas e principais características a fim de evitar que erros extremamente comuns sejam cometidos.

Isso porque, em projetos de grandes data centers, enterprise ou comerciais, normalmente há equipes de projetistas multidisciplinares que, ao aplicar seus conhecimentos e experiências, seguindo as melhores práticas e normas, minimizam aplicações e conceitos desatualizados. 

No entanto, nos data centers de uso próprio, cuja demanda é de poucos racks (entre 30 ou 40), a realidade é bastante diferente, apesar de a criticidade ser basicamente igual à dos grandes projetos.

Em razão da demanda por alta disponibilidade, às vezes a implantação é até mais difícil de ser levantada e dimensionada de imediato nos pequenos e médios data centers pela equipe técnica de TI e alguns erros básicos são cometidos.

Conhecer esses erros é fundamental para evitá-los!

Por esse motivo apresentamos os principais nesse artigo. Aproveite a leitura!

 

Definir um orçamento menor que o necessário

 

Orçamentos reduzidos também podem induzir a erros, pois muitas vezes levam a soluções equivocadas e à compra de equipamentos não adequados, que cedo ou tarde precisarão ser substituídos a custos que normalmente podem chegar ao dobro do valor inicial.

 

Não conhecer a especialidades de engenharia que um data center necessita

 

É preciso conhecer as necessidades que o data center terá em relação à especialidades de engenharia, apontamos aqui as principais: 

• Arquitetura e civil – edificação, estudo de fundações, impermeabilização, piso elevado, paredes e portas corta-fogo, estanqueidade, base de equipamentos em áreas externas, etc.

• Elétrica – entrada de energia, gerador de emergência, quadros elétricos, distribuição de energia interna, dimensionamento de UPS e demais equipamentos elétricos, sistema de aterramento, etc.:

• Mecânica – ar-condicionado, racks, distribuição de ventilação, confinamento, sistema de diesel, etc.

• Conectividade – backbone, cabeamento óptico e metálico.

• Segurança – prevenção e combate de incêndio, CFTV, controle de acesso, monitoramento ambiental, BMS, DCIM, etc.

É preciso agregar toda esta engenharia em pequenos espaços e, preferencialmente, com custos acessíveis para possibilitar a validação dos investimentos junto à diretoria. Grande parte das empresas exerce atividades não vinculadas à área de TI, aumentando assim o nível de exigência do planejamento para que possam ter o investimento aprovado.

 

Caso 1 – Sobredimensionamento da infraestrutura

 

O primeiro ponto a abordar é o principal e mais corriqueiro fato gerador de fonte de problemas, que é o sobredimensionamento da infraestrutura, em função de informações de TI não ajustadas à realidade atual e ao fator de crescimento. Vamos relatar um caso para ilustrar este fato. 

Abaixo as premissas solicitadas para atender à demanda do projeto final:

• Total de racks = 8 
• Racks de ativos = 7
• Potência por rack de ativos = 4kW
• Rack de Telecom/Cabling = 1 
• Potência do rack = 1kW 
• Potência total final do projeto = 29kW de carga térmica

A figura 1 mostra a planta baixa do exemplo que vamos utilizar:

 

 

A solução foi montada com uso de ar condicionado perimetral com insuflamento sob o piso elevado. No lado esquerdo do desenho, temos o corredor frio com placas posicionadas na frente do racks. Não temos confinamento. O corredor quente retorna pelo próprio ambiente ao topo das máquinas de ar, que são de 10 TRs, ou próximo a 30 kW de calor sensível.

São respeitados os espaçamentos de no mínimo 1,2m na frente dos racks e um corredor de circulação na traseira dos racks com 1,5m na parte mais apertada (na frente das máquinas de ar). São utilizados 2 UPS de 40 kW na configuração Dual Bus.

Para o quadro geral foi estimado um consumo total de 65 kW, sendo 48 kW na entrada da UPS (considerado a recarga de bateria), 12 kW para consumo de ar, mais 5 kW para serviços adicionais. Assim o GMG foi dimensionado em torno de 80 KVA/64kW (Stand-by).

Abaixo, a realidade de implantação inicial:

• Total de racks inicial = 5
• Racks de ativos = 4
• Rack de Telecom/Cabling = 1
• Racks futuros = 3
• Consumo médio medido = 5,5kW a 6,5kW ou seja, média de 6kW de carga térmica

Assim iniciam os problemas que serão detalhados posteriormente, com um sobredimensionamento da carga de TI baseada na demanda futura máxima, em confronto com um ponto de partida de subutilização de equipamentos.

Pode-se deduzir para este caso, como consequência do sobredimensionamento da carga de TI, que houve um investimento inicial excessivo, com um Capex acima do necessário.

Na prática, a maioria dos ativos de TI vem trabalhando com 50% ou menos da energia especificada pelos dados de placa dos mesmos. Além disso, gestores de TI têm adotado premissas de crescimento baseadas nas tecnologias atuais, ou naquelas que estão aplicadas em sua arquitetura de TI, sem se importar com os impactos técnicos e financeiros que estas decisões acarretam.

 

Caso 2 – Subcarregamento de UPS 

 

Ainda utilizando o exemplo do Caso 1, com o dimensionamento dos UPS para carga final indicada de 40kW e a realidade de consumo implantado inicialmente na média de 6kW, a condição de trabalho dos UPS, com a situação estável em regime dual bus (dividindo a carga igualmente para cada UPS), é de 3 a 4 kW de potência de saída por UPS, ou seja, estão perto de 5 kW de potência de entrada, o que significa menos de 15% da potência nominal. 

A figura 2 abaixo mostra que o fator de potência de entrada varia de 0,99 indutivo a 100% de carga a 0,98, porém capacitivo com baixas cargas.

 

 

Geradores não funcionam bem com cargas capacitivas. No caso em discussão, por se tratar de uma instalação dedicada ao DC, o gerador enxerga na instalação toda uma carga com características capacitivas, o que impede a boa operação do sistema como um todo. 

Também podemos levantar os problemas inerentes a falhas mecânicas do conjunto: 

Motores diesel trabalhando com baixa carga acabam não queimando todo o combustível injetado no motor, sobrando partículas carbonizadas e outros resíduos de óleo e água, o que carboniza estas impurezas nos cabeçotes. Para evitar danos maiores, limpezas periódicas são necessárias.

Óleo diesel armazenado por longos períodos se degrada até 26% ao mês (segundo padrões de testes definidos pela American Society for Testing and Materials). Sistemas de pequeno porte dificilmente têm em sua solução bombas e filtros de recirculação e filtragem, que poderiam reduzir este processo de degradação, fazendo uma circulação do diesel semanal em torno de 8 a 12 horas.

Uma das alternativas para resolver o problema de entrada capacitiva dos UPSs, passa por dimensionar os equipamentos de forma a permitir um crescimento modular. O uso de um UPS modular, que permita o crescimento escalonado, vai permitir que se faça um maior carregamento do UPS, deixando seu FP indutivo e sanando o problema. 

Analisando também a eficiência: temos na figura 3 as curvas de rendimento de diversos UPS e podemos ver que abaixo de 30% a eficiência nem é mostrada. A maioria dos fabricantes só considera uma eficiência energética razoável acima deste carregamento.

 

 

Caso 3 – Utilização equivocada de tecnologia de equipamento

 

Aqui serão apontados dois erros muito comuns que, associados, levam a um desastre. Um deles é o uso de ar condicionado de conforto sobredimensionado. Imaginemos que no cenário da Figura 1, tivessem sido utilizados equipamentos de ar condicionado de conforto e não de precisão. Uma solução de ar de conforto do tipo Split piso/teto, levaria a uma mudança de layout, com os racks invertidos de lado, ou seja, a frente ficaria voltada para o lado da porta de entrada, com o objetivo de direcionar o ar frio dos Splits diretamente para a frente dos racks. 

A figura 4 mostra o layout alterado:

 

 

Para esta solução, com redundância e sem usar nenhum fator de redução de capacidade de refrigeração (devido a máquina de conforto ter de trabalhar com 100% de calor sensível), teríamos que ter, no mínimo, três máquinas de 48.000BTU/h (14 kW cada). 

Lembramos que máquinas de conforto não são adequadas para este tipo de aplicação, pois não são projetadas para trabalhar em um regime de uso contínuo (24h x 7 x 365). Além disso, são projetadas para trabalhar com uma carga de 70% de calor sensível e 30% de calor latente. 

No caso em análise, as seguintes falhas seriam comuns de ocorrer no uso diário: 

a) Congelamento na evaporadora: ocorre quando há filtros sujos ou quando equipamentos trabalham a baixa temperatura de set up e baixa carga térmica (o que é o caso do exemplo dado); 

b) Entupimento dos drenos: o acúmulo de condensação na serpentina ocorre com muita frequência quando os equipamentos trabalham com baixa temperatura e baixa carga térmica; esta água em excesso pode sobrecarregar ou entupir os drenos.

 Existe ainda como consequência: 

a) Risco de condensação ambiental: é comum que o ajuste de temperatura fique abaixo de 18ºC, o que, somado com pouca carga térmica, acaba deixando o ambiente frio, este por sua vez ,combinado com entrada de umidade externa, gera condensação em partes metálicas das instalações e internamente aos racks; 

b) Quebra/parada de um dos Splits com consequente parada de todo o sistema de TI: por serem equipamentos não projetados para este fim, e usualmente controlados por uma automação precária, é muito comum a quebra de uma ou mais unidades e a consequente parada total dos sistemas de processamentos com desligamento por alta temperatura no ambiente. 

c) Curto circuito térmico: sendo o insuflamento pela frente dos racks, o ar quente da parte traseira dos mesmos necessita retornar aos Splits, fazendo com que o sistema perca eficiência

 

Caso 4 – Subcarregamento do ar de precisão 

 

Todo equipamento de ar de precisão necessita de calor para trabalhar bem. Quando analisamos os dados de catálogos dos fabricantes, verificamos que os compressores (digital Scroll ou do tipo Inverter) conseguem variar a taxa de compressão de 20 a 100% da capacidade do equipamento.

 

 

Assim, no Caso 1 acima relatado, a carga de uma máquina funcionando (com a carga de 6kW) fica em torno de 20% da capacidade de variação do compressor. 

Isto leva a dois efeitos básicos: 

a) O compressor ficará ligando e desligando com muita frequência, pois ele liga na taxa de compressão mínima, inicia a refrigeração do ambiente e em poucos minutos ou segundos já desliga. Desta forma, funcionará no regime de on/off, diminuindo sua vida útil, bem como requerendo ações mais frequentes nas manutenções preventivas e corretivas; 

b) Como não ocorre a compressão e somente a ventilação é suficiente para manter a temperatura do ambiente, não existe a possibilidade de regulação de umidade. O sistema não consegue realizar o ciclo de retirar umidade do ambiente. Uma das alternativas para resolver este possível problema é a modulação de máquinas de ar condicionado. 

O ideal no Caso 1 seria trabalhar com três máquinas de 5TR ou 7TR. A escolha da máquina deve prever a possibilidade de um equipamento trabalhar com carregamento mínimo de 30 a 50%, escolhendo um frame de capacidade de refrigeração de mercado. 13 Technical Specifications. 

Os efeitos acima citados podem ocorrer tanto com máquinas perimetrais down flow, quanto com máquinas tipo “In row”. Em soluções com máquinas In Row, o efeito é ainda pior, pois a capacidade nominal do equipamento é dada para uma condição de retorno com temperatura elevada. 

A figura 6-1 mostra a capacidade de variação de um compressor inverter para máquina In Row (30% a 100%) e a figura 6-2 mostra como os dados de placa são dimensionados a uma temperatura de retorno de 37ºC. 

 

 

Ao analisar os dados de catálogo de uma máquina do tipo “In Row”, percebemos que quanto mais baixa a temperatura de retorno, menor é a capacidade de refrigeração do equipamento.

 Esta é a razão pela qual usualmente confina-se o corredor quente neste tipo de solução. Determinados casos permitem o confinamento do corredor frio, para tanto, os cálculos e estudos de aplicação devem ser feitos caso a caso. 

A figura 7 abaixo mostra uma solução com baixa temperatura de retorno e baixo carregamento (em torno de 6 kW de carga de TI). As unidades de máquinas In Row são de 3 x 10 kW. Neste caso, o cliente optou por trabalhar sempre com duas unidades em operação, mantendo baixa a temperatura de retorno, diminuindo a taxa de uso de compressão. A consequência aparece na dificuldade de controle de umidade no ar insuflado, bem como na baixa eficiência do sistema.

 

 

Nota-se que somente a modularidade não resolve, é preciso trabalhar com uma previsão de crescimento e início de operação mais assertivos.

 

Caso 5 – Layout inadequado 

 

Um datacenter bem organizado precisa respeitar algumas premissas para que atenda às normas e também seja operacionalmente viável. Indica-se para o corredor frio um espaçamento de no mínimo duas placas de piso, para viabilizar a instalação das placas perfuradas ou grelhas de insuflamento, bem como para que os ativos de TI possam ser inseridos/retirados dos racks de forma apropriada. 

A figura 8 mostra um distanciamento mínimo ideal: 

• Frente dos racks – Ca = 1,2m 
• Traseira dos racks – Cf = 1,0m 
• Laterais dos racks na cabeceira das fileiras – Cs = 1,0m

 

 

Ocorre que, na maioria das instalações, as áreas são pequenas e é preciso abrir mão de alguns distanciamentos, mas ressaltamos que algumas premissas devem ser mantidas, as quais: 

a) Distância disponível na frente dos racks: mínimo de 1,2m; 

b) Distância permitida atrás dos racks: mínimo de 0,60m a 0,70m (permite a circulação confortável de um operador; 

c) Distância dos racks na cabeceira: pelo menos uma das cabeceiras deve ter uma área que permita a manobra de um rack (transporte), o implica em, no mínimo, 1,2m. A outra cabeceira pode ser encostada (na última hipótese); 

d) Distância na frente de equipamentos de utilidades tipo ar condicionado, UPS, quadros elétricos, sistema de detecção e combate, etc.: no mínimo um pouco acima da própria profundidade do equipamento. Por exemplo, um ar condicionado perimetral de 0,90m de profundidade, precisa de 1,00m na frente livre para acesso de manutenção operacional, ou para a própria retirada do equipamento sem necessidade de mexer nos racks;

e) Distância nas laterais e fundos de equipamentos de utilidades (Ar, UPS, painéis etc.): sempre consultar o manual do fabricante; 

f) Piso elevado para instalação de utilidades e uso de ar downflow: mínimo de 0,40m, sendo o ideal 0,50m a 0,60m; 

g) Quando da utilização de ar In Row, recomenda-se que a altura do piso elevado seja de, no mínimo, 0,30m. Esta profundidade permite trabalhar-se com bastante folga na bandejamento de distribuição elétrica, lógica metálica e óptica (caso não queiram fazer a distribuição óptica sobre os racks) e linha frigorígena e drenos de ar condicionado; 

h) Altura recomendada sobre o piso elevado, pé direito livre; 2,6m a 2,7m;

i) Sempre deixar o vão sob o corredor frio desobstruído de leitos e infra, para a melhor circulação de ar;

j) No caso de confinamento de corredor frio, o vão de abertura da porta confinada deve ser de 1,2m. 

A figura 9 mostra um erro não tão incomum. A sala de TI foi montada com os racks back to back e com dois corredores frios nas frentes dos racks. O Datacenter da figura 9 é composto de 20 racks, sendo 2 fileiras de 10 racks. Tem 2 UPS de 40 kW e 3 máquinas downflow de 7,5 TR, trabalhando em 2N+1. 

O usuário deixou apenas 60 cm entre racks, o que é o mínimo aceitável. Como você  pode ver, foram colocadas placas perfuradas no corredor quente, para diminuir a temperatura do mesmo, seguindo uma percepção pessoal do gestor que estava elevada. 

Também existiam outros erros, tais como a falta de escovas de vedação, falta de tampas cegas, por exemplo. Como todos os erros existentes, o consumo elétrico estava em torno de 34 kW e o consumo de ar condicionado necessitava das 3 unidades em funcionamento.

Quando uma máquina desligava, o DC caia por sobre temperatura. Foi realizado o trabalho de sanar falhas, com retirada da ventilação no corredor quente, instalação de tampas cegas e escovas e troca de placas perfuradas por placas com vazões variáveis. Com todo o trabalho concluído, o sistema voltou a estabilidade, onde 2 máquinas de ar passaram a sustentar a carga com tranquilidade.

 

 

Caso 6 – Confinamento de corredor frio 

 

Como já comentado anteriormente, parte-se do princípio que os data centers atuais já nascem, ou são reorganizados, em corredores frios e quentes. Um passo muito comum para melhorar a eficiência de refrigeração e, por consequência, a eficiência energética do conjunto, é o uso de confinamento. 

Quando falamos em confinar o corredor frio, o que tem sido a solução mais usual, temos de tomar vários cuidados, pois a dinâmica da distribuição do ar frio muda muito, e é usual termos vários problemas, tais como zonas de baixa temperaturas, condensação, hot spots e etc. Junto com o confinamento, deve-se realizar um estudo de distribuição do ar frio no ambiente confinado, é preciso direcionar ar a quem precisa! 

Algumas premissas básicas devem ser seguidas para que um confinamento tenha o resultado esperado:

a) Placas cegas em espaços de rack não utilizados; 

b) Uso de escovas ou vedadores nas aberturas de piso elevado, para o caso de ar downflow ou in row.

c) No caso de aplicação de máquinas In Row, uso de sensores de temperatura e umidade nos racks próximos (pelo menos dos 2 racks laterais); 

d) Trabalhar com placas de vazões e direcionamento de fluxo de ar variáveis para a distribuição do ar aos racks confinados. 

Vamos analisar o projeto da figura 10 com as premissas de ocupação total:

 Total de racks ativos e TI = 10 + 2 = 12 

• Racks de servidores = 8 com 6kW cada 
• Racks de storage = 2 com 4kW cada 
• Rack de Telecom = 2 com 2kW cada Demanda total = 60kW carga térmica

 Para a carga nominal de 60 kW foram selecionadas três máquinas de ar de 30 kW, na configuração de 2+1. 

Note-se que no projeto original todos os racks têm em sua parte frontal uma placa perfurada com 32% de área perfurada. 

 

 

Mas a ocupação inicial do DC estava com as potências da figura 11, que também indica a temperatura média na tomada de ar dos racks a 1,5 m da base dos mesmos.

 

 

Podemos ver que as temperaturas estão bastante baixas, pois os ajustes estão com uma temperatura de insuflamento de saída dos refrigeradores de 18ºC. Racks com demanda de meia carga estão com temperatura de entrada de 21ºC, enquanto os racks com demanda de baixa carga ou sem carga nenhuma, estão com temperatura de 18ºC.

 Como consequência, é necessário que duas máquinas estejam ativas, jogando ar no pleno confinado e atendendo inclusive racks que não necessitam de vazão de ar. Como alternativa de solução, optou-se por uma redistribuição com uso de placas com vazão de 54% e fluxo direcionado por secção de rack (são placas com três venezianas, sendo cada uma direcionada para 1/3 da altura do rack). 

Com essa simples alteração, a distribuição de temperatura ficou mais equilibrada e homogênea, conforme mostrado na figura 12. Foram deixadas abertas as venezianas somente nas áreas dos racks onde os ativos encontram-se instalados, e fechadas áreas onde não há necessidade de insuflamento de ar frio. Além disso, foi feito o reajuste da temperatura de insuflamento para 20,5ºC.

 Podemos notar que passou a ocorrer uma melhor distribuição de ar no pleno do corredor confinado, onde a temperatura média passou a ser em torno de 21ºC a 22ºC. Também ocorreu o ganho no consumo de energia de ar, necessitando apenas de uma máquina de ar em operação na média mensal. Na área de telecom fora do confinamento, foram deixadas as placas com 25% de abertura. Outro fato importante foi a redução dos riscos de condensação, zonas de baixa e alta temperatura e também o desperdício de ar e energia.

A imagem a seguir mostra como fica a nova distribuição de ar e temperaturas:

 

 

 

Dessa forma podemos concluir que independentemente do tamanho do Datacenter, os conceitos, as boas práticas do mercado e as normas devem ser seguidas e aplicadas. Os problemas apontados neste artigo são repetitivos em projetos de pequeno e médio porte.

 Todas as soluções apontadas são de simples aplicabilidade, tanto no projeto inicial de um datacenter, como em instalações em funcionamento. São ações que, se aplicadas, irão poupar recursos de Capex e Opex aos gestores, evitando uma série de problemas técnicos e operacionais. Outro item raramente mencionado e dificilmente mensurado é o prejuízo de um data center parado, muitas vezes causado por problemas que poderiam ser facilmente evitados. 

Já vimos operações fabris paradas durante dias, sem possibilidade de produção e faturamento, por paradas de datacenters causadas por falhas de ar condicionado. Não mencionamos neste artigo as arquiteturas e soluções de cabling óptico e metálico, bem como erros ou falta de sistemas de detecção e combate a incêndio, falta de monitoramento e ferramentas de gerenciamento das instalações, que também levam a quedas de operações de datacenter públicos e privados, que serão detalhados em artigos futuros. Também deve ser dada uma atenção especial a manutenção e operação do datacenter e suas utilidades, a ser realizada por equipe treinada e qualificada.

Fonte: Revista RTI – Redes, telecom e instalações

 

Seja para a mais simples ou para a mais complexa instalação conte com os produtos da D2W, a melhor combinação entre, preço, durabilidade e design.