Notícias do setor

Quem é dono do QA quando um único estúdio entrega arte, matemática e engenharia?

Um único estúdio pode entregar a arte, a matemática e o cliente de um slot contratado, e ainda assim a publisher ser a única parte que carrega uma obrigação de licença que o trabalho precisa satisfazer. Isso não é um detalhe de contratação. É a razão pela qual o QA de um jogo contratado não fica em um só lugar, e pela qual um estúdio que responde “nós testamos tudo internamente” está respondendo a uma pergunta diferente da que foi feita.

Na Grã-Bretanha, essa divisão é publicada. A estratégia de testes da Gambling Commission define quais partes de um jogo o licenciado precisa mandar avaliar por um laboratório de testes aprovado e quais partes pode testar por conta própria. A linha de corte é o risco, não a disciplina: a justeza do resultado sempre sai do prédio, enquanto a superfície que o jogador toca — exibição, informação, controles de jogo responsável, comportamento em caso de interrupção do serviço — permanece com o licenciado, desde que ele consiga demonstrar o processo por trás dos testes.

Lido dessa forma, um jogo contratado tem quatro colunas de evidência, e o organograma do estúdio não tem nada a ver com o lugar onde elas ficam.

Uma figura alta de cabelos ruivos, em sobrecasaca azul-marinho escura com detalhes dourados, está à direita de um salão escuro de madeira entalhada, ao lado de um estreito armário de inspeção em latão dividido em quatro colunas com frente de vidro, cada uma guardando um objeto — um prato de estrela em esmalte pintado, um leque de tiras de marfim em branco, um pequeno gabinete de slot em latão com três rolos e uma pilha de placas de latão lacradas atadas com cordão carmesim —, e o armário inteiro é fechado por um único selo de latão com chave e uma fita carmesim; um furão creme e carvão, com máscara de bandido e uma cauda de chama azul e branca, está sobre o piso de mosaico no canto inferior direito, e o terço esquerdo do quadro é um painel escuro e silencioso
Quatro colunas de evidência, um único selo. A ilustração é arte conceitual gerada e não declara nenhuma empresa, plataforma, certificação ou aprovação.

A licença não se move quando você terceiriza

A condição de licença 2.3.1 exige que os titulares de licença de software de jogos e de operação remota atendam aos padrões técnicos remotos (RTS) e aos requisitos da Comissão quanto a prazos e procedimentos de teste. O RTS cobre duas áreas: padrões técnicos para a forma como o jogo remoto é oferecido — a justeza dos jogos, a funcionalidade da conta do jogador, o fornecimento de informações — e requisitos de segurança extraídos da ISO/IEC 27001:2013.

Duas consequências decorrem disso para a publisher que compra um jogo contratado.

A primeira é que a obrigação está atrelada à licença, não à fatura. Quando um licenciado se apoia em um fornecedor B2B para os jogos, o caminho prático é uma referência de registro de jogos emitida por esse fornecedor, que vincula os relatórios de teste ao registro de jogos do licenciado. O fornecedor pode realizar o trabalho e até manter a relação com o laboratório de testes, mas a entrada no registro, e a garantia que ela representa, é do licenciado.

A segunda é que “nós testamos” é uma afirmação sobre um processo, não sobre um resultado. A estratégia de testes permite que um licenciado teste certos requisitos por conta própria apenas se aderir às boas práticas declaradas em desenvolvimento, teste e liberação; onde não estiver em conformidade, esses testes têm de ser realizados por um laboratório de testes aprovado. Essa única frase é a dobradiça de toda a questão da titularidade. O teste interno não é um direito. É uma permissão condicional, e a condição é documental.

Coluna um: o que o laboratório de testes sempre leva

A parte de um slot que nunca fica dentro de casa é a justeza do resultado.

Para produtos movidos a RNG, um laboratório de testes aprovado realiza a análise estatística do RNG e de suas saídas antes do lançamento, incluindo qualquer escalonamento e mapeamento dentro do RNG. Quanto ao jogo em si, o laboratório o examina por meio de verificação matemática, análise de código-fonte e gameplay, para estabelecer que ele opera de acordo com as regras publicadas. O escopo publicado dos testes de jogo merece uma leitura atenta, porque é mais amplo do que uma checagem matemática: verificação do design do jogo, incluindo a matemática, a arte e as regras conforme exibidas aos jogadores, e o RTP teórico; depois, teste de software em um ambiente que reflita o ambiente ao vivo pretendido, verificando as regras e o RTP real por meio de simulação, emulação e teste manual, incluindo o escalonamento e o mapeamento que convertem a saída bruta do RNG em resultados.

Duas coisas nessa frase são rotineiramente esquecidas quando se define o escopo de uma contratação.

A arte e as regras conforme exibidas ao jogador estão dentro da avaliação de justeza. A exibição não é decoração que fica ao lado da matemática; é uma das três coisas que o laboratório verifica. Um símbolo desenhado de modo a deturpar uma tabela de pagamentos, ou um painel de regras que descreve um recurso de forma diferente daquela como o software o processa, é um achado de justeza, e não uma preferência de design. O mesmo vale para uma versão de jogo gratuito: um jogo grátis que não implementa as mesmas regras da sua contraparte paga é um requisito específico em si.

A operação ao vivo também está dentro. Os designs de jackpot progressivo e a funcionalidade de acionamento são verificados contra o RTP declarado, e os licenciados precisam monitorar o RTP real contra o anunciado, tanto para pagamento abaixo quanto acima do previsto, com um laboratório de testes aprovado avaliando essas medidas de monitoramento anualmente.

Coluna dois: o que o licenciado testa por conta própria e sob quais condições

Tudo o que um jogador lê, configura ou do que depende quando algo dá errado está na coluna de testes do licenciado: a acessibilidade das regras e das informações do site, os controles de aposta e de sessão, as restrições ao autoplay, o comportamento de jogos multiestado durante uma interrupção de serviço e a proteção contra fraude e conluio onde soluções técnicas são utilizadas.

É aqui que o QA interno ou terceirizado de uma publisher realmente se situa. O estúdio constrói o cliente, as ferramentas de sessão e o comportamento em caso de interrupção, mas a obrigação de testá-los antes do lançamento é do licenciado, e a permissão para fazer esse teste depende de evidência de processo que a maioria dos estúdios nunca foi solicitada a produzir.

A estratégia nomeia as condições. Desenvolvimento: código-fonte em ambiente seguro, com registro de auditoria de acesso, e versões desativadas retidas com as datas em que foram desativadas; acesso limitado ao que a tarefa exige; documentação técnica adequada à revisão independente; código legível e estruturado o suficiente para análise estática; acesso de escrita ao código-fonte da plataforma negado a quem trabalha apenas no desenvolvimento específico do jogo; e alterações em módulos críticos revisadas por pares por desenvolvedores independentes da mudança.

Teste: ambientes de desenvolvimento e de teste logicamente separados, testes executados por profissionais que não os desenvolvedores, e uma avaliação independente de que as mudanças feitas são as mudanças documentadas — a estratégia sugere a comparação de arquivos como mecanismo.

Comparada com a realidade de um estúdio pequeno, essa é uma lista exigente, e é a lista sobre a qual a publisher deveria perguntar antes do primeiro build, não depois da certificação. A análise de controle de alterações separa quais dessas superfícies uma revisão de plataforma vai questionar, e o resumo de escopo pós-aprovação cobre o que acontece com elas depois do lançamento.

Coluna três: as questões de engenharia que nunca se tornam questões de laboratório

Uma parcela grande do QA de engenharia nunca chega a um laboratório de testes, e é aí que a publisher perde visibilidade.

Novos canais são o caso mais claro. Quando um jogo existente é lançado em um novo canal, o canal precisa ser testado por um laboratório aprovado, mas o escopo publicado desse teste se limita à interface do usuário e à exibição ao jogador — um teste manual de como o cliente do jogo apresenta os resultados — com referência ao relatório de teste original do jogo, desde que o design e a funcionalidade do backend não tenham sido alterados para acomodá-lo. Na prática, a maior parte da evidência de engenharia para um novo canal é o trabalho de cliente do estúdio, e o laboratório confirma a exibição.

Atualizações de plataforma são o segundo caso. Atualizações em sistemas operacionais de clientes de terceiros e em navegadores geralmente não exigem reteste externo, e a expectativa é que os testes do próprio licenciado confirmem desempenho satisfatório quando novas versões de sistemas operacionais de clientes e de navegadores são lançadas. Essa distinção importa: uma atualização no RGS ou no RNG por baixo do motor do jogo pode exigir reteste, enquanto um lançamento de iOS ou de navegador não, e os dois são frequentemente confundidos no planejamento de lançamento.

O terceiro é o conjunto de dispositivos. Quando um jogo é projetado para funcionar em uma variedade de dispositivos ou navegadores, os testes devem cobrir os mais usados, e esses dispositivos e navegadores precisam ser identificados no relatório de teste. Um estúdio que testa em um aparelho moderno e em um emulador não necessariamente testou o que o relatório diz que testou. O orçamento de desempenho mobile mostra como tornar esse conjunto de dispositivos e seus limites verificáveis, e os testes de integração do agregador são a evidência de aceitação da camada de interface que o estúdio não controla.

Coluna quatro: o registro que decide quem tem razão depois

O requisito de documentação de alterações da estratégia é o artefato que amarra as três primeiras colunas, e é a parte do QA que a publisher tem menos probabilidade de ter especificado.

Junto com qualquer alteração de RNG ou de jogo, a documentação deve registrar um ID de alteração exclusivo, o número do jogo ou o identificador do RNG, o canal ou canais de entrega, uma descrição da alteração, se ela é classificada como maior ou menor, a justificativa dessa classificação, a confirmação de teste interno e a documentação para alterações menores, a confirmação de avaliação externa adequada pelo laboratório para alterações maiores e a autorização do gestor responsável.

A regra de classificação é o ponto comercial decisivo. Uma atualização maior é qualquer alteração de software que possa afetar a justeza de um jogo, e a justeza inclui o RNG, o escalonamento e o mapeamento, e as regras do jogo, incluindo como as regras são processadas pelo software. Os exemplos publicados são instrutivos nas duas direções. Reconstruir os arranjos de símbolos para reduzir a carga de CPU é uma atualização maior, porque, embora nenhuma regra tenha mudado, a implementação de software das regras mudou. Corrigir o cálculo de um prêmio de rodada de bônus em um cenário raramente encontrado é uma atualização maior. Do outro lado ficam uma mudança de formato de áudio para dar suporte a um sistema operacional móvel mais antigo, a cor de um chapéu e os gráficos de fundo alterados porque uma licença expirou, uma rodada de bônus exibida incorretamente na tela e uma caixa de diálogo de seleção de aposta que não é renderizada por completo em um navegador.

Esses exemplos menores são exatamente as mudanças que uma equipe de arte ou de front-end faz no fim de um projeto, e cada uma delas é uma decisão documentada, não uma correção de bug. A estratégia também é explícita ao dizer que a fronteira é uma questão de julgamento: sua própria nota de exemplo adverte que um conjunto de pequenos ajustes visuais poderia facilmente recair na definição de maior, e que, havendo dúvida, o laboratório de testes original deve ser consultado.

O que isso significa quando você está comprando o jogo

Peça os responsáveis por cada linha, não o organograma. Quatro perguntas cobrem a divisão.

Quais colunas são suas e quais são minhas? A coluna do laboratório de testes é sempre uma obrigação do licenciado, mesmo quando o fornecedor detém a relação. Diga isso na proposta e nomeie o requerente de registro.

Quem assina cada artefato? Para as quatro colunas, isso significa, no mínimo, o relatório de teste e seus achados em aberto, a evidência de teste interno para os requisitos de teste do licenciado, a evidência de teste de cliente e de canal e o registro de alterações. Um artefato sem signatário nomeado é um artefato que ninguém vai produzir sob pressão.

Que evidência de processo você vai manter, e posso auditá-la? Controle de acesso ao código-fonte, retenção de versões desativadas, revisão por pares de módulos críticos, ambientes de teste separados e uma avaliação independente do diff são as condições por trás da permissão de teste interno. Uma publisher que não pode inspecioná-las não pode se apoiar na coluna interna.

O que acontece na fronteira entre as colunas? Um defeito encontrado no gameplay que se revela uma deturpação de arte, ou uma falha de exibição que na verdade é uma falha de processamento de regras, é o caso normal, não a exceção. O guia de especificação de regras e os critérios de aceitação de frontend são os dois documentos que tornam essa fronteira testável, e a entrega da animação é a parte dela que chega com mais frequência sem evidência.

Nada disso exige que uma publisher desconfie do seu fornecedor. Exige que a proposta diga qual evidência cada parte produz, porque a garantia não é transferível mesmo quando o trabalho é. O método de comparação de propostas normaliza essas linhas entre fornecedores, e o guia de contratação cobre como o briefing é montado antes de qualquer coisa disso ser orçada.

Se você quer que as quatro colunas, os signatários e o registro de alterações sejam resolvidos como parte do escopo do build, em vez de descobertos durante a submissão, solicite um orçamento de projeto.

Perguntas que os compradores fazem

A terceirização do desenvolvimento transfere a responsabilidade pelos testes?

Não. Na Grã-Bretanha, os padrões técnicos e os requisitos de teste estão atrelados à licença, então o licenciado continua responsável por garantir que novos produtos sejam adequadamente testados antes do lançamento e por fornecer a evidência do relatório de teste. Um fornecedor B2B pode deter a relação com o laboratório de testes e emitir a referência de registro de jogos que vincula os relatórios, mas a obrigação e a entrada no registro permanecem com o licenciado. Uma contratação deve, portanto, declarar qual parte produz qual evidência, em vez de presumir que o teste interno do estúdio a dispensa.

O que um operador licenciado pode testar internamente em vez de em um laboratório?

Os requisitos que um licenciado pode testar por conta própria são os voltados ao jogador: disponibilidade de informações e regras, controles de aposta e de sessão, restrições ao autoplay, comportamento em caso de interrupção de serviço, paridade do jogo gratuito e medidas anticonluio onde soluções técnicas são utilizadas. Essa permissão é condicional, não automática. Ela depende de boas práticas documentadas em desenvolvimento, teste e liberação — acesso controlado ao código-fonte com registro de auditoria retido, ambientes de teste separados, testes por profissionais que não os desenvolvedores, revisão por pares de módulos críticos e uma verificação independente de que as mudanças feitas correspondem às mudanças documentadas. Onde um licenciado não estiver em conformidade, esses testes precisam ir para um laboratório de testes aprovado.

A arte faz parte dos testes de justeza?

Sim, conforme exibida ao jogador. O escopo publicado dos testes de jogo abrange a verificação do design do jogo — a matemática, a arte e as regras conforme exibidas, e o retorno teórico — seguida de teste de software que verifica as regras e o retorno real por meio de simulação, emulação e teste manual. Uma exibição que deturpa uma tabela de pagamentos, ou um painel de regras que descreve um recurso de forma diferente daquela como o software o processa, é, portanto, uma questão de justeza, não uma questão cosmética.

Um novo lançamento de plataforma ou de navegador significa que o jogo precisa ser retestado?

Geralmente não, e a distinção vale a pena ser registrada no plano de lançamento. Espera-se que atualizações em sistemas operacionais de clientes de terceiros e em navegadores sejam cobertas pelos testes do próprio licenciado, que confirmam desempenho satisfatório, enquanto uma atualização no RGS ou no RNG que sustenta o motor do jogo pode exigir reteste. Um novo canal de entrega é diferente ainda: o canal em si precisa ser testado por um laboratório aprovado, com o escopo normalmente limitado à interface do usuário e à exibição ao jogador.

Como mantemos o controle das alterações depois do lançamento?

Faça da regra de classificação parte do contrato, e não uma questão de opinião, e exija que o registro de alterações seja produzido a cada atualização. O registro traz um ID de alteração exclusivo, o identificador do jogo ou do RNG, os canais, uma descrição, a classificação em maior ou menor com sua justificativa, a confirmação de teste interno ou de avaliação externa e a autorização de um gestor. Qualquer alteração que possa afetar a justeza — o RNG, o escalonamento e o mapeamento, ou as regras do jogo, incluindo como o software as processa — é maior, e até um refactor de desempenho dos arranjos de símbolos recai nessa definição.