Nos últimos anos, associada a uma enorme expansão tecnológica, tem-se assistido a uma avalanche na produção de dados. Inúmeras são as áreas que exploram o tratamento de grandes volumes de dados próximo do tempo real para a otimização dos serviços prestados.
Os sistemas de transportes de passageiros que no início do milénio foram pioneiros na introdução em massa aos cartões inteligentes com interface sem contacto, patrocinando um salto tecnológico significativo nesta área, não estão neste momento ao mesmo nível de outras instituições na exploração dos dados produzidos.
Inúmeras são as áreas que com a introdução de novas tecnologias criaram novas abordagens permitindo a otimização dos serviços prestados, com base no tratamento dos dados das transações. Os transportes de passageiros estão bastante atrasados face à globalidade da indústria neste particular.
A dificuldade na adesão a estas tecnologias tem origem na natureza da realização e agregação das transações nos transportes, tendo em conta a sua realização offline e agregação em batch com um atraso significativo face a sua realização. Muitas razões contribuem para esta realidade desde as plataformas tecnológicas usadas e mesmo no modelo de negócio de base a este setor de atividade.
Dessa forma, a introdução de sistemas que permitam o streaming de dados em tempo real, bem como o processamento desses mesmo dados, demonstra-se como uma mais-valia face aos atuais sistemas de de informação usados nos transportes. Pretende-se com a adesão a estas tecnologias possibilitar a implementação de novos modelos de bilhética e integração entre vários serviços de mobilidade independentemente de serem baseados nos dados do cartão ou na visão dos dados consolidados nos servidores centrais. Adicionalmente deverá permitir a análise em tempo real do comportamento da rede de transportes públicos, de forma a publicar informação atualizada e identificar e atuar de forma imediata quando detetada alguma anomalia.
Descrição Geral:
O BCETR visa a criação de uma inovadora arquitetura de bilhética para registo, consolidação e processamento das transações num servidor central e em tempo útil, permitindo a integração das ofertas dos operadores de transportes públicos (card-based) assim como a integração com outros serviços de mobilidade (server-based).
Entende-se por tempo útil, a consolidação da transação durante a utilização de um serviços de transportes de forma que esteja disponível centralmente antes da utilização do próximo serviço.
Assim, com o projeto BCETR, a Link Consulting desenvolverá uma oferta pioneira de suporte aos sistemas de recolha e processamento dos dados e eventos de bilhética dos transportes públicos, o que permitirá registar essas mesmas transações próximo do tempo real, substituindo os processos de batch massivos por outro tipo de processamento mais adequado ao tratamento dos dados em tempo útil, ou seja, próximo do tempo real. Esta abordagem permite a implementação de uma arquitetura de informação de o processamento dos eventos próximo do tempo real e a disponibilização online dos dados em tempo útil, o que é uma das condições consideradas fundamentais para fazer evoluir a bilhética e a mobilidade e no espaço urbano.
O projeto BCETR também se enquadra na área de atuação Mobilidade Inteligente pois permitirá a exploração dos dados em tempo real e a sua publicação em tempo útil, o que é hoje um requisito fundamental para os sistemas de interação com o grande público. A deteção de anomalias que possam ser corrigidas a tempo pela gestão operacional é um dos requisitos da arquitetura de informação dos sistemas modernos.
Acresce que o projeto BCETR também permitirá a alimentação contínua dos sistemas informacionais a partir dos dados operacionais, o que também será uma grande evolução, pois a arquitetura tradicional na maioria dos operadores de transporte consolida a informação nos repositórios operacionais com grandes tempos de latência face à sua produção.
Arquitetura técnica:
Pretende-se conceber e desenvolver uma solução inovadora para uma arquitetura de bilhética utilizável pela generalidade dos operadores de transportes com a consolidação das transações de utilização nos servidores centrais para tempos aceitáveis permitindo a integração entre vários serviços de mobilidade baseados nos dados dos servidores centrais. Esta arquitetura também possibilitará a disponibilização de informação consolidada quase em tempo real, ou seja, com um intervalo de minutos face à sua geração conseguindo a exploração de dados em tempo real e alimentação em segurança e em tempo útil dos repositórios informacionais.
Para alcançar todos estes objetivos, será necessário desenvolver algoritmos inovadores e criar condições tecnológicas para incorporar no BCETR, um conjunto de ferramentas que poderão ser usadas para a conceção e desenvolvimento da arquitetura pretendida. Essas ferramentas são as seguintes:
A) Data Streaming: ferramentas de “event streaming” com grande capacidade de escalabilidade com a segurança necessária para garantir que não se perdem mensagens e que estas são entregues aos destinatários, que se centram apenas no transporte sem preocupações de implementação de fluxos e processos complexos permitindo o processamento de grandes quantidades de dados em tempo real. Têm como características principais a grande escalabilidade pela implementação de processamento paralelo e também a sua grande resiliência a falhas e o facto de tirarem um excelente partido das infraestruturas cloud.
B) Modelos CEP (Complex Event Processing): trata-se de ferramentas que atuam sobre o conteúdo das mensagens processadas nos data streams, permitindo a deteção e derivação de informação relevante tal como a deteção de padrões, a deteção de eventos especiais e anomalias, a agregação de eventos e transformação, a derivação de relações entre eventos e a implementação de processos baseados em machine learning, agregando eventos a partir de pipelines de processamento independentemente pela ordem que são recebidos e tratados.
C) Soluções loT para a agregação de eventos com utilização de repositórios big data: são mecanismos de ingestão de dados que permitem responder eficazmente à coleta e processamento de eventos em massa, sendo normalmente utilizadas em associação a ferramentas de data streaming que asseguram uma grande escalabilidade de forma a poderem suportar fluxos massivos de dados.
Arquitetura funcional:
Com o BCETR pretende-se dar reposta aos seguintes objectivos:
- Desenvolver uma arquitetura que permita à generalidade dos operadores de transportes de passageiros, mesmo os integrados nas redes de menor dimensão e nas que funcionam com vários operadores e em sistema fechado, implementar modelos server based a custos contidos estabelecendo um caminho de migração progressivo e gradual.
- Permitir a capacidade de migração das redes atuais dos operadores no sentido da agregação das transações próximo do tempo real, propondo um caminho que tenha em conta as infraestruturas baseadas em sistemas e processos legados.
- Conseguir a evolução da consolidação dos dados com base em processos batch suportados por bases de dados relacionais e transacionais, tirando partido dos repositórios big data.
- Permitir o registo de dados em Tempo Real através da mudança de paradigma do tratamento de dados em batch para a ingestão e disponibilização dos dados em tempo real, permitindo garantir a redução do tempo de latência das transacções e a sua consolidação central, assegurando um registo das transações no sistema central próximo do online em tempo útil de utilização.
- Conseguir a exploração dos dados em tempo real e a derivação contínua de indicadores e alertas. Efetivamente a exploração dos dados e a sua publicação em tempo útil é hoje um requisito fundamental para os sistemas de grande interação com o público, permitindo a análise de grande quantidade de eventos produzidos em tempo real para a derivação contínua de indicadores importantes e para a geração de alertas que permitam uma melhoria da oferta.
- Conseguir a alimentação em contínuo dos sistemas informacionais a partir dos dados operacionais, com a evolução da arquitetura tradicional de ETL que continua a ser utilizada pela grande maioria dos operadores de transporte. Com efeito, a disponibilização imediata da informação para análise e publicação é um requisito fundamental para a modernização dos sistemas de informação dos transportes de passageiros, sendo também necessário assegurar que a publicação de informação consolidada e consistente para a produção de relatórios operacionais não põe em causa a agilidade de análise e publicação de dados informativos de tempo real para os utilizadores.
DESAFIOS
A realização do BCETR propõe ultrapassar alguns desafios:
1
1) Generalização da utilização dos repositórios big data: apesar de estar proposta a substituição total dos repositórios transacionais e relacionais por repositórios big data, os estudos a efetuar podem demonstrar outros caminhos. Poderá assim ser necessário manter algum do processamento usando repositórios tradicionais. Existem dificuldades identificadas na migração do processamento atual para os repositórios big data sendo este um dos temas nucleares do estudo técnico e científico. Dado que esta não é ainda uma prática generalizada na indústria para sistemas operacionais poderá ter de ser avaliada uma alternativa ao plano de substituição total.
2
2) Extensão das ferramentas event driven até aos dispositivos terminais: um dos objetivos propostos pelo BCETR é a utilização de ferramentas usadas na consolidação e eventos para o processamento das transações de bilhética do tipo “event driven”. A extensão destas ferramentas até aos dispositivos de bilhética poderá não ser possível dado que estes equipamentos têm capacidades limitadas e na atualidade ainda estão baseados em sistemas operativos proprietários e suportados por redes de comunicação pouco fiáveis. Poderá por isso ser necessário desenvolver conectores específicos e de suporte às comunicações com os equipamentos existentes para suporte à entrega das transações e sua integração nas plataformas centrais para permitir a utilização de ferramentas vocacionadas para o “data ingestion”.
3
3) Efetiva integração de alguns desenvolvimentos tecnológicos nos processos de negócio: alguns objetivos do projeto são fortemente disruptivos com o estado de arte quando se está a falar de bilhética de transportes públicos de passageiros em áreas metropolitanas onde coexistem vários operadores que prestam este serviço, o que irá exigir desenvolvimentos que permitam atingir as metas tecnológicas e de inovação estabelecidas, garantindo a segurança e a fiabilidade dos processos, os quais não é certo que sejam possíveis de atingir. Um dos desafios principais a atingir será a necessidade de conciliação do “event streaming” com a fiabilidade necessária na contabilização financeira das compensações associadas a essas transações.
