Hadoop Trading System

Arquitetura do sistema de comércio algorítmico Anteriormente neste blog, escrevi sobre a arquitetura conceitual de um sistema de negociação algorítmico inteligente, bem como os requisitos funcionais e não funcionais de um sistema de comércio algorítmico de produção. Desde então, criei uma arquitetura de sistema que, acredito, poderia satisfazer esses requisitos arquitetônicos. Nesta publicação, descreverei a arquitetura seguindo as diretrizes dos padrões ISO IEC IEEE 42010 e padrão de descrição de arquitetura de engenharia de software. De acordo com este padrão, uma descrição de arquitetura deve: Conter várias visualizações arquitetônicas padronizadas (por exemplo, em UML) e Manter a rastreabilidade entre decisões de design e requisitos arquitetônicos. Definição de arquitetura de software. Ainda não existe consenso sobre o que é uma arquitetura de sistemas. No contexto deste artigo, é definido como a infra-estrutura dentro da qual os componentes do aplicativo que satisfazem os requisitos funcionais podem ser especificados, implantados e executados. Os requisitos funcionais são as funções esperadas do sistema e seus componentes. Os requisitos não funcionais são medidas através das quais a qualidade do sistema pode ser medida. Um sistema que satisfaça plenamente seus requisitos funcionais ainda pode deixar de atender às expectativas se os requisitos não funcionais forem deixados insatisfeitos. Para ilustrar este conceito, considere o seguinte cenário: um sistema de negociação algorítmico que você acabou de comprar construído faz excelentes decisões de negociação, mas é completamente inoperacional com os sistemas de gestão e contabilidade de risco das organizações. Esse sistema atenderá às suas expectativas Arquitetura conceitual Uma visão conceitual descreve conceitos e mecanismos de alto nível que existem no sistema no mais alto nível de granularidade. Nesse nível, o sistema de negociação algorítmica segue uma arquitetura orientada a eventos (EDA) dividida em quatro camadas e dois aspectos arquitetônicos. Para cada camada e referência de aspecto arquiteturas e padrões são usados. Os padrões arquitetônicos são estruturas comprovadas e genéricas para alcançar requisitos específicos. Os aspectos arquitetônicos são preocupações transversais que abrangem múltiplos componentes. Arquitetura orientada a eventos - uma arquitetura que produz, detecta, consome e reage a eventos. Os eventos incluem movimentos do mercado em tempo real, eventos ou tendências complexas e eventos comerciais, e. Enviando um pedido. Este diagrama ilustra a arquitetura conceitual do sistema de negociação algorítmica Arquiteturas de referência Para usar uma analogia, uma arquitetura de referência é semelhante aos planos para uma parede de suporte de carga. Esta impressão em azul pode ser reutilizada para vários projetos de construção independentemente do edifício que está sendo construído, pois satisfaz um conjunto de requisitos comuns. Da mesma forma, uma arquitetura de referência define um modelo contendo estruturas genéricas e mecanismos que podem ser usados ​​para construir uma arquitetura de software concreta que satisfaça requisitos específicos. A arquitetura do sistema de negociação algorítmica usa uma arquitetura baseada em espaço (SBA) e um controlador de exibição de modelo (MVC) como referências. São também utilizadas boas práticas como o armazenamento de dados operacionais (ODS), o padrão de transformação e carregamento de extratos (ETL) e um data warehouse (DW). Controlador de exibição de modelo - um padrão que separa a representação de informações da interação dos usuários com ela. Arquitetura baseada em espaço - especifica uma infra-estrutura onde as unidades de processamento acopladas vagamente interagem entre si através de uma memória associativa compartilhada chamada espaço (mostrado abaixo). Visão estrutural A visão estrutural de uma arquitetura mostra os componentes e subcomponentes do sistema de negociação algorítmica. Ele também mostra como esses componentes são implantados em infra-estrutura física. Os diagramas UML utilizados nesta visão incluem diagramas de componentes e diagramas de implantação. Abaixo está a galeria dos diagramas de implantação do sistema de negociação algorítmico geral e as unidades de processamento na arquitetura de referência SBA, bem como diagramas de componentes relacionados para cada uma das camadas. Táticas arquitetônicas De acordo com o instituto de engenharia de software, uma tática arquitetônica é um meio de satisfazer um requisito de qualidade, manipulando algum aspecto de um modelo de atributo de qualidade através de decisões de design arquitetônico. Um exemplo simples usado na arquitetura do sistema de negociação algorítmica é manipular uma loja de dados operacional (ODS) com um componente de consulta contínua. Este componente analisaria continuamente o ODS para identificar e extrair eventos complexos. As seguintes táticas são usadas na arquitetura: o padrão de disruptor nas filas de evento e ordem Memória compartilhada para as filas de eventos e pedidos Idioma de consulta contínuo (CQL) na filtragem de dados ODS com o padrão de design do filtro em dados recebidos Algoritmos de evitação de congestionamentos em todos Conexões de entrada e saída Gerenciamento de fila ativa (AQM) e notificação de congestionamento explícito Recursos de computação de mercadorias com capacidade de atualização (escalável) Redundância ativa para todos os pontos de falha únicos Indicação e estruturas de persistência otimizadas no backup regular de dados ODS e scripts de limpeza para ODS Histórico de transações em todos os bancos de dados Súmrios para todas as ordens para detectar falhas Anotar eventos com timestamps para ignorar eventos obsoletos Regras de validação de pedidos, por exemplo, Quantidades de comércio máximo Componentes de comerciante automatizado usam um banco de dados em memória para análise Autenticação em dois estágios para interfaces de usuário conectando-se à ATs Criptografia em interfaces de usuário e conexões ao padrão de design ATs Observer para o MVC para gerenciar vistas. A lista acima é apenas um projeto pequeno Decisões que identifiquei durante o projeto da arquitetura. Não é uma lista completa de táticas. À medida que o sistema está sendo desenvolvido, táticas adicionais devem ser empregadas em vários níveis de granularidade para atender aos requisitos funcionais e não funcionais. Abaixo estão três diagramas que descrevem o padrão de design do disruptor, o padrão de design do filtro e o componente de consulta contínua. Visão comportamental Esta visão de uma arquitetura mostra como os componentes e camadas devem interagir um com o outro. Isso é útil ao criar cenários para testar projetos de arquitetura e para entender o sistema de ponta a ponta. Essa visão consiste em diagramas de seqüência e diagramas de atividades. Diagramas de atividades que mostram o processo interno dos sistemas de negociação algorítmica e como os comerciantes devem interagir com o sistema de negociação algorítmica são mostrados abaixo. Tecnologias e estruturas O passo final na concepção de uma arquitetura de software é identificar possíveis tecnologias e estruturas que possam ser utilizadas para realizar a arquitetura. Como princípio geral, é melhor aproveitar as tecnologias existentes, desde que satisfaçam adequadamente os requisitos funcionais e não funcionais. Uma estrutura é uma arquitetura de referência realizada, e. JBoss é uma estrutura que realiza a arquitetura de referência JEE. As seguintes tecnologias e estruturas são interessantes e devem ser consideradas na implementação de um sistema de negociação algorítmica: a CUDA - NVidia tem uma série de produtos que suportam modelagem de finanças computacionais de alto desempenho. Pode-se alcançar até 50x melhorias de desempenho na execução de simulações de Monte Carlo na GPU em vez da CPU. Rio Apache - Rio é um kit de ferramentas usado para desenvolver sistemas distribuídos. Ele foi usado como uma estrutura para a construção de aplicativos com base no padrão SBA Apache Hadoop - no caso de registro invasivo ser um requisito, então o uso do Hadoop oferece uma solução interessante para o problema dos grandes dados. O Hadoop pode ser implantado em um ambiente em cluster que suporta tecnologias CUDA. AlgoTrader - uma plataforma de negociação algorítmica de código aberto. O AlgoTrader poderia ser implantado no lugar dos componentes do comerciante automatizado. FIX Engine - um aplicativo autônomo que aceita os protocolos do Financial Information Exchange (FIX), incluindo FIX, FAST e FIXatdl. Embora não seja uma tecnologia ou uma estrutura, os componentes devem ser criados com uma interface de programação de aplicativos (API) para melhorar a interoperabilidade do sistema e seus componentes. Conclusão A arquitetura proposta foi projetada para satisfazer requisitos muito genéricos identificados para sistemas de negociação algorítmica. De um modo geral, os sistemas de negociação algorítmica são complicados por três fatores que variam de acordo com cada implementação. Dependências em sistemas externos de negócios e de intercâmbio Desafio de requisitos não funcionais e restrições arquitetônicas em evolução. A arquitetura de software proposta deveria, portanto, ser adaptada caso a caso Para satisfazer requisitos organizacionais e regulamentares específicos, bem como para superar restrições regionais. A arquitetura do sistema de comércio algorítmico deve ser vista como apenas um ponto de referência para indivíduos e organizações que desejam projetar seus próprios sistemas de negociação algorítmica. Para uma cópia completa e fontes usadas, baixe uma cópia do meu relatório. Obrigado. Estratégias de negociação de ações: 20 mais rápidas com Hadoop Esta publicação convidada de Sofia Parfenovich, cientista de dados da Altoros Systems. Um grande especialista em dados e um parceiro Hortonworks System Integrator. Sofia explica que otimizou uma solução de negociação de clientes usando Hadoop (Hortonworks Data Platform) e agrupando dados de estoque. As soluções de negociação automatizada são amplamente utilizadas por investidores, bancos, fundos e outros players do mercado de ações. Esses sistemas são baseados em algoritmos matemáticos complexos e podem levar em consideração centenas de fatores. As plataformas de negociação de hoje podem notificar as pessoas sobre o momento certo para colocar ordens de compra ou podem mesmo fazer um acordo sem qualquer envolvimento humano. Estratégias de negociação de ações e problemas de dados Os algoritmos de negociação são muitas vezes baseados em um único conjunto de regras com parâmetros fixos para implementar, porém, são incapazes de refletir todas as mudanças no mercado e podem causar perda significativa. Uma das maneiras de tornar um sistema mais flexível é dividir estratégias em vários grupos com base nos tipos de condições de mercado. Este é um exemplo em que este sistema foi implementado. A empresa teve uma solução que gerou automaticamente um conjunto de estratégias de negociação, porém o processo de seleção da estratégia necessária ainda era um problema. Os dados foram agrupados por especialistas em negociação manualmente para um determinado estado de uma bolsa de valores, que levou semanas de análise. Esta parte do sistema precisava ser automatizada. Outro problema foi causado por uma natureza distribuída do sistema. Vários relatórios para estratégias de construção foram agregados em máquinas separadas. O tamanho total desta informação aproximou-se de 100 GB, tornando este um grande problema de dados. Além disso, as estratégias deveriam ter sido revisadas a cada dois meses para se adaptarem às mudanças nas condições do mercado. Para lidar com quantidades tão grandes de dados, a plataforma de clientes usou uma série de filtros que reduziram o número de parâmetros. Como resultado, o tamanho total desses relatórios agregados foi reduzido para 510 GB. Depois disso, os dados foram divididos em grupos de acordo com os pressupostos sugeridos pelos especialistas em negociação. Assim, as estratégias necessárias foram selecionadas em conjuntos menores de tamanho 0,51 GB. No entanto, as estratégias resultantes não eram suficientemente diversas e muitas vezes omitiam alguns dos parâmetros essenciais. O cliente queria incluir mais informações no analisador. O objetivo era tomar decisões mais precisas e, portanto, aumentar os lucros. Resolver o grande problema de dados com Hadoop, Hortonworks Data Platform e k-means A tarefa se encaixa perfeitamente no princípio MapReduce (dividir e distribuir) e os recursos Hadoop da Hortonworks Data Platform. O cliente concordou com esta opção, uma vez que não exigiu a compra de hardware ou software adicional. Os relatórios foram carregados para o HDFS. Para agrupar esses dados agregados, o algoritmo k-means foi implementado usando o idioma R. Este algoritmo agrupa objetos por proximidade de coordenadas. A Figura 1 demonstra como as estratégias geradas podem ser acopladas por dois parâmetros (coordenadas), por exemplo, a probabilidade de obter lucro e a taxa de perda. Cada cor indica um grupo de estratégias com probabilidade similar de lucro e perda. Na realidade, há uma abundância de fatores que influenciam o mercado de ações, o que torna esse tipo de cluster mais sofisticado. Para o nosso sistema, cada estratégia de negociação teria coordenadas N na primeira execução (quando os dados estatísticos são analisados) e as coordenadas M na segunda execução (quando a eficácia de uma estratégia é analisada). A Figura 2 descreve como o sistema de negociação foi melhorado usando Hadoop (Hortonworks Data Platform) e o algoritmo k-means. Abaixo está o esquema geral da solução: Primeiro, o sistema coleta relatórios com dados de estoque bruto. Depois disso, esses relatórios são transferidos para o HDFS. Um script escrito com o idioma R inicia os dados de pré-processamento. (Com base no princípio MapReduce, unifica informações heterogêneas coletadas pelo sistema.) Na primeira execução de agrupamento, todas as estratégias são classificadas de acordo com os critérios de estatísticas (por exemplo, o lance atual, a quantidade de ações e centenas de outros parâmetros ). Na segunda corrida de agrupamento, o sistema realiza análise qualitativa: mede os resultados que cada estratégia demonstra e compara a estratégia em relação ao estado do mercado em diferentes períodos de tempo. Os dados são preparados no formato apropriado. Como na fase de pré-processamento, esta tarefa também é realizada por um script criado com R no paradigma MapReduce. Os resultados são recuperados do HDFS e estão prontos para uso futuro pelo cliente. Analisando o resultado: crie e crie estratégias 20 mais rápidas Três benefícios principais foram obtidos devido à otimização com scripts Hadoop, R, clustering e k-means: o sistema agora cria e seleciona a estratégia mais adequada 20 mais rápido do que antes. Essa melhoria sozinha salva o cliente cerca de uma semana toda vez que a equipe faz a análise. A plataforma aprimorada dobrou o número de grupos de estratégia. Essa diversificação tornou a seleção mais flexível e concisa, aumentando as receitas dos clientes em 12. Por último, as estratégias agora podem ser atualizadas com mais freqüência e podem incluir mais parâmetros na análise. Como resultado, existem mais estratégias que o cliente pode vender, criando um canal de receita adicional. Anteriormente, essas realizações não eram viáveis, uma vez que adicionar um parâmetro ao sistema aumentaria o número de relatórios e o tempo necessário para processá-los. A atual arquitetura baseada em Hadoop leva em consideração os volumes cada vez maiores de informações do mercado e permite o processamento de 10x conjuntos maiores de dados sem investimentos adicionais. Também seria interessante ver qual a melhoria que o cliente poderia alcançar com uma das implementações do HadoopGPU ou com as capacidades em tempo real da YARN fornecidas pelo Hadoop 2.0. Então, vamos aguardar histórias de sucesso apoiadas por números exatos. Sobre o autor: Sofia Parfenovich é cientista de dados da Altoros Systems, um grande especialista em dados e facilitador de plataforma como serviço. Sofia está interessada em criar regras de associação para extrair grandes volumes de dados com o Hadoop e outras ferramentas MapReduce. Ela tem uma forte experiência em previsões de séries temporais, estratégias de negociação de construção e várias análises de dados. A Altoros Systems é um parceiro do Hortonworks System Integrator. A empresa fornece serviços de tecnologia em torno de Hadoop e PaaS para fornecedores de software, provedores de IaaS e empresas de informações pesadas. A Altoros tem um histórico comprovado de líderes de tecnologia, como RightScale, Couchbase, NuoDB, Joyent, Cisco, etc. Para mais informações, visite altoros. Categorias: Como a Ciência dos Dados e o Analisador Predictivo transformam a Conformidade AML em pagamentos de amplificação bancária. (2 2) O primeiro blog nesta série de duas partes (Deter Crime Financeiro por Criando um Programa AML efetivo) descreveu como as atividades de Lavagem de Dinheiro (ML) são empregadas por Atores nefastos (por exemplo, cartéis de drogas, organizações corruptas de figuras públicas corruptas) tornaram-se mais sofisticados ao longo dos anos. Os bancos globais e regionais estão ficando aquém dos seus objetivos de conformidade, apesar da enorme dimensão da Fundação Digital, a importância do Mapeamento da viagem do cliente. A primeira publicação nesta série de três partes sobre Fundações Digitais vamsitalkstech p2517 introduziu o conceito de Cliente 360 ​​ou Visão Única do Cliente (SVC). Discutimos benefícios específicos tanto do ponto de vista operacional de um amplificador de negócios que são habilitados pelo SVC. Este segundo post da série apresenta o conceito de uma viagem do cliente. O terceiro amplo finalhellip Five Minutes with. Eric Thorsen nos programas europeus de fidelização de varejistas Quantos cartões de fidelidade de varejo você tem Pessoalmente, eu só fui fiel a um programa de forma consistente nos últimos 10 anos (Boots Advantage Card, fantástico sistema de pontos), enquanto as novas crianças no bloco da minha bolsa incluem Waitrose e John Lewis, mas além disso, eu perdi ou esqueci sobre eles. Ihellip Apache, Hadoop, Falcon, Atlas, Tez, Sqoop, Flume, Kafka, Pig, Hive, HBase, Accumulo, Storm, Solr, Spark, Ranger, Knox, Ambari, ZooKeeper, Oozie, Metron e os logotipos Hadoop elefante e projeto Apache São marcas registradas ou marcas registradas da Apache Software Foundation nos Estados Unidos ou em outros países.