Skip to content

Commit

Permalink
[EDU-5529] feature: add How to use Azion Edge Storage to receive data…
Browse files Browse the repository at this point in the history
… from Data Stream guide (#1335)

* refactor: update date stream ref to include edge storage - EN/PT

* feature: add guide using Edge Storage with Data Stream - EN

* feature: add Use Storage with Data Stream guide - PT

* Update connector-azion-edge-storage.mdx

* Update connector-azion-edge-storage.mdx

* feature: add link to guide in Guides page - EN/PT + adjust title in PT

* feature: add label and link to Observe menu - EN/PT

* fix: Data stream reference links to guide / Button style in PT
  • Loading branch information
MarianaAguilera authored Nov 1, 2024
1 parent c1764cc commit 839312e
Show file tree
Hide file tree
Showing 8 changed files with 114 additions and 13 deletions.
1 change: 1 addition & 0 deletions src/content/docs/en/pages/guides/index.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -159,6 +159,7 @@ permalink: /documentation/products/guides/
- [How to use Data Stream](/en/documentation/products/guides/use-data-stream/)
- [How to use Amazon Kinesis Data Firehose to receive data from Data Stream](/en/documentation/products/guides/endpoint-amazon-kinesis/)
- [How to use Amazon S3 to receive data from Data Stream](/en/documentation/products/guides/endpoint-amazon-s3/)
- [How to use Azion Edge Storage to receive data from Data Stream](/en/documentation/products/guides/connector-azion-edge-storage/)
- [How to use Azure Blob Storage to receive data from Data Stream](/en/documentation/products/guides/endpoint-azure-blob/)
- [How to use Azure Monitor to receive data from Data Stream](/en/documentation/products/guides/endpoint-azure-monitor/)
- [How to use Datadog to receive data from Data Stream](/en/documentation/products/guides/endpoint-datadog/)
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -418,7 +418,7 @@ To configure the [IBM Qradar](https://www.ibm.com/qradar) endpoint, you need acc

### S3 - Simple Storage Service

You can use any type of S3 (Simple Storage Service) provider of your choice. To configure the S3 endpoint, you need access to the chosen platform to get the required information:
You can use any type of S3 (Simple Storage Service) provider of your choice, including [Azion Edge Storage](/en/documentation/products/store/edge-storage/). To configure the S3 endpoint, you need access to the chosen platform to get the required information:

- **Host URL**: the URL of the Host S3. Example: `https://myownhost.s3.us-east-1.myprovider.com`
- When using the Amazon S3 Storage provider, you can use the default AWS endpoint: [https://s3.amazonaws.com](https://s3.amazonaws.com/).
Expand All @@ -431,6 +431,8 @@ You can use any type of S3 (Simple Storage Service) provider of your choice. To
- **Content Type**: the format in which the object will be created in your bucket. You can chose between *plain/text* or *application/gzip*.

<LinkButton severity="secondary" link="/en/documentation/products/guides/endpoint-amazon-s3/" label="How to use Amazon S3 to receive data" />
<LinkButton severity="secondary" link="/en/documentation/products/guides/connector-azion-edge-storage/" label="How to use Azion Edge Storage to receive data" />


---

Expand Down
Original file line number Diff line number Diff line change
@@ -0,0 +1,47 @@
---
title: How to use Azion Edge Storage to receive data from Data Stream
description: >-
Hands-on to configure an Azion Edge Storage connector to receive data from Data
Stream.
meta_tags: 'Data Stream, connector, endpoint, Azion, Edge Storage'
namespace: docs_guides_connector_azion_edge_storage
permalink: /documentation/products/guides/connector-azion-edge-storage/
menu_namespace: observeMenu
---

While configuring [streams](/en/documentation/products/guides/use-data-stream/), you need to set up a specific endpoint to stream your Azion data.

Continue reading for a step-by-step guide on configuring an [Azion Edge Storage](/en/documentation/products/store/edge-storage/) connector to receive data from Data Stream.

---

## Requirements

- Create an [S3 credential via API](/en/documentation/products/store/storage/s3-protocol-for-edge-storage/#create-a-credential-via-api) and [configure access to the bucket through s3cmd](/en/documentation/products/store/storage/s3-protocol-for-edge-storage/#configure-access-to-the-bucket-through-s3cmd).
- Save the **Access Key** and **Secret Key** linked to your credential. You'll need them later.
- Create an [Edge Storage bucket](/en/documentation/products/store/storage/create-bucket/), or use an existing one.

---

## Configuring the connector in Data Stream

Next, follow these steps to configure the new connector in your Azion **Data Stream**.

You can find detailed steps for the entire configuration in the [How to use Data Stream guide](/en/documentation/products/guides/use-data-stream/).

1. On the **Connector** dropdown menu, select **Simple Storage Service (S3)**.
2. On **URL**, add the URL of the Azion Edge Storage S3 Host. Example: `s3.us-east-005.azionstorage.net`.
3. On **Bucket Name**, add the name of your S3 bucket on Edge Storage. Example: `mys3bucket`.
4. On **Region**, add the region configured on Edge Storage. Example: `us-east-005`.
5. On **Access Key**, add the access key you created on Edge Storage. Example: `ORIA5ZEH9MW4NL5OITY4`.
6. On **Secret Key**, add the secret key you created on Edge Storage. Example: `+PLjkUWJyOLth3anuWXcLLVrMLeiiiThIokaPEiw`.
7. On **Object Key Prefix** (optional), add the prefix name of your uploaded object.
- The objects' names are composed of *Prefix* + *Timestamp* + *UUID*.
- Example: if you use *waf_logs* as the prefix, one of the sent objects will be saved as `waf_logs_1622575860091_37d66e78-c308-4006-9d4d-1c013ed89276`
8. On **Content Type**, add the format of the object that'll be created in your S3 bucket. It can be `plain/text` or `application/gzip`.
9. Make sure the **Active** switch is on.
10. Click the **Save** button.

After saving the configurations, your data will be streamed to the newly configured endpoint.

You can keep track of the calls made by Data Stream to Edge Storage in [Real-Time Events](/en/documentation/products/observe/real-time-events/). To do so, select **Data Source** > **Data Stream** and choose the filter options as you wish.
1 change: 1 addition & 0 deletions src/content/docs/pt-br/pages/guias/guides.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -162,6 +162,7 @@ permalink: /documentacao/produtos/guias/
- [Como utilizar o Azure Blob Storage para receber dados do Data Stream](/pt-br/documentacao/produtos/guias/azure-blob-endpoint/)
- [Como utilizar o Azure Monitor para receber dados do Data Stream](/pt-br/documentacao/produtos/guias/azure-monitor-endpoint/)
- [Como utilizar o Datadog para receber dados do Data Stream](/pt-br/documentacao/produtos/guias/datadog-endpoint/)
- [Como utilizar o Edge Storage da Azion para receber dados do Data Stream](/pt-br/documentacao/produtos/guias/conector-azion-edge-storage/)
- [Como utilizar o Elasticsearch para receber dados do Data Stream](/pt-br/documentacao/produtos/guias/elasticsearch-endpoint/)
- [Como utilizar o Google BigQuery para receber dados do Data Stream](/pt-br/documentacao/produtos/guias/google-bigquery-endpoint/)
- [Como utilizar o Splunk para receber dados do Data Stream](/pt-br/documentacao/produtos/guias/splunk-endpoint/)
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -239,7 +239,7 @@ Veja qual template corresponde a qual data source:

Ao selecionar um dos templates fornecidos pela Azion, você não consegue modificar as variáveis exibidas no campo de código **Data Set**. Ao selecionar **Custom Template**, você consegue personalizar quais variáveis quer usar de acordo com suas necessidades.

<LinkButton link="/pt-br/documentacao/produtos/guias/data-stream-template-personalizado/" label="Como criar um template personalizado" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/data-stream-template-personalizado/" label="Como criar um template personalizado" />

---

Expand All @@ -251,7 +251,7 @@ Ao associar um domínio, os eventos relacionados a esse ou a esses domínios esp

Ao selecionar **All Domains**, a plataforma seleciona automaticamente todos os domínios atuais e *futuros* de sua conta no Azion Console.

<LinkButton link="/pt-br/documentacao/produtos/guias/data-stream-associar-dominios/" label="Como associar domínios" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/data-stream-associar-dominios/" label="Como associar domínios" />

Se você selecionar a opção **All Domains**, você também pode configurar a porcentagem de dados que quer receber, de forma aleatória, do seu stream através da opção de *Sampling*. Além de filtrar por amostra, a opção também reduz custos de coleta e análise de dados.

Expand Down Expand Up @@ -328,7 +328,7 @@ Para configurar o endpoint [AWS Kinesis Data Firehose](https://aws.amazon.com/ki
- **Access Key**: refere-se à chave pública para acessar o Data Firehose, que é fornecida pela AWS. Exemplo: `ORIA5ZEH9MW4NL5OITY4`
- **Secret Key**: refere-se à chave secreta para acessar o Data Firehose, que é fornecida pela AWS. Exemplo: `+PLjkUWJyOLth3anuWXcLLVrMLeiiiThIokaPEiw`

<LinkButton link="/pt-br/documentacao/produtos/guias/amazon-kinesis-endpoint/" label="Como utilizar o AWS Kinesis Data Firehose para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/amazon-kinesis-endpoint/" label="Como utilizar o AWS Kinesis Data Firehose para receber dados" />

---

Expand All @@ -340,7 +340,7 @@ Para configurar o endpoint [Azure Blob Storage](https://azure.microsoft.com/en-u
- **Container Name**: nome do container de armazenamento que você definiu no Blob Storage. Exemplo: `mycontainer`
- **Blob SAS Token**: token gerado pelo Blob Storage. Deve ter acesso concedido para criar, ler, escrever e listar. Exemplo: `sp=oiuwdl&st=2022-04-14T18:05:08Z&se=2026-03-02T02:05:08Z&sv=2020-08-04&sr=c&sig=YUi0TBEt7XTlxXex4Jui%2Fc88h6qAgMmCY4XIXeMvxa0%3F`

<LinkButton link="/pt-br/documentacao/produtos/guias/azure-blob-endpoint/" label="Como utilizar o Azure Blob Storage para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/azure-blob-endpoint/" label="Como utilizar o Azure Blob Storage para receber dados" />

---

Expand All @@ -353,7 +353,7 @@ Para configurar o endpoint [Azure Monitor](https://azure.microsoft.com/en-us/pro
- **Time Generated Field**: é usado para gerar o campo TimeGenerated, que traz quanto tempo levará para que o registro fique disponível após ser coletado. Quando não especificado, usa o tempo de ingestão. Exemplo: `myCustomTimeField`
- **Workspace ID**: ID do seu Workspace no Azure Monitor. Exemplo: `kik73154-0426-464c-aij3-eg6d24u87c50`

<LinkButton link="/pt-br/documentacao/produtos/guias/azure-monitor-endpoint/" label="Como utilizar o Azure Monitor para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/azure-monitor-endpoint/" label="Como utilizar o Azure Monitor para receber dados" />

---

Expand All @@ -364,7 +364,7 @@ Para configurar o endpoint [Datadog](https://www.datadoghq.com/), você deve ter
- **Datadog URL**: a URL ou a URI do seu endpoint no Datadog. Exemplo: `https://inputs.splunk-client.splunkcloud.com:1337/services/collector`
- **API Key**: chave de API gerada no dashboard do Datadog. Exemplo: `ij9076f1ujik17a81f938yhru5g713422`

<LinkButton link="/pt-br/documentacao/produtos/guias/datadog-endpoint/" label="Como utilizar o Datadog para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/datadog-endpoint/" label="Como utilizar o Datadog para receber dados" />

---

Expand All @@ -375,7 +375,7 @@ Para configurar o endpoint [Elasticsearch](https://www.elastic.co/pt/elasticsear
- **Elasticsearch URL**: endereço da URL + index do ElasticSearch que irá receber os dados coletados. Exemplo: `https://elasticsearch-domain.com/myindex`
- **API Key**: chave base64 fornecida pelo Elasticsearch. Exemplo: `VuaCfGcBCdbkQm-e5aOx:ui2lp2axTNmsyakw9tvNnw`

<LinkButton link="/pt-br/documentacao/produtos/guias/elasticsearch-endpoint/" label="Como utilizar o Elasticsearch para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/elasticsearch-endpoint/" label="Como utilizar o Elasticsearch para receber dados" />

---

Expand Down Expand Up @@ -403,7 +403,7 @@ Para configurar o endpoint [Google BigQuery](https://cloud.google.com/bigquery),
}
```

<LinkButton link="/pt-br/documentacao/produtos/guias/google-bigquery-endpoint/" label="Como utilizar o Google BigQuery para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/google-bigquery-endpoint/" label="Como utilizar o Google BigQuery para receber dados" />

---

Expand All @@ -417,7 +417,7 @@ Para configurar o endpoint [IBM Qradar](https://www.ibm.com/qradar), você deve

### S3 - Simple Storage Service

Você pode usar qualquer tipo de provedor de S3 (Simple Storage Service) de sua escolha. Para configurar o endpoint S3, você deve ter acesso à plataforma escolhida para obter as seguintes informações:
Você pode usar qualquer tipo de provedor de S3 (Simple Storage Service) de sua escolha, incluindo o [Edge Storage da Azion](/pt-br/documentacao/produtos/store/edge-storage/). Para configurar o endpoint S3, você deve ter acesso à plataforma escolhida para obter as seguintes informações:

- **Host URL**: URL do seu Host S3. Exemplo: `https://myownhost.s3.us-east-1.myprovider.com`
- Ao usar o provedor Amazon S3 Storage, você pode usar o endpoint padrão da AWS: [https://s3.amazonaws.com](https://s3.amazonaws.com/).
Expand All @@ -429,7 +429,8 @@ Você pode usar qualquer tipo de provedor de S3 (Simple Storage Service) de sua
- **Object Key Prefix**: prefixo que você pode adicionar aos arquivos que serão enviados. Os nomes dos objetos são compostos de *Prefixo* + *Timestamp* + *UUID*. Exemplo: se você usar *waf_logs* como prefixo, um dos objetos enviados será salvo como `waf_logs_1622575860091_37d66e78-c308-4006-9d4d-1c013ed89276`
- **Content Type**: formato em que o objeto será criado no bucket. É possível escolher entre *plain/text* ou *application/gzip*.

<LinkButton link="/pt-br/documentacao/produtos/guias/amazon-s3-endpoint/" label="Como utilizar o Amazon S3 para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/amazon-s3-endpoint/" label="Como utilizar o Amazon S3 para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/conector-azion-edge-storage/" label="Como utilizar o Edge Storage da Azion para receber dados" />

---

Expand All @@ -440,7 +441,7 @@ Para configurar o endpoint [Splunk](https://www.splunk.com/), você deve ter ace
- **Splunk URL**: URL que irá receber os dados coletados. Se você tiver um índice alternativo para indicar, pode adicioná-lo no final da URL. Exemplo: `https://inputs.splunkcloud.com:8080/services/collector?index=myindex`
- **API Key**: token do HTTP Event Collector, fornecido pela instalação do Splunk. Exemplo: `crfe25d2-23j8-48gf-a9ks-6b75w3ska674`

<LinkButton link="/pt-br/documentacao/produtos/guias/splunk-endpoint/" label="Como utilizar o Splunk para receber dados" />
<LinkButton severity="secondary" link="/pt-br/documentacao/produtos/guias/splunk-endpoint/" label="Como utilizar o Splunk para receber dados" />

---

Expand Down
Original file line number Diff line number Diff line change
@@ -0,0 +1,47 @@
---
title: Como utilizar o Edge Storage da Azion para receber dados do Data Stream
description: >-
Guia prático para configurar um conector do Azion Edge Storage para receber dados do
Data Stream.
meta_tags: 'Data Stream, conector, endpoint, Azion, Edge Storage'
namespace: docs_guides_connector_azion_edge_storage
permalink: /documentacao/produtos/guias/conector-azion-edge-storage/
menu_namespace: observeMenu
---

Ao configurar [streams](/pt-br/documentacao/produtos/observe/data-stream/), você precisa configurar um endpoint específico para fazer stream dos seus dados da Azion.

Continue lendo para obter o passo a passo sobre como configurar um conector do [Edge Storage da Azion](/pt-br/documentacao/produtos/store/edge-storage/) com o Data Stream.

---

## Pré-requisitos

- Crie uma [credencial S3 via API](/pt-br/documentacao/produtos/store/storage/s3-protocol-para-edge-storage/#crie-uma-credencial-via-api) e [configure o acesso ao bucket através do s3cmd](/pt-br/documentacao/produtos/store/storage/s3-protocol-para-edge-storage/#configure-o-acesso-ao-bucket-atraves-do-s3cmd).
- Salve a **Access Key** e a **Secret Key** vinculadas à sua credencial. Você precisará delas mais tarde.
- Crie um [bucket de Edge Storage](/pt-br/documentacao/produtos/store/storage/criar-bucket/), ou use um existente.

---

## Configure o novo conector no Data Stream

Agora, siga os próximos passos para configurar o novo conector no seu Azion **Data Stream**.

Você encontra os passos detalhados para a configuração completa no guia [Como utilizar o Data Stream](/pt-br/documentacao/produtos/guias/como-usar-data-stream/).

1. No menu suspenso **Connector**, selecione **Simple Storage Service (S3)**.
2. Em **URL**, adicione a URL do seu Azion Edge Storage S3 Host. Exemplo: `s3.us-east-005.azionstorage.net`.
3. Em **Bucket Name**, adicione o nome do seu bucket S3 criado na AWS. Exemplo: `mys3bucket`.
4. Em **Region**, adicione a região configurada na AWS. Exemplo: `us-east-005`.
5. Em **Access Key**, adicione a chave de acesso criada na AWS. Exemplo: `ORIA5ZEH9MW4NL5OITY4`.
6. Em **Secret Key**, adicione a chave secreta criada na AWS. Exemplo: `+PLjkUWJyOLth3anuWXcLLVrMLeiiiThIokaPEiw`.
7. Em **Object Key Prefix** (opcional), adicione o prefixo do nome do seu objeto carregado.
- Os nomes dos objetos são compostos de *Prefixo* + *Timestamp* + *UUID*.
- Exemplo: se você usar *waf_logs* como prefixo, um dos objetos enviados será salvo como `waf_logs_1622575860091_37d66e78-c308-4006-9d4d-1c013ed89276`
8. Em **Content Type**, adicione o formato do objeto que será criado no seu bucket S3. Pode ser **plain/text** ou **application/gzip**.
9. Confira se o switch **Active** está habilitado.
10. Clique no botão **Save**.

Após salvar as configurações, seus dados serão enviados para o novo endpoint configurado.

Você pode acompanhar as chamadas feitas pelo Data⁠ Stream ao Edge Storage pelo [Real-Time Events](/pt-br/documentacao/produtos/observe/real-time-events/). Para isso, selecione **Data Source** > **Data Stream** e escolha as opções de filtro que você deseja utilizar.
3 changes: 2 additions & 1 deletion src/i18n/en/observeMenu.ts
Original file line number Diff line number Diff line change
Expand Up @@ -65,7 +65,8 @@ export default [
},

{ text: 'AWS Kinesis Data Firehose', header: true, anchor: true, type: 'learn', slug: '/documentation/products/guides/endpoint-amazon-kinesis/', key: 'observeIntegrationsAws', hasLabel: 'menu.observeIntegrations' },
{ text: 'Azure Blob Storage', header: true, anchor: true, type: 'learn', slug: 'documentation/products/guides/endpoint-azure-blob/', key: 'observeIntegrationsBlob' },
{ text: 'Azion Edge Storage', header: true, anchor: true, type: 'learn', slug: '/documentation/products/guides/connector-azion-edge-storage/', key: 'observeIntegrationsEdgeStorage' },
{ text: 'Azure Blob Storage', header: true, anchor: true, type: 'learn', slug: '/documentation/products/guides/endpoint-azure-blob/', key: 'observeIntegrationsBlob' },
{ text: 'Azure Monitor', header: true, anchor: true, type: 'learn', slug: '/documentation/products/guides/endpoint-azure-monitor/', key: 'observeIntegrationsMonitor' },
{ text: 'Datadog', header: true, anchor: true, type: 'learn', slug: '/documentation/products/guides/endpoint-datadog/', key: 'observeIntegrationsDatadog' },
{ text: 'Elasticsearch', header: true, anchor: true, type: 'learn', slug: '/documentation/products/guides/endpoint-elasticsearch/', key: 'observeIntegrationsElasticsearch' },
Expand Down
1 change: 1 addition & 0 deletions src/i18n/pt-br/observeMenu.ts
Original file line number Diff line number Diff line change
Expand Up @@ -71,6 +71,7 @@ export default [
{ text: 'Azure Blob Storage', header: true, anchor: true, type: 'learn', slug: '/documentacao/produtos/guias/azure-blob-endpoint/', key: 'observeIntegrationsBlob' },
{ text: 'Azure Monitor', header: true, anchor: true, type: 'learn', slug: '/documentacao/produtos/guias/azure-monitor-endpoint/', key: 'observeIntegrationsMonitor' },
{ text: 'Datadog', header: true, anchor: true, type: 'learn', slug: '/documentacao/produtos/guias/datadog-endpoint/', key: 'observeIntegrationsDatadog' },
{ text: 'Edge Storage da Azion', header: true, anchor: true, type: 'learn', slug: '/documentacao/produtos/guias/conector-azion-edge-storage/', key: 'observeIntegrationsEdgeStorage' },
{ text: 'Elasticsearch', header: true, anchor: true, type: 'learn', slug: '/documentacao/produtos/guias/elasticsearch-endpoint/', key: 'observeIntegrationsElasticsearch' },
{ text: 'Google BigQuery', header: true, anchor: true, type: 'learn', slug: '/documentacao/produtos/guias/google-bigquery-endpoint/', key: 'observeIntegrationsBigQuery' },
{ text: 'S3 - Simple Storage Service', header: true, anchor: true, type: 'learn', slug: '/documentacao/produtos/guias/amazon-s3-endpoint/', key: 'observeIntegrationsS3' },
Expand Down

0 comments on commit 839312e

Please sign in to comment.