Kafka générer un msg par agence

[AntoineArthurG]

Fragmenter le message d'entrée en autant d'agence qu'il contient

[AntoineArthurG]

On a passé quelques heures avec Kenneth pour tenter de segmenter les messages d'entrées envoyé à redpanda.

• Premièrement on a tenté de spécifier le séparateur à la création du topic, sans succès car il semble que la commande kafka-topics.sh que l'on utilise ne le permet pas.

• Ensuite on regardé si une autre commande existe et on a trouvé kafka-console-producer.sh qui aurait permis de spécifier le séparateur mais qui est aussi incompatible avec une route camel car s'exécute uniquement en mode console (le script s'arrete car il reste en attente d'une entrée utilisateur).

• Puis on a regardé si il est possible de configurer un topic après sa création avec la commande kafka-configs.sh, sans résultat pertinent.

• On a aussi tenté une dernière approche en cherchant s'il était possible de spécifier le séparateur directement dans la ligne de commande de la route camel, qui spécifie déjà la clé.

Au final on est tombé sur une balise appelé qui permet de séparer le contenu des messages en plusieur parties. Cette balise semble fonctionner lorsque l'on visualise les données reçus par redpanda cependant quand l'agence 4157 arrive dans les messages on se retrouve avec toute les agences dans le même message. Impossible de savoir pourquoi. Ci dessous les captures d'écran pour illustrer ce comportement :

[AntoineArthurG]

Pour tester la nouvelle config :

git checkout main
git fetch origin
git checkout 31-kafka-générer-un-msg-par-agence
cd scripts/
./quickstart.sh

[adriens]

Ok @AntoineArthurG , beau boulot.

Du coup, deux petites remarques :

Pur les partages de code dans les issues, faire comme ci-dessous stp :

git checkout main
git fetch origin
git checkout 31-kafka-générer-un-msg-par-agence
cd scripts/
./quickstart.sh

et non pas comme ceci:

[adriens]

Esnuite : pouvez-vous dropper une release ? @Kenneth-OPT peut le faire,