動作を確認する場合は vagrant をお使いください
$ vagrant upvagrantの環境が起動したら、下記コマンドで仮想サーバにアクセスしてください。
$ vagrant ssh仮想サーバログイン後、次のコマンドでプロジェクトのディレクトリに移動してください
$ cd laravel-presto-kafka-demo次に Kafka Connect Elasticsearchの起動と、Elasticsearchのindexの設定などを行います。
これらは下記のコマンドを実行してください
[vagrant@gardening:~/laravel-presto-kafka-demo] $ ./bin/init.sh上記のコマンドで、指定のtopicに格納されたメッセージは、
Elasticsearchのindex (fulltext.register) に挿入されます。
Redis, MySQL, Kafkaに格納されたデータをアクセスログ出力時に
Elasticsearchに格納するデモが含まれています。
これを利用する場合は、プロジェクト配下で次のcomposerコマンドを実行して初期データ投入を行なってください。
# データベース作成とデモデータ投入、Redisにデモデータ投入
[vagrant@gardening:~/laravel-presto-kafka-demo] $ composer project-setup次にKafka Consumerを起動してください
supervisorに登録するとdaemonとして動作しますが(vagrantにインストール済み)、コンソールで起動しても構いません
$ php artisan kafka:consumerこれでKafkaのConsumerが動作し、topicにデータが格納されると、
Presto経由で各データベースを結合し、データを組み合わせたアクセスログを生成し、
Elasticsearchに格納されます
http://192.168.10.10 or gardening.app
http://192.168.10.10:9200/_cat/indices?v&pretty
confluentinc/kafka-connect-elasticsearch
Directories
/usr/bin/ # Confluent CLI and individual driver scripts for starting/stopping services, prefixed with <package> names
/etc/<package>/ # Configuration files
/usr/share/java/<package>/ # Jars