Find Jobs
Hire Freelancers

IoT_Devices_To_Kafka_To_Scala_Spark_To_Cassandra

₹12500-37500 INR

Mbyllur
Postuar over 2 years ago

₹12500-37500 INR

Paguhet në dorëzim
Existing Flow: Iot Devices(Sending Json Payload) -> Kafka Streaming(receiving & Producing) -> Spark Streaming(Consuming Json using Scala) -> Cassandra(For Storage) Project Description: IoT devices getting uploaded with JSON payload in Cassandra. IoT devices sending device information through a simulator to Kafka streaming. Kafka Producer producing JSON streaming data. Kafka JSON data-consuming in Scala 2.11.11 with Spark 2.4.7 Spark consumed data getting inserted into Cassandra. Requirement: 1. Performance Tuning -> Need to persist @100/sec JSON payload into Cassandra using spark streaming 2. Project should support higher version of Cassandra Spark Connector with latest Spark and Scala (Need to validate code on higher version compatibility) Note: -> We've already achieved @40/sec. We'll share it. -> Project deployed on Linux( RAM 16 GB, 8 CPU Cores) -> We tested on Spark 2.4.7, Scala 2.11.11, and Spark Cassandra Connector 2.4.0 As per the required skillset and interest will share the code.
ID e Projektit: 30953996

Rreth projektit

1 propozim
Projekt në distancë
Aktive 3 yrs ago

Po kërkoni të fitoni para?

Përfitimet e ofertës për Freelancer

Vendosni buxhetin dhe afatin tuaj
Paguhuni për punën tuaj
Përshkruani propozimin tuaj
Është falas të regjistrohesh dhe të bësh oferta për punë
1 freelancer is bidding on average ₹22 000 INR for this job
Avatari i Përdoruesit
Hello, Cassandra needs full server installation for best results, so better use an independent cluster for purpose. secondly if you are keen on using json persristance use mongodb/dynamodb instead of cassandra, which handles json documents better. I am having 20+ years of experience and a consultant in bgdata/IoT
₹22 000 INR në 7 ditë
0,0 (0 përshtypje)
0,0
0,0

Rreth klientit

Flamuri i INDIA
Ghaziabad, India
0,0
0
Anëtar që nga korr 26, 2021

Verifikimi i klientit

Faleminderit! Ne ju kemi dërguar me email një lidhje për të kërkuar kredinë tuaj falas.
Ndodhi një gabim gjatë dërgimit të email-it tuaj. Ju lutemi provoni përsëri.
Përdorues të regjistruar Punë të postuara
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Po ngarkohet shikimi paraprak
Leja u dha për Geolocation.
Seanca e hyrjes ka skaduar dhe ke dalë. Hyr sërish.