Re: Mongo Hadoop : Is there a way to make upsert with Pig MongoInsertStorage

From: Luke Lovett <luke.lovett@xxxxxxxxx>
To: mongodb-user <mongodb-user@xxxxxxxxxxxxxxxx>
Date: Tue, 26 Apr 2016 09:56:48 -0700 (PDT)
Why ads?
There isn't any way to replace documents fully with MongoInsertStorage 
right now, but it's on the roadmap for mongo-hadoop 2.0: 
https://jira.mongodb.org/browse/HADOOP-263. Once this is complete, you'll 
be able to do replacements using MongoUpdateStorage (and you won't have to 
specify all the fields with $set). If you add yourself as a "watcher" to 
HADOOP-263, you'll be notified as progress is made on the issue.

On Tuesday, April 26, 2016 at 5:35:08 AM UTC-7, Loïc MATHIEU wrote:

Hello,

I use MongoInsertStorage with Pig, it's very easy to use and efficient to 
export an HDFS file to a MongoDB collection. I specify a custom _id filed, 
so when I re-export my HDFS file, if the document already exist it failed. 
I don't see how I can specify MongoInsertStorage to make an upsert if the 
document already exist, this will be very convenient because I don't want 
to drop the collection before re-exporting it (this will empty it and my 
service reading the collection will be unavailable during the re-export).
I know that there is a MongoUpdateStorage but it's not as easy to use as 
MongoInsertStorage, I have 150 fields in my HDFS files so adding all these 
fields in the $set query is not very convenient and each time we will add a 
new field in the HDFS file we will need to update the MongoUpdateStorage 
query ...

Regards,

Loïc


-- 
You received this message because you are subscribed to the Google Groups "mongodb-user"
group.

For other MongoDB technical support options, see: https://docs.mongodb.org/manual/support/
--- 
You received this message because you are subscribed to the Google Groups "mongodb-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
Visit this group at https://groups.google.com/group/mongodb-user.
To view this discussion on the web visit https://groups.google.com/d/msgid/mongodb-user/2862fa77-31d8-4513-abd9-aca1bc1a0990%40googlegroups.com.
For more options, visit https://groups.google.com/d/optout.
Why ads?