Re: [Hadoop Mongo Connector] : store datetime from PIG to MongoDB

From: Luke Lovett <luke.lovett@xxxxxxxxx>
To: mongodb-user <mongodb-user@xxxxxxxxxxxxxxxx>
Date: Fri, 15 Apr 2016 11:23:28 -0700 (PDT)
Why ads?
I realize this post is pretty old, but I came across it again while 
searching for something else.

To update this for future visitors: datetimes are now supported in Pig with 
the Hadoop connector as of version 1.5.0.

On Thursday, September 24, 2015 at 1:52:59 PM UTC-7, Luke Lovett wrote:

Hi Nicolas,

I think this might be a bug in the Hadoop connector. Would you mind 
creating an issue on the HADOOP project here? : 
https://jira.mongodb.org/browse/HADOOP ;(big green "create" button on the 
top).

I'm unclear on the exact expected behavior, though, since Pig doesn't have 
a native "datetime" type. I think at least getting a string representation 
of the time should be possible, but it might also be possible to store 
datetimes in MongoDB if the input type happens to be a 
org.joda.time.DateTime.

On Wednesday, September 23, 2015 at 8:37:15 AM UTC-7, Nicolas wrote:

Hello,
We need to store Datetime fields inside MongoDB collection from our PIG 
script.

If we try for example to send to mongoDB the following query (where 
$createdAt is result of CurrentTime() function) :

{\$setOnInsert: {  type : "TEST", createdAt : "\$createdAt"},...

we receive the following exception:

Caused by: java.lang.IllegalArgumentException: can't serialize class org.joda.time.DateTime
        at org.bson.BasicBSONEncoder._putObjectField(BasicBSONEncoder.java:273)
        at org.bson.BasicBSONEncoder.putObject(BasicBSONEncoder.java:174)


We receive also an exception in case we try with "new Date()"

Could you help me to solve it ?

Tks

Nicolas



-- 
You received this message because you are subscribed to the Google Groups "mongodb-user"
group.

For other MongoDB technical support options, see: https://docs.mongodb.org/manual/support/
--- 
You received this message because you are subscribed to the Google Groups "mongodb-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
Visit this group at https://groups.google.com/group/mongodb-user.
To view this discussion on the web visit https://groups.google.com/d/msgid/mongodb-user/d2ef7e5f-307b-458a-901a-ed4063797b6f%40googlegroups.com.
For more options, visit https://groups.google.com/d/optout.
Why ads?