Re: mongodb takes long pauses / breaks during bulk upserts

From: Kevin Adistambha <kevinadi@xxxxxxxxxxx>
To: mongodb-user <mongodb-user@xxxxxxxxxxxxxxxx>
Date: Wed, 4 May 2016 19:12:47 -0700 (PDT)
Why ads?


Hi Gerold,

i am doing bulk upserts to a sharded cluster with bulks of 1000. Everything 
seems to work fine, except that in the middle of the script it suddenly 
pauses - sometimes just minutes, sometimes half an hour - and then proceeds 
normally.

Could you provide more information:

   - What do the logs show during this pause period? (i.e. mongod or mongos 
   logs), and what is the exact command you are executing? 
   - Please provide the output of sh.status() (to see your shard key, and 
   chunks distribution) 
   - What is your MongoDB server version, and client driver version, if 
   applicable 
   - What is your configured storage engine and its options 
   - What is your O/S and the filesystem that contains the /data/db 
   directory 
   - What is your deployment topology (i.e. how many shards, do the shards 
   consist of a replica set each, how many config servers, how many mongos, 
   etc.) 

Also, can you share a code snippet that performs the bulk operation, along 
with any write concern for the operation?

I tried profiling for long running methods but nothing showed up. I also 
looked at the server stats and it seems that the server is doing some cpu 
work, but no io.

A couple of questions:

   - How and on which server did you turn on the profiler? 
   - On which server and using what command did you run the server stats? 
   Could you show us some example output? 

Best regards,
Kevin


-- 
You received this message because you are subscribed to the Google Groups "mongodb-user"
group.

For other MongoDB technical support options, see: https://docs.mongodb.org/manual/support/
--- 
You received this message because you are subscribed to the Google Groups "mongodb-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
Visit this group at https://groups.google.com/group/mongodb-user.
To view this discussion on the web visit https://groups.google.com/d/msgid/mongodb-user/f0926b71-9362-4438-b0ea-2bf0039dce1d%40googlegroups.com.
For more options, visit https://groups.google.com/d/optout.
Why ads?