Re: mongodb takes long pauses / breaks during bulk upserts

From: Gerold Böhler <domainloop@xxxxxxxxx>
To: mongodb-user <mongodb-user@xxxxxxxxxxxxxxxx>
Date: Sat, 7 May 2016 05:04:23 -0700 (PDT)
Why ads?
Ok thanks for listening but i figured it out myself - just missed the index 
on filter_hash on the products collection. I didn't know about that logfile 
so thanks for the tipp ;-)

Am Donnerstag, 5. Mai 2016 04:12:47 UTC+2 schrieb Kevin Adistambha:

Hi Gerold,

i am doing bulk upserts to a sharded cluster with bulks of 1000. 
Everything seems to work fine, except that in the middle of the script it 
suddenly pauses - sometimes just minutes, sometimes half an hour - and then 
proceeds normally.

Could you provide more information:

   - What do the logs show during this pause period? (i.e. mongod or 
   mongos logs), and what is the exact command you are executing? 
   - Please provide the output of sh.status() (to see your shard key, and 
   chunks distribution) 
   - What is your MongoDB server version, and client driver version, if 
   applicable 
   - What is your configured storage engine and its options 
   - What is your O/S and the filesystem that contains the /data/db 
   directory 
   - What is your deployment topology (i.e. how many shards, do the 
   shards consist of a replica set each, how many config servers, how many 
   mongos, etc.) 

Also, can you share a code snippet that performs the bulk operation, along 
with any write concern for the operation?

I tried profiling for long running methods but nothing showed up. I also 
looked at the server stats and it seems that the server is doing some cpu 
work, but no io.

A couple of questions:

   - How and on which server did you turn on the profiler? 
   - On which server and using what command did you run the server stats? 
   Could you show us some example output? 

Best regards,
Kevin



-- 
You received this message because you are subscribed to the Google Groups "mongodb-user"
group.

For other MongoDB technical support options, see: https://docs.mongodb.org/manual/support/
--- 
You received this message because you are subscribed to the Google Groups "mongodb-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
Visit this group at https://groups.google.com/group/mongodb-user.
To view this discussion on the web visit https://groups.google.com/d/msgid/mongodb-user/c7fff401-3a5e-4d4c-b49c-a1354bf41eb9%40googlegroups.com.
For more options, visit https://groups.google.com/d/optout.
Why ads?