Re: MongoS server not starting also not balancing Server's sharding metadata manager failed asking for instance is manually reset

From: Virendra Agarwal <agarwal.viren@xxxxxxxxx>
To: mongodb-user <mongodb-user@xxxxxxxxxxxxxxxx>
Date: Sun, 8 May 2016 21:44:15 -0700 (PDT)
Why ads?
Just to add one more thing we saw this issue again on one of our shard 
replica.
Network connection was down from primary to replica for some time and we 
restored it. But primary could not connect to resorted secondary.

It was always showed not reachable in rs.status() till i manually step it 
down and restart mongo process then made this primary again.

On Monday, 9 May 2016 09:58:20 UTC+5:30, Virendra Agarwal wrote:

Hi Kevin,
 Thanks for responding on threads I really appreciate your kind response.

I believe the main issue is the inability of the mongos process to 
connect to the config server confserv_1.xyz.com due to DNS issues. Is 
this a constant issue, or is it intermittent?

This issue was not consistent as sometimes we see it on MongoS or some 
times on replica set..
 

Did you try to connect to confserv_1.xyz.com from the machine that is 
hosting the mongos process? Also, how did you determine that the 
connection between the two machines are fine (i.e. using ping, 
connecting using the mongo shell, etc.)?


Yes i tried with ping then i opened this confserv_1.xyz.com from same 
machine hosting MongoS server.

Is there any error messages in the mongos log that shows the reason why 
it cannot be started?

The same error was there when i confirmed the connection was fine i  try 
to restart the server but it gave me same error as host not resolved.
One more thing we also confirmed the dbhash of all config servers and it 
was all fine.
We took a restart of whole cluster and then thyis error was gone. But now 
we are occasinaly seeing mongo service down on cnfig servers.

   - your MongoDB version - 
      - 3.2.3
   - your deployment topology (i.e. how many config servers, how many 
   mongos, whether all mongos is having this issue, etc.) 
      - 3 Config Servers 4 MongoS yup alll serevrs showed same issue.
   - the output of db.serverCmdLineOpts() from the mongos processes
   - the output of sh.status()
   - any error messages in the logs (mongod and mongos)


 
 
 
On Monday, 9 May 2016 09:11:24 UTC+5:30, Kevin Adistambha wrote:

Hi Viren,

SHARDING [Balancer] caught exception while doing balance: Server’s 
sharding metadata manager failed to initialize and will remain in this 
state until the instance is manually reset :: caused by :: HostNotFound: 
unable to resolve DNS for host confserv_1.xyz.com 

I believe the main issue is the inability of the mongos process to 
connect to the config server confserv_1.xyz.com due to DNS issues. Is 
this a constant issue, or is it intermittent?

When i connect config server using host name it is working fine.

Did you try to connect to confserv_1.xyz.com from the machine that is 
hosting the mongos process? Also, how did you determine that the 
connection between the two machines are fine (i.e. using ping, 
connecting using the mongo shell, etc.)?

I tried to restart MOngoS server it is not coming up.

Is there any error messages in the mongos log that shows the reason why 
it cannot be started?

If you are still having issues, could you please provide:

   - your MongoDB version 
   - your deployment topology (i.e. how many config servers, how many 
   mongos, whether all mongos is having this issue, etc.) 
   - the output of db.serverCmdLineOpts() from the mongos processes

mongos> db.serverCmdLineOpts();

{

        "argv" : [

                "/opt/mongodb/bin/mongos",

                "--config",

                "/opt/mongodb.conf",

                "--configdb",

                "confserv_1.xyz.com:27017,confserv_2.xyz.com:27017,
confserv_3.xyz.com:27017",

                "--maxConns=20000",

                "--logpath=/opt/mongolog/log/mongodb.log",

                "--logappend"

        ],

        "parsed" : {

                "config" : "/opt/mongodb.conf",

                "net" : {

                        "http" : {

                                "enabled" : true

                        },

                        "maxIncomingConnections" : 20000

                },

                "sharding" : {

                        "configDB" : "confserv_1.xyz.com:27017,
confserv_2.xyz.com:27017,confserv_3.xyz.com:27017"

                },

                "systemLog" : {

                        "destination" : "file",

                        "logAppend" : true,

                        "path" : "/opt/mongolog/log/mongodb.log"

                }

        },

        "ok" : 1

}

 


   - the output of sh.status()

Attached output. 


   - any error messages in the logs (mongod and mongos)
   - [ReplicationExecutor] Error in heartbeat request to 
   secondary-rep2:27017; ExceededTimeLimit: Couldn't get a connection within 
   the time limit
   - 

         SHARDING [Balancer] caught exception while doing balance: 
Server’s sharding metadata manager failed to initialize and will remain in 
this state until the instance is manually reset :: caused by :: 
HostNotFound: unable to resolve DNS for host confserv_1.xyz.co 
<http://confserv_1.xyz.com/>m



   
Best regards,
Kevin




-- 
You received this message because you are subscribed to the Google Groups "mongodb-user"
group.

For other MongoDB technical support options, see: https://docs.mongodb.org/manual/support/
--- 
You received this message because you are subscribed to the Google Groups "mongodb-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
Visit this group at https://groups.google.com/group/mongodb-user.
To view this discussion on the web visit https://groups.google.com/d/msgid/mongodb-user/96af9f7a-d89d-4d03-85e1-d964a8c83c17%40googlegroups.com.
For more options, visit https://groups.google.com/d/optout.
Why ads?