[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

[HTCondor-users] HTCondor : Long pending Idle jobs



Hi All,

 

I had already running recurring jobs on HTCondor. Then I’ve added some more recurring jobs (approx. 250 new) on Oct 21, 2016. But most of the newly added jobs are still in Idle state. I’ve restarted condor several times but no luck.

 

Please see below output of condor_q and condor_q -analyze <job id> .

I’m unable to fix this issue. None of the newly added jobs executed even once.    

 

I’ve also tried increasing and decreasing SCHEDD_INTERVAL property in /etc/condor/condor_config.local but didn’t worked for me.

Please help.

 

Thanks in advance.  

 

 

 

[root@internal1 ~]# condor_q

 

-- Submitter: internal1.xxxxx.com : <192.XXX.XXX.XXX:53105> : internal1.xxxxx.com

 

ID      OWNER            SUBMITTED     RUN_TIME ST PRI SIZE CMD

168.0   tommy           2/22 00:52  37+03:54:05 I  0   1709.0 talendWF MarkRe

208.0   tommy           3/2  13:21   1+12:02:56 I  0   1709.0 talendWF SSAEventJ

377.0   tommy           3/28 11:41   1+07:36:12 I  0   1464.8 talendWF SSAEventJ

412.0   tommy           4/27 06:25   1+02:56:02 I  0   1709.0 talendWF SSAEventJ

677.0   tommy           6/9  00:30   0+19:44:03 I  0   1464.8 talendWF ElqUpd

716.0   tommy           6/27 03:41   0+16:18:47 I  0   1464.8 talendWF SSAEventJ

958.0   tommy           9/20 22:41   0+05:39:26 I  0   1464.8 talendWF SSAEventJ

967.0   tommy           9/21 03:36   0+05:54:16 I  0   1464.8 talendWF SSAEventJ

1042.0   tommy           9/27 20:00   0+04:41:00 I  0   1464.8 talendWF MarkRe

1058.0   tommy           9/28 03:19   0+03:39:39 I  0   1464.8 talendWF SSAEventJ

1164.0   tommy          10/12 07:10   2+06:58:53 I  0   1709.0 talendWF MarkRe

1166.0   tommy          10/12 07:12   1+23:08:51 I  0   1709.0 talendWF MarkRe

1167.0   tommy          10/12 07:13   1+19:46:58 I  0   1709.0 talendWF MarkRe

1168.0   tommy          10/12 07:13   1+18:09:30 I  0   1709.0 talendWF MarkRe

1169.0   tommy          10/12 07:13   1+07:29:13 I  0   1709.0 talendWF MarkRe

1170.0   tommy          10/12 07:14   0+07:35:01 I  0   1709.0 talendWF MarkRe

1171.0   tommy          10/12 07:14   0+01:58:53 I  0   1709.0 talendWF MarkRe

1172.0   tommy          10/12 07:15   0+00:53:27 I  0   1709.0 talendWF MarkRe

1173.0   tommy          10/12 07:15   0+00:33:39 I  0   1709.0 talendWF MarkRe

1174.0   tommy          10/12 07:15   0+00:29:24 I  0   1709.0 talendWF MarkRe

1175.0   tommy          10/12 07:16   0+00:28:36 I  0   1709.0 talendWF MarkRe

1176.0   tommy          10/12 07:16   0+00:27:25 I  0   1709.0 talendWF MarkRe

1177.0   tommy          10/12 07:17   0+00:24:59 I  0   1709.0 talendWF MarkRe

1178.0   tommy          10/12 07:17   0+00:24:35 I  0   1709.0 talendWF MarkRe

1179.0   tommy          10/12 07:17   0+00:26:59 I  0   1709.0 talendWF MarkRe

1180.0   tommy          10/12 07:17   0+00:26:32 I  0   1709.0 talendWF MarkRe

1181.0   tommy          10/12 07:18   0+00:26:38 I  0   1709.0 talendWF MarkRe

1182.0   tommy          10/12 07:18   0+00:26:46 I  0   1709.0 talendWF MarkRe

1183.0   tommy          10/12 07:19   0+00:23:58 I  0   1709.0 talendWF MarkRe

...

...

1862.0   tommy          10/21 02:55   0+00:00:07 I  0   1464.8 talendWF ElqUpd

1863.0   tommy          10/21 02:55   0+00:00:09 I  0   1709.0 talendWF ElqSyn

1864.0   tommy          10/21 02:55   0+00:00:10 I  0   1709.0 talendWF ElqSyn

1865.0   tommy          10/21 02:56   0+00:00:10 I  0   1464.8 talendWF ElqSyn

1866.0   tommy          10/21 02:56   0+00:00:00 I  0   0.0  talendWF ElqEng

1867.0   tommy          10/21 02:56   0+00:00:00 I  0   0.0  talendWF ElqEng

1868.0   tommy          10/21 02:56   0+00:00:00 I  0   0.0  talendWF ElqSyn

1869.0   tommy          10/21 02:56   0+00:00:00 I  0   0.0  talendWF ElqInt

1870.0   tommy          10/21 02:56   0+00:00:00 I  0   0.0  talendWF MarkRe

1871.0   tommy          10/21 02:56   0+00:00:00 I  0   0.0  talendWF ElqEng

1872.0   tommy          10/21 02:56   0+00:00:00 I  0   0.0  talendWF ElqInt

1873.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF MarkRe

1874.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF ElqReg

1875.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF ElqEng

1876.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF MarkSy

1877.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF ElqReg

1878.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF MarkRe

1879.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF MarkRe

1880.0   tommy          10/21 02:57   0+00:00:00 I  0   0.0  talendWF ElqInt

1881.0   tommy          10/21 02:58   0+00:00:00 I  0   0.0  talendWF MarkSy

1882.0   tommy          10/21 02:58   0+00:00:00 I  0   0.0  talendWF MarkRe

1883.0   tommy          10/21 02:58   0+00:00:00 I  0   0.0  talendWF ElqInt

1885.0   tommy          10/21 02:58   0+00:00:00 I  0   0.0  talendWF MarkSy

1886.0   tommy          10/21 02:58   0+00:00:00 I  0   0.0  talendWF MarkRe

1887.0   tommy          10/21 02:59   0+00:00:00 I  0   0.0  talendWF ElqReg

1888.0   tommy          10/21 02:59   0+00:00:00 I  0   0.0  talendWF ElqReg

1889.0   tommy          10/21 03:00   0+00:16:29 I  0   1709.0 talendWF ElqReg

1890.0   tommy          10/21 03:01   0+00:01:50 I  0   1709.0 talendWF ElqUpd

1891.0   tommy          10/21 03:01   0+00:09:32 I  0   1709.0 talendWF MarkRe

1892.0   tommy          10/21 03:01   0+00:11:41 I  0   1709.0 talendWF ElqReg

1893.0   tommy          10/21 03:01   0+00:26:36 I  0   1709.0 talendWF MarkRe

1894.0   tommy          10/21 03:01   0+00:01:29 I  0   1709.0 talendWF ElqUpd

1895.0   tommy          10/21 03:01   0+00:01:33 I  0   1709.0 talendWF ElqUpd

1896.0   tommy          10/21 03:01   0+00:01:35 I  0   1709.0 talendWF MarkRe

1897.0   tommy          10/21 03:01   0+00:02:57 I  0   1709.0 talendWF ElqSyn

1898.0   tommy          10/21 03:01   0+00:01:24 I  0   1464.8 talendWF ElqUpd

1899.0   tommy          10/21 03:01   0+00:01:13 I  0   1709.0 talendWF MarkRe

1900.0   tommy          10/21 03:02   0+00:01:25 I  0   1709.0 talendWF ElqSyn

1901.0   tommy          10/21 03:02   0+00:05:04 I  0   1709.0 talendWF MarkRe

1902.0   tommy          10/21 03:02   0+00:01:28 I  0   1709.0 talendWF ElqSyn

1903.0   tommy          10/21 03:02   0+00:01:12 I  0   1709.0 talendWF MarkRe

1904.0   tommy          10/21 03:02   0+00:14:28 I  0   1709.0 talendWF ElqEng

1905.0   tommy          10/21 03:02   0+00:01:33 I  0   1709.0 talendWF ElqSyn

1906.0   tommy          10/21 03:02   0+00:14:22 I  0   1709.0 talendWF MarkRe

1907.0   tommy          10/21 03:02   0+00:15:20 I  0   1709.0 talendWF ElqEng

1908.0   tommy          10/21 03:02   0+00:14:08 I  0   1709.0 talendWF ElqEng

1909.0   tommy          10/21 03:02   0+00:01:06 I  0   1709.0 talendWF MarkSy

1910.0   tommy          10/21 03:02   0+00:00:58 I  0   1709.0 talendWF ElqInt

1911.0   tommy          10/21 03:03   0+00:12:59 I  0   1709.0 talendWF ElqEng

...

...

1934.0   tommy          10/21 03:08   0+00:00:00 I  0   0.0  talendWF ElqUpd

1935.0   tommy          10/21 03:09   0+00:00:00 I  0   0.0  talendWF ElqUpd

1936.0   tommy          10/21 03:09   0+00:00:00 I  0   0.0  talendWF ElqUpd

1937.0   tommy          10/21 03:09   0+00:00:00 I  0   0.0  talendWF ElqSyn

1938.0   tommy          10/21 03:09   0+00:00:00 I  0   0.0  talendWF ElqSyn

1939.0   tommy          10/21 03:09   0+00:00:00 I  0   0.0  talendWF ElqSyn

1940.0   tommy          10/21 03:09   0+00:00:00 I  0   0.0  talendWF ElqSyn

1941.0   tommy          10/21 03:10   0+00:00:00 I  0   0.0  talendWF MarkRe

1942.0   tommy          10/21 03:10   0+00:00:00 I  0   0.0  talendWF MarkRe

1943.0   tommy          10/21 03:10   0+00:00:00 I  0   0.0  talendWF MarkRe

1944.0   tommy          10/21 03:10   0+00:00:00 I  0   0.0  talendWF ElqEng

1945.0   tommy          10/21 03:10   0+00:00:00 I  0   0.0  talendWF ElqEng

1946.0   tommy          10/21 03:10   0+00:00:00 I  0   0.0  talendWF MarkRe

1947.0   tommy          10/21 03:11   0+00:00:00 I  0   0.0  talendWF MarkSy

1948.0   tommy          10/21 03:11   0+00:00:00 I  0   0.0  talendWF MarkSy

1949.0   tommy          10/21 03:11   0+00:00:00 I  0   0.0  talendWF MarkRe

1950.0   tommy          10/21 03:11   0+00:00:00 I  0   0.0  talendWF MarkRe

1951.0   tommy          10/21 03:11   0+00:00:00 I  0   0.0  talendWF MarkRe

1952.0   tommy          10/21 03:12   0+00:00:00 I  0   0.0  talendWF MarkSy

1953.0   tommy          10/21 03:14   0+00:00:00 I  0   0.0  talendWF MarkRe

1954.0   tommy          10/21 03:15   0+00:00:00 I  0   0.0  talendWF MarkRe

1955.0   tommy          10/21 03:15   0+00:00:00 I  0   0.0  talendWF MarkSy

1956.0   tommy          10/21 03:15   0+00:00:00 I  0   0.0  talendWF MarkRe

1957.0   tommy          10/21 03:15   0+00:00:00 I  0   0.0  talendWF MarkRe

1958.0   tommy          10/21 03:15   0+00:00:00 I  0   0.0  talendWF MarkSy

1959.0   tommy          10/21 03:16   0+00:00:00 I  0   0.0  talendWF MarkRe

1960.0   tommy          10/21 03:16   0+00:00:00 I  0   0.0  talendWF MarkRe

1961.0   tommy          10/21 03:16   0+00:00:00 I  0   0.0  talendWF MarkSy

1962.0   tommy          10/21 03:16   0+00:00:00 I  0   0.0  talendWF MarkRe

1963.0   tommy          10/21 03:24   0+00:00:00 I  0   0.0  talendWF ElqEng

1964.0   tommy          10/21 03:24   0+00:00:00 I  0   0.0  talendWF ElqEng

1965.0   tommy          10/21 03:25   0+00:00:00 I  0   0.0  talendWF ElqInt

1966.0   tommy          10/21 03:25   0+00:00:00 I  0   0.0  talendWF ElqInt

1967.0   tommy          10/21 03:25   0+00:00:00 I  0   0.0  talendWF ElqInt

1968.0   tommy          10/21 03:25   0+00:00:00 I  0   0.0  talendWF ElqInt

1969.0   tommy          10/21 03:26   0+00:00:00 I  0   0.0  talendWF ElqReg

1970.0   tommy          10/21 03:26   0+00:00:00 I  0   0.0  talendWF ElqReg

1971.0   tommy          10/21 03:26   0+00:00:00 I  0   0.0  talendWF ElqReg

1972.0   tommy          10/21 03:26   0+00:00:00 I  0   0.0  talendWF ElqReg

1973.0   tommy          10/21 03:30   0+00:00:00 I  0   0.0  talendWF ElqReg

1974.0   tommy          10/21 03:30   0+00:00:00 I  0   0.0  talendWF ElqReg

1975.0   tommy          10/21 03:30   0+00:00:00 I  0   0.0  talendWF ElqUpd

1976.0   tommy          10/21 03:30   0+00:00:00 I  0   0.0  talendWF ElqUpd

1977.0   tommy          10/21 03:31   0+00:00:00 I  0   0.0  talendWF ElqUpd

1978.0   tommy          10/21 03:31   0+00:00:00 I  0   0.0  talendWF ElqUpd

1979.0   tommy          10/21 03:31   0+00:00:00 I  0   0.0  talendWF ElqSyn

1980.0   tommy          10/21 03:31   0+00:00:00 I  0   0.0  talendWF ElqSyn

1981.0   tommy          10/21 03:31   0+00:00:00 I  0   0.0  talendWF MarkRe

1982.0   tommy          10/21 03:31   0+00:00:00 I  0   0.0  talendWF ElqSyn

1983.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF ElqSyn

1984.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF MarkRe

1985.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF MarkSy

1986.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF ElqEng

1987.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF ElqEng

1988.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF MarkRe

1989.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF ElqEng

1990.0   tommy          10/21 03:32   0+00:00:00 I  0   0.0  talendWF ElqEng

...

...

2000.0   tommy          10/21 03:33   0+00:00:00 I  0   0.0  talendWF ElqReg

2001.0   tommy          10/21 03:33   0+00:00:00 I  0   0.0  talendWF MarkSy

2002.0   tommy          10/21 03:33   0+00:00:00 I  0   0.0  talendWF ElqReg

2003.0   tommy          10/21 03:33   0+00:00:00 I  0   0.0  talendWF ElqReg

2004.0   tommy          10/21 03:33   0+00:00:00 I  0   0.0  talendWF MarkRe

2005.0   tommy          10/21 03:34   0+00:00:00 I  0   0.0  talendWF MarkRe

2006.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF MarkRe

2007.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF MarkRe

2008.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF ElqReg

2009.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF MarkSy

2010.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF ElqReg

2011.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF MarkSy

2012.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF ElqUpd

2013.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF ElqUpd

2014.0   tommy          10/21 03:35   0+00:00:00 I  0   0.0  talendWF MarkRe

2015.0   tommy          10/21 03:36   0+00:00:00 I  0   0.0  talendWF ElqUpd

2016.0   tommy          10/21 03:36   0+00:00:00 I  0   0.0  talendWF ElqUpd

2017.0   tommy          10/21 03:36   0+00:00:00 I  0   0.0  talendWF MarkRe

...

...

2056.0   tommy          10/21 03:43   0+00:00:00 I  0   0.0  talendWF MarkSy

2060.0   tommy          10/21 11:07   0+00:03:59 I  0   1709.0 talendWF MarkSy

2062.0   tommy          10/21 11:24   0+00:09:43 I  0   1709.0 talendWF MarkRe

2068.0   tommy          10/21 12:44   0+00:05:05 I  0   1709.0 talendWF ElqReg

2071.0   tommy          10/21 12:55   0+00:05:12 I  0   1709.0 talendWF ElqReg

2072.0   tommy          10/21 12:59   0+00:12:28 I  0   1709.0 talendWF ElqReg

2077.0   tommy          10/21 13:10   0+00:11:38 I  0   1709.0 talendWF ElqSyn

2095.0   tommy          10/21 13:58   0+00:06:39 I  0   1709.0 talendWF MarkRe

2103.0   tommy          10/21 14:26   0+00:03:22 I  0   1464.8 talendWF MarkSy

2104.0   tommy          10/21 14:26   0+00:01:06 I  0   1709.0 talendWF MarkSy

2108.0   tommy          10/25 07:42   0+00:01:00 I  0   1709.0 talendWF MarkRe

2110.0   tommy          10/25 14:06   0+00:00:59 I  0   1709.0 talendWF ElqUpd

2117.0   tommy          10/26 06:20   0+00:00:00 I  0   0.0  talendWF ElqReg

2118.0   tommy          10/26 06:20   0+00:11:54 I  0   1464.8 talendWF ElqReg

2119.0   tommy          10/26 06:21   0+00:00:00 I  0   0.0  talendWF ElqInt

 

493 jobs; 0 completed, 0 removed, 489 idle, 4 running, 0 held, 0 suspended

 

 

 

[root@internal1 ~]# condor_q -analyze 1887.0

 

 

-- Submitter: internal1.xxxxx.com : <192.XXX.XXX.XXX:51847> : internal1.xxxxx.com

---

1887.000:  Request has not yet been considered by the matchmaker.

 

User priority for tommy@xxxxxxxxx is not available, attempting to analyze without it.

---

1887.000:  Run analysis summary.  Of 2 machines,

      0 are rejected by your job's requirements

      0 reject your job because of their own requirements

      0 match and are already running your jobs

      0 match but are serving other users

      2 are available to run your job

 

 

 

 

 

 

regards,

Ashish

 

DISCLAIMER ========== This e-mail may contain privileged and confidential information which is the property of Persistent Systems Ltd. It is intended only for the use of the individual or entity to which it is addressed. If you are not the intended recipient, you are not authorized to read, retain, copy, print, distribute or use this message. If you have received this communication in error, please notify the sender and delete all copies of this message. Persistent Systems Ltd. does not accept any liability for virus infected mails.