<div dir="ltr">Hi David, <div><br></div><div>We work very hard to keep the amount of emails that jenkins sends to a minimum. I group the fauilres into three categories. First there are the good ones, which are the failures where something is failing to build or test and the maintainer can fix them. The second is that there are specific known issues on a specific arch or paltform which the maintainers cannot or chooses not to fix. And sometimes there are systematic failures such as a service goes offline that will fail jobs early in unrecoverable ways. (For example a hosting provider like github or ubuntu going offline, or a filesystem getting corrupted) </div><div><br></div><div>For the first case, we need to let the maintainers know that they need to fix it. At the moment we do not support arch/target specific blacklisting, but as we deploy the next generation buildfarm we will gain support for that. And finally for the systematic failures we do our best to turn the farm off as quickly as possible. Though due to the fact that we're running a large system, this often results in a deluge of emails. (We can sometimes run >40 jobs in parallel, which means a momentary outage can simulteaneously break 40 jobs, and there's a queue of sometimes thousands of jobs so if an executor fails quickly it can clear the queue.)</div><div><br></div><div>But these systematic events are rare, so we have to play the tradeoff between the severity and the effort to find a way to catch all failures. We already have spent a bunch of time making things like the hash sum mismatch errors much more robust, with auto retry 10 times before failing, which is a cause of some of the intermittent failures on the current farm. </div><div><br></div><div>We completely understand that too many emails will make people numb, and start ignoring/filtering the emails. But we also want to provide everyone with prompt notifications when there is a failure. </div><div><br></div><div>So I guess I'd ask that you bring up any specific instances where you feel like you're getting too many emails and we can try to address that. <br></div><div><br></div><div>Tully</div><div><br></div><div>PS please use the mailing lists on <a href="http://lists.ros.org">lists.ros.org</a> not <a href="http://code.ros.org">code.ros.org</a> it's forwarding right now but the canonical addresses are <a href="http://lists.ros.org">lists.ros.org</a></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Nov 19, 2015 at 3:04 PM, David Lu!! <span dir="ltr"><<a href="mailto:davidvlu@gmail.com" target="_blank">davidvlu@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">[changed to ros-release]<br>
<br>
As for all the emails, it might be time to revive this conversation.<br>
<a href="http://lists.ros.org/pipermail/ros-release/2014-April/004376.html" rel="noreferrer" target="_blank">http://lists.ros.org/pipermail/ros-release/2014-April/004376.html</a><br>
<br>
On Sat, Nov 14, 2015 at 2:56 AM, Vladimir Ermakov via ros-users<br>
<div><div><<a href="mailto:ros-users@lists.ros.org" target="_blank">ros-users@lists.ros.org</a>> wrote:<br>
> Never mind, jenkins rebuild that package when i wrote last email.<br>
><br>
> 2015-11-14 10:53 GMT+03:00 Vladimir Ermakov <<a href="mailto:vooon341@gmail.com" target="_blank">vooon341@gmail.com</a>>:<br>
>><br>
>> Thank you, Tully.<br>
>><br>
>> All passed except<br>
>> <a href="http://jenkins.ros.org/job/ros-jade-mavros_binarydeb_vivid_i386/45/" rel="noreferrer" target="_blank">http://jenkins.ros.org/job/ros-jade-mavros_binarydeb_vivid_i386/45/</a><br>
>> But now is apt-get related.<br>
>><br>
>> W: Failed to fetch<br>
>> <a href="http://us.archive.ubuntu.com/ubuntu/dists/vivid-updates/main/binary-i386/Packages" rel="noreferrer" target="_blank">http://us.archive.ubuntu.com/ubuntu/dists/vivid-updates/main/binary-i386/Packages</a><br>
>> Hash Sum mismatch<br>
>><br>
>> Looks like squid related, but that errors at least do not spam :)<br>
>><br>
>> // Sad that jenkins have no "errored" state like travis.<br>
>><br>
>><br>
>> 2015-11-14 9:20 GMT+03:00 Tully Foote <<a href="mailto:tfoote@osrfoundation.org" target="_blank">tfoote@osrfoundation.org</a>>:<br>
>>><br>
>>> Hi Vladimir,<br>
>>><br>
>>> I just finished fixing that temporarily on your release jobs. You should<br>
>>> have just received one more email saying it's passing now.<br>
>>><br>
>>> I've ticketed it at:<br>
>>> <a href="https://github.com/ros-infrastructure/buildfarm/issues/219" rel="noreferrer" target="_blank">https://github.com/ros-infrastructure/buildfarm/issues/219</a><br>
>>><br>
>>> Tully<br>
>>><br>
>>> On Fri, Nov 13, 2015 at 9:59 PM, Vladimir Ermakov via ros-users<br>
>>> <<a href="mailto:ros-users@lists.ros.org" target="_blank">ros-users@lists.ros.org</a>> wrote:<br>
>>>><br>
>>>> Hello,<br>
>>>><br>
>>>> I receive lots of messages from jenkins with same error. Can you please<br>
>>>> fix it?<br>
>>>> <a href="http://jenkins.ros.org/job/ros-jade-mavros-msgs_sourcedeb/98/console" rel="noreferrer" target="_blank">http://jenkins.ros.org/job/ros-jade-mavros-msgs_sourcedeb/98/console</a><br>
>>>><br>
>>>> urllib2.HTTPError: HTTP Error 404: Not Found<br>
>>>> (<a href="https://raw.github.com/ros/rosdistro/master/index.yaml" rel="noreferrer" target="_blank">https://raw.github.com/ros/rosdistro/master/index.yaml</a>)<br>
>>>><br>
>>>><br>
>>>> _______________________________________________<br>
>>>> ros-users mailing list<br>
>>>> <a href="mailto:ros-users@lists.ros.org" target="_blank">ros-users@lists.ros.org</a><br>
>>>> <a href="http://lists.ros.org/mailman/listinfo/ros-users" rel="noreferrer" target="_blank">http://lists.ros.org/mailman/listinfo/ros-users</a><br>
>>>><br>
>>><br>
>><br>
><br>
><br>
> _______________________________________________<br>
> ros-users mailing list<br>
> <a href="mailto:ros-users@lists.ros.org" target="_blank">ros-users@lists.ros.org</a><br>
> <a href="http://lists.ros.org/mailman/listinfo/ros-users" rel="noreferrer" target="_blank">http://lists.ros.org/mailman/listinfo/ros-users</a><br>
><br>
</div></div></blockquote></div><br></div></div>