<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Oct 14, 2013 at 4:24 PM, Isaac Isao Saito <span dir="ltr"><<a href="mailto:iisaito@opensource-robotics.tokyo.jp" target="_blank">iisaito@opensource-robotics.tokyo.jp</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks for a clear answer Tully.<br>
I now understand the reason why this wiki is calling itself<br>
`regression` test. Seems pretty useful once I understand what it does.<br>
<a href="http://wiki.ros.org/regression_tests" target="_blank">http://wiki.ros.org/regression_tests</a><br>
<br>
Let me ask one more -- I see 2 wiki page sections that describe ways<br>
to run local pre-release test.<br>
<br>
- <a href="http://wiki.ros.org/jenkins_tools#run_chroot_local" target="_blank">http://wiki.ros.org/jenkins_tools#run_chroot_local</a><br>
- <a href="http://wiki.ros.org/bloom/Tutorials/PrereleaseTest#Locally" target="_blank">http://wiki.ros.org/bloom/Tutorials/PrereleaseTest#Locally</a><br>
<br>
How are they different in terms of test features? Since jenkins_tools<br>
looks like maintained at OSRF should we favor it?<br></blockquote><div><br></div><div>Both are maintained by OSRF. The jenkins_tools one is what the buildfarm actually runs.  The one in the PrereleaseTest#Locally section simply will verify that the package builds.  I added a comment to that effect to the wiki page. </div>

<div><br></div><div>Tully</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Thanks again.<br>
<span class="HOEnZb"><font color="#888888"><br>
Isaac<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
On Sun, Oct 13, 2013 at 10:39 PM, Tully Foote <<a href="mailto:tfoote@osrfoundation.org">tfoote@osrfoundation.org</a>> wrote:<br>
> HI Isaac<br>
><br>
><br>
> On Sat, Oct 12, 2013 at 2:29 PM, Isaac Isao Saito <<a href="mailto:130s@lateeye.net">130s@lateeye.net</a>> wrote:<br>
>><br>
>> Hi ROS-Releasers,<br>
>><br>
>> I'm a slow learner and still need to ask a few questions about<br>
>> pre-release test (let me abbreviate as PT) on ROS buildfarm even<br>
>> though I'm already a big fan of it.<br>
>><br>
>> Q1) A PT failed [1] due to a missing package with the following error.<br>
>><br>
>>     [rospack] Error: stack/package openrtm_aist not found<br>
>><br>
>> From regression_test wiki [2], I understand that PT fetches<br>
>> dependencies from shadow-fixed. But I see the package that's claimed<br>
>> to be missing `openrtm_aist` do exist in the shadow-fixed.<br>
>><br>
>> What's happening here? Am I misunderstanding something?<br>
><br>
><br>
> Being available from APT does not mean that it will be available to rospack.<br>
> You must have the dependency declared for it to be installed. That's exactly<br>
> the sort of errors that the prerelease job is designed to catch.<br>
><br>
>><br>
>><br>
>><br>
>> Q2) Is there a case when a package can be still released even its PT<br>
>> fails? If so how can I tell that?<br>
>><br>
>> I see some PTs fail while production build of the same packages don't.<br>
>><br>
>> See Groovy actionlib PT for example [3]. It's failing because building<br>
>> of some downloaded packages that depend on actionlib fail. And I see<br>
>> that all of its unit tests passed beforehand.<br>
>><br>
>> So can it be said "as long as the unit tests of the tested package<br>
>> passed"?<br>
><br>
><br>
> It is quite possible for lower level packages that not all downstream<br>
> packages fail.  If the maintainer is confident that the failures previously<br>
> existed or are unrelated to their current release they can make a judgement<br>
> call to release anyway.  That quote says that you should at a minimum not<br>
> release if your own unit tests fail.<br>
><br>
>><br>
>><br>
>><br>
>> Q3) Related to Q2, what's the purpose of this passage from the same<br>
>> regression_test wiki?<br>
>><br>
>>     "Additionally, it downloads all repos/stacks that depend on the<br>
>> tested repos/stacks, and builds/tests them."?<br>
><br>
><br>
> This is saying that it not just tests the packages requested but also<br>
> released packages which depend on the requested packages/stacks.<br>
><br>
> Tully<br>
><br>
>><br>
>><br>
>> [1]<br>
>> <a href="http://jenkins.ros.org/job/prerelease-groovy-openhrp3/ARCH_PARAM=amd64,UBUNTU_PARAM=precise,label=prerelease/2/consoleFull" target="_blank">http://jenkins.ros.org/job/prerelease-groovy-openhrp3/ARCH_PARAM=amd64,UBUNTU_PARAM=precise,label=prerelease/2/consoleFull</a><br>


>> [2] <a href="http://wiki.ros.org/regression_tests#Prerelease_Tests" target="_blank">http://wiki.ros.org/regression_tests#Prerelease_Tests</a><br>
>> [3]<br>
>> <a href="http://jenkins.ros.org/job/prerelease-groovy-actionlib/ARCH_PARAM=amd64,UBUNTU_PARAM=precise,label=prerelease/7/console" target="_blank">http://jenkins.ros.org/job/prerelease-groovy-actionlib/ARCH_PARAM=amd64,UBUNTU_PARAM=precise,label=prerelease/7/console</a><br>


>><br>
>> Thanks a lot!<br>
>><br>
>> --<br>
>> Isao Isaac Saito<br>
>> Software Engineer<br>
>> TORK (Tokyo Opensource Robotics Kyokai Association) / $BEl5~%*!<%W%s%=!<%9%m%\%F%#%/%96(2q(B<br>
>> <a href="http://opensource-robotics.tokyo.jp" target="_blank">http://opensource-robotics.tokyo.jp</a><br>
>> _______________________________________________<br>
>> ros-release mailing list<br>
>> <a href="mailto:ros-release@code.ros.org">ros-release@code.ros.org</a><br>
>> <a href="http://lists.ros.org/mailman/listinfo/ros-release" target="_blank">http://lists.ros.org/mailman/listinfo/ros-release</a><br>
><br>
><br>
_______________________________________________<br>
ros-release mailing list<br>
<a href="mailto:ros-release@code.ros.org">ros-release@code.ros.org</a><br>
<a href="http://lists.ros.org/mailman/listinfo/ros-release" target="_blank">http://lists.ros.org/mailman/listinfo/ros-release</a><br>
</div></div></blockquote></div><br></div></div>