<div dir="ltr">Hey Josh - sorry for the delayed reply.  Passing on a couple of questions from the engineer on our team that's working on this:<div><br></div><div><div style="font-size:12.8px">1. You mentioned that "<span style="font-size:12.8px">One short-term option for accessing all the plate data </span><span style="font-size:12.8px">would be for you to make use of our </span><span class="gmail-m_3870018161944580467gmail-m_-5689899360728128731gmail-il" style="font-size:12.8px">jupyter</span><span style="font-size:12.8px"> instance" (<a href="https://idr.openmicroscopy.org/jupyter" rel="noreferrer" target="_blank" style="font-size:12.8px">https://idr.openmicroscopy.or<wbr>g</a></span><a href="https://idr.openmicroscopy.org/jupyter" rel="noreferrer" target="_blank" style="font-size:12.8px"><span style="font-size:12.8px">/</span><span class="gmail-m_3870018161944580467gmail-m_-5689899360728128731gmail-il" style="font-size:12.8px">jupyter</span></a><span style="font-size:12.8px">). I tried accessing that using my personal GitHub account (cmclean) and alternatively received 403: Forbidden and 500: Internal Server Error codes. Is there something else I need to do to get access to the Jupyter instance?</span></div></div><div><span style="font-size:12.8px"><br></span></div><div><div style="font-size:12.8px">2. You mentioned an alternative would be to use the connection() method in the idr-notebooks/library/idr.py library, as depicted in <a href="https://github.com/IDR/idr-notebooks/blob/master/notebooks/Getting_Started.ipynb" rel="noreferrer" target="_blank" style="font-size:12.8px">https://github.com/IDR/idr-<wbr>notebooks/blob/master/<wbr>notebooks/Getting_Started.<wbr>ipynb</a>. I tried doing this after performing the installation notes at <a href="https://www.openmicroscopy.org/site/support/omero5.3/developers/Python.html" target="_blank">https://www.openmicroscopy.<wbr>org/site/support/omero5.3/<wbr>developers/Python.html</a> (including all of the OMERO.server installation requirements e.g. ICE). However, when I try to connect to the server (host: localhost, username: omero, password: omero) I get the following error:</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div>ConnectionRefusedException: Ice.<wbr>ConnectionRefusedException:</div><div>Connection refused</div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">It seems to me that I still need to connect to a valid OMERO server that holds the data, not the empty server on localhost (which I'm not sure why I cannot connect to but that seems to be a different problem)... so I still have the same question of " it looks like a valid username and password are required to open a connection to your server.  How do we go about getting one?"</div></div><div><span style="font-size:12.8px"><br></span><div>Thanks for your advice Josh.</div><div><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 4, 2017 at 3:21 AM, Josh Moore <span dir="ltr"><<a href="mailto:josh@glencoesoftware.com" target="_blank">josh@glencoesoftware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Jon,<br>
<span class=""><br>
On Thu, May 4, 2017 at 6:42 AM, Jon Hazard <<a href="mailto:jhazard@google.com">jhazard@google.com</a>> wrote:<br>
> Hey Josh - it would be far better for us if we could get access to full vs.<br>
> a partial datasets.<br>
<br>
</span>Definitely understood, and it's something we're keen to enable as well.<br>
<span class=""><br>
<br>
> Given that, to verify that I'm understanding how to<br>
> retrieve raw data correctly, could you confirm that something like the<br>
> following code is your suggestion for using the Python API to download raw<br>
> image data:<br>
><br>
> from PIL import Image<br>
> # Do the following for each imageId we have in the dataset.<br>
> image = conn.getObject("Image", imageId)<br>
> for z in range(image.getSizeZ()):<br>
>   for c in range(image.getSizeC()):<br>
>     for t in range(image.getSizeT()):<br>
>       pixels = image.getPrimaryPixels()<br>
>       plane = pixels.getPlane(z, c, t)  # Get a numpy array.<br>
>       im = Image.fromArray(plane)  # Using PIL.Imagey array.<br>
><br>
>       im.save("image.tiff")<br>
<br>
</span>You might want to take a look at pixels.getPlanes to simplify the loop:<br>
<br>
 |  getPlanes(self, zctList)<br>
 |      Returns generator of numpy 2D planes from this set of pixels for a<br>
 |      list of Z, C, T indexes.<br>
 |<br>
 |      :param zctList:     A list of indexes: [(z,c,t), ]<br>
<span class=""><br>
<br>
> Also, it looks like a valid username and password are required to open a<br>
> connection to your server.  How do we go about getting one?<br>
<br>
</span>The `idr` library provides a `connection` method, e.g. from<br>
<a href="https://github.com/IDR/idr-notebooks/blob/master/notebooks/Getting_Started.ipynb" rel="noreferrer" target="_blank">https://github.com/IDR/idr-<wbr>notebooks/blob/master/<wbr>notebooks/Getting_Started.<wbr>ipynb</a><br>
<br>
    from idr import connection<br>
    conn = connection()<br>
<br>
--<br>
<br>
Cheers,<br>
~Josh<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
> On Wed, May 3, 2017 at 3:11 PM, Josh Moore <<a href="mailto:josh@glencoesoftware.com">josh@glencoesoftware.com</a>> wrote:<br>
>><br>
>> Hi Jon,<br>
>><br>
>> On Mon, May 1, 2017 at 11:50 PM, Jon Hazard <<a href="mailto:jhazard@google.com">jhazard@google.com</a>> wrote:<br>
>> > Hi Josh - replies to your questions inline below<br>
>> ><br>
>> > On Mon, May 1, 2017 at 1:19 PM, Josh Moore <<a href="mailto:josh@glencoesoftware.com">josh@glencoesoftware.com</a>><br>
>> > wrote:<br>
>> >><br>
>> >> (List members: sorry for the re-send)<br>
>> >><br>
>> >> On Fri, Apr 28, 2017 at 8:07 PM, Jon Hazard <<a href="mailto:jhazard@google.com">jhazard@google.com</a>> wrote:<br>
>> >> > Hello - first, a hearty thanks to OME for making this data available!<br>
>> >><br>
>> >> Gladly! And glad to you're interesting in using it.<br>
>> >><br>
>> >><br>
>> >> > My team is interested in the images from two datasets:<br>
>> >> ><br>
>> >> > idr0033-rohban-pathways/<wbr>screenA<br>
>> >> ><br>
>> >> > and<br>
>> >> ><br>
>> >> > idr0028-pascualvargas-<wbr>rhogtpases<br>
>> >> ><br>
>> >> > It looks like the images for at least the first data set are<br>
>> >> > compressed.<br>
>> >><br>
>> >> How do you mean compressed? (Can you send a link?) The original data<br>
>> >> has been uploaded to the IDR but certainly for viewing, rendering is<br>
>> >> performed server-side before sending to the client.<br>
>> ><br>
>> ><br>
>> > To clarify, I meant that the images I can obtain are lower-resolution<br>
>> > JPGs<br>
>> > rather than the original-quality TIFF files. This is true whether I<br>
>> > export<br>
>> > through either the individual image download (by clicking the Down Arrow<br>
>> > as<br>
>> > shown in the first section of the export help page<br>
>> > <a href="http://help.openmicroscopy.org/export.html" rel="noreferrer" target="_blank">http://help.openmicroscopy.<wbr>org/export.html</a>) or by using the public web<br>
>> > API<br>
>> > (e.g. by issuing the following command: curl<br>
>> ><br>
>> > "<a href="http://idr-demo.openmicroscopy.org/webclient/render_image/3194301/?c=1&q=1" rel="noreferrer" target="_blank">http://idr-demo.<wbr>openmicroscopy.org/webclient/<wbr>render_image/3194301/?c=1&q=1</a>"<br>
>> >> image.jpg).<br>
>><br>
>> I understand: there's not yet a webclient/ or webgateway/ yet that<br>
>> would return raw image planes. Our other APIs (e.g. Python, Java, C++)<br>
>> do. See below.<br>
>><br>
>><br>
>> >> > It would help us a lot to be able to work with the raw, uncompressed<br>
>> >> > images.<br>
>> >> > Are those available?<br>
>> >><br>
>> >> Can you explain more about what you are trying to achieve? We're<br>
>> >> working on having full download enabled from EBI but until then we<br>
>> >> should be able to get you access to something more significant.<br>
>> ><br>
>> ><br>
>> > I would like to have access to the original-quality images for all<br>
>> > images in<br>
>> > the two datasets I mentioned previously:<br>
>> ><br>
>> >> idr0028-pascualvargas-<wbr>rhogtpases and idr0033-rohban-pathways/<wbr>screenA<br>
>> ><br>
>> > That is great that the full downloads will eventually be supported<br>
>> > through<br>
>> > EBI. Is there an expected timeframe for that capability to come online?<br>
>><br>
>> I've checked on the status, but there's not yet a concrete date. My<br>
>> guess would be that it'll be on the order of weeks rather than months.<br>
>><br>
>><br>
>> > Assuming that there is some non-trivial infrastructure required there,<br>
>> > is<br>
>> > there any other way that we could have access to those two datasets in a<br>
>> > more timely manner?<br>
>><br>
>> The OME project regularly makes sample data available for download [1]<br>
>> . To at least unblock you initially, I'd propose putting one plate for<br>
>> each study up on the downloads site (10GB and 40GB respectively), but<br>
>> we'd certainly like to avoid mirroring the dozens of TBs from IDR via<br>
>> that mechanism. One short-term option for accessing all the plate data<br>
>> would be for you to make use of our jupyter instance[2]. See<br>
>> <a href="https://github.com/IDR/idr-notebooks" rel="noreferrer" target="_blank">https://github.com/IDR/idr-<wbr>notebooks</a> for examples.<br>
>><br>
>> All the best,<br>
>> ~Josh<br>
>><br>
>> [1] <a href="https://downloads.openmicroscopy.org/images/" rel="noreferrer" target="_blank">https://downloads.<wbr>openmicroscopy.org/images/</a><br>
>> [2] <a href="https://idr.openmicroscopy.org/jupyter" rel="noreferrer" target="_blank">https://idr.openmicroscopy.<wbr>org/jupyter</a><br>
><br>
><br>
</div></div></blockquote></div><br></div>