V rámci projektu MŠMT Inter-COST Aktivity NEUBIAS (a v rámci tréninkové školy analýzy obrazu, organizované během akce COST NEUBIAS), jsme vytvořili postup hodnocení histochemického průkazu obsahu fenolických látek v histologických řezech rostlinným materiálem. K digitálnímu zpracování mikroskopických snímků a kvantifikaci histochemického barvení jsme využili volně dostupný program ImageJ (https://imagej.net). Tato webová stránka by měla sloužit mikroskopikům - rostlinným anatomům, kteří řeší podobnou problematiku a pokoušejí se o kvantitativní analýzu svých mikroskopických snímků. Zájemci mohou celý postup sledovat na našich snímcích, případně pro své snímky využít námi vygenerovaná makra i model klasifikátoru, které jsou přiloženy jako přílohy ke stažení v příslušných kapitolách a lekcích nebo shlédnout instruktážní videa. Budeme také rádi, když experti v oboru analýzy obrazu pomocí ImageJ navštíví tuto webovou stránku a pomohou postup analýzy obrazu i podrobný návod vylepšit. 
Postup ukážeme na konkrétním příkladu kvantifikace fenolických látek ve zralých somatických embryích smrku, který jsme využili v jednom z našich projektů. Na histologických řezech jsme studovali vliv ozáření UV-B na akumulaci fenolických látek v pletivech celých embryí (http://lbac.ueb.cas.cz/index.php/publikace/histological-and-biochemical…). Výsledky byly prezentovány formou posteru na 3. výroční konferenci NEUBIAS věnované analýze obrazu v biologii (https://lbac.ueb.cas.cz/publikace/quantification-histochemical-detection…). Domníváme se, že postup je dobře aplikovatelný i na hodnocení jiných barevných histochemických průkazů na řezech jiných rostlinných objektů.                                                                                                                                               

  Způsobů hodnocení histologických řezů je jistě mnoho. Předkládáme jednu z možností kvantifikace histochemického průkazu na řezech, který je založen na detekci rozdílů v barvení pletiv, buněk nebo buněčného obsahu. V těchto několika odstavcích stručně nastiňujeme postup hodnocení mikroskopických snímků řezů, který je rozveden do detailů v následujících kapitolách a lekcích.

    Výchozím materiálem pro analýzu obrazu obecně jsou kvalitní snímky kvalitních, dobře obarvených histologických řezů. V našem případě to byly 5 µm silné řezy somatických embryí smrku zalitých do metakrylátové pryskyřice (Technovit 7100) a obarvených toluidinovou modří. Toto metachromatické barvivo barví rostlinné struktury různými barevnými odstíny podle jejich chemického složení. V případě řezů somatickými embryi smrku se barví modře celulózní buněčné stěny a jádra, zeleně nebo zeleno-modře fenolické látky uložené ve vakuolách buněk. Mikroskopické snímky vybraných řezů jsme analyzovali na základě těchto barevných rozdílů. Naším cílem bylo zjistit poměr plochy, kterou zaujímají buňky s obsahem fenolických látek ve vakuolách, vůči celé ploše řezu. 

   Pro hodnocení snímků jsme využili nástroje programu ImageJ (Rueden et al., 2017; Schindelin et al., 2012; Schindelin, J., et al., 2015; Schneider et al., 2012), který je volně ke stažení na stránce https://imagej.net nebo https://fiji.sc/. Mikroskopické snímky získané pomocí programu NIS-Elements firmy Laboratory Imaging a uložené ve formátu JPEG 2000 jsme museli nejprve v ImageJ upravit, abychom usnadnili analýzu obrazu.

  Dalším postupným cílem bylo takové digitální zpracování obrazu, které by vedlo k odlišení buněk akumulujících fenolické látky od těch, které je neobsahují. To znamená, že bylo třeba provést tzv. segmentaci obrazu. Segmentace obrazu je soubor různých metod, které (slovy definice ve Wikipedii) "slouží k automatickému rozdělení vlastního obrazu na oblasti se společnými vlastnostmi,  které obvykle mají nějaký smysluplný význam." Identifikace oblastí nebo struktur zájmu ve snímku umožňuje jejich kvantifikaci a další analýzu. K segmentaci snímků jsme využili plugin Trainable Weka Segmentation (TWS; Arganda-Carreras et al., 2017), který je integrován do ImageJ. Informace o tomto pluginu jsou k dispozici na stránce https://imagej.net/Trainable_Weka_Segmentation#Train_classifier. TWS umožňuje uživateli definovat třídy objektů nebo struktur na snímku. Tato metoda segmentace je založena na strojovém učení tzv. klasifikátoru, který se učí rozpoznávat struktury na snímku na základě barevných značek (traces), které do snímku ručně kreslí uživatel a ručně přiřazuje do předem nadefinovaných tříd jednotlivých struktur. Každé třídě je defaultně přiřazena jedna barva. Každá značka je tak vlastně jednou oblastí zájmu (region of interest - ROI). Podstatou této metody je klasifikace vlastností pixelů jednotlivých oblastí snímku přiřazovaných do tříd. Po tréninku je klasifikátor  aplikovatelný na další obrázky, na kterých provede segmentaci. 

 Po několika kolech tréninku klasifikátoru a přidávání dalších značek do tříd jsme získali segmentovaný obraz se strukturami vyznačenými v barvách odpovídajících jednotlivým třídám a černobílé pravděpodobnostní mapy pro jednotlivé třídy. Tyto mapy ukazují všechny pixely, které s největší pravděpodobností náležejí do dané třídy. V našem případě jsme nadefinovali čtyři třídy - pozadí (background), buněčná stěna (cell wall), buňky bez fenolických látek (cell no phenolics) a buňky s fenolickými látkami (cell with phenolics). Získali jsme proto jeden barevný segmentovaný obraz (označen v TWS jako Classified image) a čtyři pravděpodobnostní mapy. 

   Pravděpodobnostní mapu třídy buňky s fenoly jsme pomocí nástrojů programu ImageJ naprahovali tak, abychom vytvořili dvě oblasti zájmu - ROI. Jednu pro celý řez a druhou pro oblast buněk obsahujících fenolické látky. Plochu těchto dvou ROI jsme změřili. 

   Výsledkem analýzy obrazu byl odhad plochy, kterou zaujímají buňky akumulující fenoly, v ploše celého řezu. Přesnost tohoto odhadu závisí na úspěšnosti segmentace obrazu.

V ImageJ je možné otevřít a analyzovat snímky v nejrůznějších formátech. Obecně doporučen jako vhodný je formát TIFF, naopak jako nevhodný pro analýzu (protože při ukládání do tohoto formátu dochází ke ztrátě dat) je JPEG. Většina mikroskopiků nicméně získává snímky primárně ve formátu, do kterého ukládají snímky ovládací programy jejich mikroskopů. Tyto tzv. bio-formáty (např. ZEISS -.czi a .lsm; Laboratory imaging - .lim; NIS-Elements- .jp2 a .nd2) v ImageJ bez problémů otevřete a zanalyzujete.

My jsme snímali obrázky pomocí programu NIS-Elements ve formátu JPEG 2000, tedy s koncovkou .jp2, ve vysokém rozlišení. Abychom mohli snímky analyzovat, bylo třeba je nejprve upravit. Tyto úpravy ukazujeme v této kapitole v pěti podřízených lekcích. 

Pokud vaše výchozí originální snímky budou uloženy v jiném formátu s jiným rozlišením apod., nebude možná nutné snímky upravovat. Je třeba to vyzkoušet. Obecně platí, že příliš velké snímky s velkým rozlišením se touto metodou obtížně analyzují a segmentace obrazu vůbec nepůjde nebo bude trvat neúměrně dlouho. Celý proces také závisí na vlastnostech počítače.

Proces úpravy snímku jsme zaznamenali v záznamníku ImageJ (Plugins>Macro>Record) a vytvořené Makro přikládáme. Můžete si ho stáhnout a spustit v ImageJ v nabídce Plugins>New>Macro vložením a "Run".

// Makro pro přípravu souboru JP2 před tréninkem.
//

// Uživatel vybere soubor, pravděpodobně s příponou JP2.
path = File.openDialog("Select a JP2 File");

// Otevře soubor.
open(path); 

// Připraví název výsledného souboru.
orig_image_title = getTitle();
dotIndex = indexOf(path, ".");
results_name = substring(path, 0, dotIndex) + " (prepared)";

// Připraví soubor.
lbac_prepare_image(path, results_name);

CloseAllWindows();

message_title = "Obrázek je připraven pro trénink";
message = "Obrázek '" + orig_image_title + "' je připraven pro trénink pod jménem '" + results_name + ".tif'";
showMessage(message_title, message);


/**
 *Funkce pro přípravu obrázku.
 */
function lbac_prepare_image(path, new_image_title) {

    // Převede do RGB.
    run("RGB Color");   

    // Upraví měřítko.
    run("Scale...", "x=0.5 y=0.5 width=1280 height=960 interpolation=Bilinear average create");
    
    // Upraví kontrast a LUT (look-up table).
    //
    run("Brightness/Contrast..."); 
    title = "Adjust Brightness/Contrast";
    msg = "V dialogu B&C upravte nastavení jasu a kontrastu a potvrďte 'Apply'.\nPro pokračování klepněte na 'OK'.";
    waitForUser(title, msg);
    getMinAndMax(min,max);  // Returns the minimum and maximum displayed pixel values (display range).
    if (min != 0 && max != 255) {  // Check if the display has been changed.
        run("Apply LUT"); 
    }
    selectWindow("B&C");
    run("Close");

    // Přejmenuje a uloží VÝSLEDNÝ soubor ve formátu tif.
    saveAs("tif", new_image_title);
}

// "Close All Image Windows"
function CloseAllWindows() { 
    while (nImages>0) {
       selectImage(nImages);
       close(); 
    } 
}

Upravený snímek (případně originál, který úpravu nevyžadoval) vstupuje do tréninku klasifikátoru. Zvolíme plugin TWS (Plugins>Segmentation>Trainable Weka Segmentation) – snímek se otevře znovu v klasifikátoru. Pak nastupuje ruční  označování struktur značkami (traces) a jejich přiřazování do tříd, trénink klasifikátoru a další úprava značek, přidání dalších tříd, dokud výsledná segmentace neodpovídá strukturám, které hodnotíme. Výsledný klasifikátor uložíme spolu s datovým souborem, který obsahuje informace o klasifikaci pixelů (ve formě vektorů), náležejících jednotlivým značkám. Výsledkem "práce" klasifikátoru je barevný segmentovaný obraz (Classified image) a pravděpodobnostní mapy (Probability maps) jednotlivých tříd, do kterých jsme přiřadili značky pro jednotlivé struktury. Segmentovaný obraz je výsledkem mnoha matematických operací, které probíhají na pozadí při tréninku klasifikátoru nebo při generování výsledků. Doba, po kterou tyto operace probíhají, závisí na vlastnostech počítače. Postup jsme po jednotlivých krocích popsali v následujících lekcích.

Několik úvodních kroků spuštění klasifikátoru je v přiloženém makru.

// Makro pro spuštění tréninku klasifikátoru Weka.
// Viz https://imagej.net/Trainable_Weka_Segmentation#Complete_macro_example:
// Uživatel vybere soubor, pravděpodobně s příponou TIF.

path = File.openDialog("Select a TIF File");
delay = 1000;
twsWindowName = "Trainable Weka Segmentation v3.2.34";
// Pokud nechcete pomocné texty, nastavte "false":
showMessages = true;


open(path);
 
// Spustíme TWS.
run("Trainable Weka Segmentation");
// Lepší je počkat.
wait(delay);
selectWindow(twsWindowName);

// Připravné operace.
call("trainableSegmentation.Weka_Segmentation.setFeature", "Hessian=false");
call("trainableSegmentation.Weka_Segmentation.setMembranePatchSize", "16");
call("trainableSegmentation.Weka_Segmentation.setMaximumSigma", "8.0");
// Přejmenování a přidání tříd.
call("trainableSegmentation.Weka_Segmentation.changeClassName", "0", "background");
call("trainableSegmentation.Weka_Segmentation.changeClassName", "1", "cell wall");
call("trainableSegmentation.Weka_Segmentation.createNewClass", "cell no phenolics");
call("trainableSegmentation.Weka_Segmentation.createNewClass", "cell with phenolics");

// Stanovení "oblasti zájmu" třídy - kde bude probíhat trénink pro danou třídu.
// Možná by se oblast zájmu mohla nastavit i pro ostatní třídy?
/*
makeRectangle(0, 0, 100, 100);
title = "Vyberte ROI pro cell wall";
msg = "Vyberte obdélník\nPro pokračování klepněte na 'OK'.";
waitForUser(title, msg);
// add one region of interest to each class
call("trainableSegmentation.Weka_Segmentation.addTrace", "1", "1");
*/

// BACKGROUND
run("Line Width...", "line=50");
setTool("freeline"); 
wait(delay);
if (showMessages) {
  msg = "<html>Vyberte vzorky pro trénink pozadí a přidávejte je tlačítkem <strong>Add to background</strong>.<br />"
      + "Šířku linky upravte poklepáním na Freehand lines.</html>";
  showMessage(msg);
}

Vytvořený klasifikátor lze pomocí skriptu v ImageJ použít automaticky na více souborů. Příklad takového skriptu je níže. Pro skriptování pluginu Trainable Weka Segmentation (TWS) lze používat standardní makro jazyk ImageJ. Často se ale dává přednost skriptovacímu jazyku Bean Shell. Tak je tomu i v tomto případě.

Skript pro použití klasifikátoru na více souborů jsme převzali z příručky pro skriptování TWS. Můžete ho spustit v ImageJ (Plugins -> New -> Macro) po vložení do skriptovacího formuláře a klepnutím na "Run". Před spuštěním změňte skriptovací jazyk z IJ1 Macro na Bean Shell v nabídce Language formuláře.

V makru po spuštění zadáme

• vstupní složku s připravenými soubory tif
• výstupní složku (jiná než vstupní)
• soubor klasifikátoru (.model)
• režim výsledku

Další běh makra už je bez interakce s uživatelem.

#@ File(label="Input directory", description="Select the directory with input images", style="directory") inputDir
#@ File(label="Output directory", description="Select the output directory", style="directory") outputDir
#@ File(label="Weka model", description="Select the Weka model to apply") modelPath
#@ String(label="Result mode",choices={"Labels","Probabilities"}) resultMode
 
import trainableSegmentation.WekaSegmentation;
import trainableSegmentation.utils.Utils;
import ij.io.FileSaver;
import ij.IJ;
import ij.ImagePlus;
  
// starting time
startTime = System.currentTimeMillis();
  
// caculate probabilities?
getProbs = resultMode.equals( "Probabilities" );
 
// create segmentator
segmentator = new WekaSegmentation();
// load classifier
segmentator.loadClassifier( modelPath.getCanonicalPath() );
  
// get list of input images
listOfFiles = inputDir.listFiles();
for ( i = 0; i < listOfFiles.length; i++ )
{
    // process only files (do not go into sub-folders)
    if( listOfFiles[ i ].isFile() )
    {
        // try to read file as image
        image = IJ.openImage( listOfFiles[i].getCanonicalPath() );
        if( image != null )
        {                   
            // apply classifier and get results (0 indicates number of threads is auto-detected)
            result = segmentator.applyClassifier( image, 0, getProbs );
 
            if( !getProbs )
                // assign same LUT as in GUI
                result.setLut( Utils.getGoldenAngleLUT() );
             
            // save result as TIFF in output folder
            outputFileName = listOfFiles[ i ].getName().replaceFirst("[.][^.]+$", "") + " out.tif";
            new FileSaver( result ).saveAsTiff( outputDir.getPath() + File.separator + outputFileName );
  
            // force garbage collection (important for large images)
            result = null; 
            image = null;
            System.gc();
        }
    }
}
// print elapsed time
estimatedTime = System.currentTimeMillis() - startTime;
IJ.log( "** Finished processing folder in " + estimatedTime + " ms **" );

 V této kapitole ukážeme, jak můžeme výsledky segmentace obrazu využít ke kvantitativní analýze. Výchozí obrázek pro měření bude hyperstack čtyř pravděpodobnostních map, který byl výsledkem segmentace obrazu pomocí klasifikátoru. 

Celý proces provede přiložené makro. Můžete ho spustit v ImageJ v nabídce Plugins>New>Macro vložením a "Run".

// Makro prahování, tvorba ROI, měření včetně otevření hyperstacku a duplikace mapy buněk s fenoly
// http://lbac.ueb.cas.cz/strana-knihy/mereni
//
// Uživatel vybere soubor, pravděpodobně s příponou TIF.
path = File.openDialog("Select probability maps TIF File");
cell_with_phenolics_image_name = "cell with phenolics";

Dialog.create("Confirm image name");
Dialog.addMessage("Prosím, potvrďte nebo upravte název obrázku pro měření.\n ");
Dialog.addString("Název obrázku:", cell_with_phenolics_image_name, 25);
Dialog.show();
cell_with_phenolics_image_name = Dialog.getString();

// Otevře soubor.
open(path); 

// Připraví název výsledného souboru.
orig_image_title = getTitle();
dotIndex = indexOf(path, ".");
results_name = substring(path, 0, dotIndex) + " (measurement results)";

// Měří.
lbac_measurement_area(path, cell_with_phenolics_image_name, results_name);

message_title = "Výsledek měření byl uložen";
message = "Výsledek měření byl uložen do souboru " + results_name
 + "\nOkna s obrázky budou zavřena bez ukládání.";
showMessage(message_title, message);

while (nImages>0) { 
  selectImage(nImages); 
  close(); 
} 

/**
 * Změří a uloží výsledky do CSV.
 */
function lbac_measurement_area(path, image_name, results_file_title) {

    run("Stack to Images");

    selectWindow(image_name);

    run("Duplicate...", " ");
    setAutoThreshold("Default dark");
    //run("Threshold...");
    //setTool("wand");
    doWand(1054, 318);
    run("Create Selection");

    // ROI - region of interest
    run("ROI Manager...");
    roiManager("Add");
    roiManager("Select", 0);
    roiManager("Rename", "phenolics");

    selectWindow(image_name);

    setAutoThreshold("Default dark");

    //setTool("wand");
    doWand(1094, 414);
    roiManager("Add");
    roiManager("Select", 1);
    roiManager("Rename", "full");
    roiManager("Deselect");
    run("Set Measurements...", "area display redirect=None decimal=3");
    roiManager("Measure");
    saveAs("Results", results_file_title + ".csv");
}

Výběr řezů k hodnocení je zásadní z několika důvodů. Především kvalita řezů i barvení musí být vysoká, protože od ní se odvíjí možnosti a úspěšnost digitálního zpracování obrazu. Dále je třeba zvážit jaké řezy a kolik vybrat z hlediska morfologicko-anatomického uspořádání studovaného objektu, abychom získali nezatížený odhad parametrů, které kvantifikujeme. Je vhodné vzít v úvahu metody rovnoměrně náhodného výběru řezů, využít stereologické metody a tím snížit množství hodnocených řezů. My jsme brali v úvahu i to, kde se fenolické látky v embryu hromadí. Abychom mohli porovnávat ošetřené varianty s neošetřenými kontrolními vzorky, snažili jsme se vybírat řezy ze všech morfologických částí embrya (tj. děloh, hypokotylu a kořenové špičky s čepičkou) i anatomických struktur (pokožky, podpokožkového parenchymu i středního válce).  

Rostlinné buňky mají mnoho nevýhod, které mikroskopikům komplikují život. V našem případě byla takovou komplikací přítomnost větších vakuol bez zjevného obsahu, která znesnadňovala segmentaci obrazu. Klasifikátor tyto zdánlivě prázdné prostory přiřazoval do třídy pozadí a dal se jen těžko přesvědčit, aby to nedělal. V takovém případě je nejspíš vhodné použít pro zakreslení značky jiný nástroj pro kreslení ROI než jen linku, byť o velké tloušťce. Použití polygonu nebo volného obrazce, který vykryje celou buňku, včetně jádra a vakuoly bez fenolických látek, může segmentaci usnadnit a zpřesnit. Výhodou pro kvalitní a správnou segmentaci je určitě kontrastní barvení různými barvivy. Stejný odstín pro buněčnou stěnu i jádro byl v našem případě problém.

Vytvořený model klasifikátoru je třeba vyzkoušet na dalších obdobných snímcích dřív, než ho aplikujeme na velký soubor obrázků. Doporučujeme trénink provést na více než jednom snímku, a zkontrolovat, zda klasifikátor přiřazuje struktury do tříd správně a výsledná segmentace obrazu odpovídá pravdě. 

Práce byla podpořena grantem MŠMT č. LTC 17030. Metoda analýzy obrazu (úprava, segmentace a měření) histologického řezu byla vyvinuta v rámci tréninkové školy akce COST NEUBIAS, především díky laskavé pomoci Fabrice Cordelièresa (Bordeaux Imaging Center CNRS, Univerzita Bordeaux). Webová aplikace byla vytvořena ve spolupráci s naším web-masterem Liborem Fettrem.

Arganda-Carreras, I., Kaynig, V., Rueden, C., Eliceiri, K.W., Schindelin, J., Cardona, A., et al. (2017). Trainable Weka Segmentation: a machine learning tool for microscopy pixel classification. Bioinformatics 33(15), 2424-2426.                       doi: 10.1093/bioinformatics/btx180.

Schindelin, J., Arganda-Carreras, I., Frise, E., Kaynig, V., Longair, M., Pietzsch, T., et al. (2012). Fiji: an open-source platform for biological-image analysis. Nature Methods 9, 676. doi: 10.1038/nmeth.2019

Schindelin, J., Rueden, C. T., Hiner, M. C., Eliceiri, K. W. (2015). The ImageJ ecosystem: An open platform for biomedical image analysis. Molecular Reproduction and Development 82(7-8): 518-529. doi:10.1002/mrd.22489

Schneider, C. A., Rasband, W. S., Eliceiri, K. W. (2012). NIH Image to ImageJ: 25 years of image analysis. Nature Methods 9(7): 671-675. doi: 10.1038/nmeth.2089