Übersicht
Wie funktioniert die Volltextsuche in phpCMS?
Der Aufbau einer Volltextsuche für Eure eigene Homepage erfordert mehrere Schritte. Zuerst wird der Volltext-Index erstellt. Zur Erstellung stehen mehrere Varianten zur Verfügung:
Erstellen des Volltextindexes mit lokaler Indizierung.
Überlegt Euch zuerst, ab welchem Verzeichnis Eurer Website indiziert werden soll. Ihr habt in dieser ersten Version der Volltextsuche von phpCMS die Möglichkeit, innerhalb des zu indizierenden Verzeichnisses bis zu acht Verzeichnisse anzugeben, die ignoriert werden sollen. Es ist eine kluge Idee, für große Seitenteile Eurer Homepage einen eigenen Index zu erstellen. Mit phpCMS könnt Ihr beliebig viele Indizies erstellen und somit beliebig viele Suchen ermöglichen. Derzeit ist die Nachindizierung von Seiten noch nicht möglich, es muß also immer bei groben Änderungen ein kompletter Index erstellt werden.
Ein Index-Vorgang kann unterschiedlich lange dauern. Das hängt sehr vom Umfang der indizierten Daten ab. Meine Website hier umfasst ca. 300 Seiten. Die Erstellung eines Indexes dieser ganzen Seite dauert mit der lokalen Indizierung von phpCMS ca. 2-3 Minuten. Dabei werden temporär zusätzlich, zum bereits verbrauchten Webspace ca. 0,5 MB belegt. Ihr solltet also bevor Ihr zu indizieren beginnt checken, ob Ihr noch genug Webspace zur Verfügung habt. Nach der erfolgten Indizierung reduziert sich der Verbrauch ungefähr auf 1/5 der temporären Größe.
Jetzt überlegt Ihr Euch, wohin der Index installiert werden soll, wenn er erstellt ist. Am besten macht Ihr Euch eine Liste mit diese Überlegungen (es kommen noch ein paar dazu). phpCMS bietet die Option, den Index als normale Dateien zu speichern, oder mit gzip zu komprimieren. Um die komprimierte Version zu nutzen, muß bei Eurem Provider aber das zlib-Library installiert sein (phpinfo() is your friend). Der komprimierte Index belegt wesentlich weniger Speicherplatz (nur ca. 1/3 des Unkomprimierten), verlangsamt aber den Suchvorgang, da der Index erst im Speicher dekomprimiert werden muß, bevor die Suche durchgeführt werden kann. Also: Nächste Entscheidung auf der Liste = gzip oder nicht gzip.
Jetzt müßt Ihr entscheiden, wieviele Zeichen bei der Anzeige des Suchergebnisses ausgegeben werden sollen. Ein guter Wert liegt bei ca. 300 Zeichen. Wählt Ihr zu wenige Zeichen, kann sich der User unter dem Ergebniss nichts vorstellen, zu viele Zeichen verlangsamen die Anzeige des Suchergebnisses.
Eine Stopwortdatei enthält jene Wörter, die nicht in den Index aufgenommen werden sollen. Ihr erstellt eine solche Datei einfach mit einem Texteditor und speichert sie am Webserver in einem Verzeichnis Eurer Wahl. Eine Stopwortdatei enthält die Wörter, getrennt durch einen Zeilenumbruch:
Bei der Entwicklung der Volltextsuche und des Indexers bin ich auf das Problem gestoßen, dass einige Provider timeouts für PHP-Skripte gesetzt haben. Bei längeren Laufzeiten von Skripten, werden diese dann einfach abgebrochen. Dabei wird der Index natürlich zerstört. Um das zu umgehen, wird in mehreren Schritten indiziert. Je größer diese Schritte sind, um so schneller geht der Vorgang der Indizierung. Ihr könnt diese Schrittgröße ebenfalls in den Optionen einstellen und zwar unter dem Namen "Blockgröße". Der Vorgabewert sind 200.000 Byte, für einige Provider sicher bereits zu groß. Ihr tastet Euch am besten schrittweise an das Limit Eures Providers heran, um die optimale Einstellung herauszufinden. Habt Ihr optimale Blockgröße gefunden, könnt Ihr diese in der Datei "default.php" die Ihr im Verzeichnis "/parser/include" findet eintragen.
Jetzt überlegt Euch, wie lange die kürzesten Wörter sein dürfen, die noch indiziert werden. In den Optionen stellt Ihr die minimale Wortlänge ein. Achtung: Wörter die kleiner als zwei Buchstaben sind akzeptiert das Suchskript nicht. Je länger die kürzesten Wörter sind, die indiziert werden, um so schneller funktioniert die Suche. Das System funktioniert hervorragend mit der Einstellung einer Wortlänge von drei Buchstaben.
Nun sind wir endlich so weit, den Index-Vorgang zu starten. Ruft einfach die Datei "parser.php" ohne Optionen auf. Nach Eingabe des Paßwortes (dass Ihr hoffentlich längst geändert habt), klickt links auf den Menüpunkt "Volltextsuche" und gebt die Optionen auf Eurer Liste ein. Was Ihr habt keine Liste? Dann passiert den Start, kassiert keine 200. :-)
Nach einem Klick, auf den Button "Indizieren starten" beginnt die Indizierung. Zuerst wird eine Liste mit allen Wörtern gebildet. phpCMS zeigt Euch als Status, welche Dateien gerade indiziert wurde und wie lange das gedauert hat, sowie wieviele Dateien noch zu indizieren sind. Die erste Statusinfo kann ein paar Sekunden dauern, nicht ungeduldig werden. Nachdem die Wortliste gebildet ist, startet der Merger automatisch. Der Merger scheidet doppelte Wörter aus und erfasst die Häuffigkeit von vorkommenden Wörtern in einzelnen Seiten. Auch der Merger liefert Status-Informationen. Am Ende des Mergers erhaltet Ihr eine Anzeige, wie lange der gesamte Vorgang gedauert hat. Auch der Merger funktioniert mehrstufig, also erst wieder klicken, wenn Ihr die Meldung habt, dass der Indiziervorgang abgeschlossen ist. Ihr zerstört sonst den Index.
Das wars, der Index ist erstellt.
Definition von Suchprofilen für HTTP-Indizierung.
Der neuere HTTP-Indexer bietet eine besonders komfortable Möglichkeit, Suchprofile zu erstellen und zu speichern. Der Vorteil dabei ist, dass die Angaben für die Indizierung nur einmal ausgefüllt werden müssen und der Indiziervorgang selbst dann beliebig oft, eventuell sogar zeitgesteuert, ausgeführt werden kann.
Um ein neues Suchprofil anzulegen, ruft ihr in der GUI den Punkt "HTTP-Indexer" auf. Danach seht Ihr ein Menü mit vier Menüpunkten, der Erste davon ist [Profil-Wizard]. Wählt diesen Menüpunkt einfach mal an.
Im ersten Schritt werdet Ihr nach der Startadresse gefragt. Das ist jene Adresse, an der der Spidervorgang beginnt. Das System übernimmt dabei automatisch den Server der Startadresse in die Serverliste. Am besten gebt Ihr hier die Startseite Eures Webauftrittes an. Ich habe hier z.B. die Adresse "http://www.phpcms.de/homepage/index.htm" angegeben.
Am zweiten Schirm, auf den Ihr durch betätigen der Schaltfläche "hinzufügen" gelangt, werdet Ihr zur Eingabe weiterer Server aufgefordert. Dass ist dann wichtig, wenn z.B. Euer Webauftritt auf mehrere Server verteilt ist. Achtung: Das https-Protokoll wird derzeit vom HTTP-Indexer nicht unterstützt. Seiten die mit https:// beginnen werden ignoriert. Ihr könnt beliebig viele Server hinzufügen, indem Ihr die Adresse in das Eingabefeld schreibt und die Schaltfläche "hinzufügen" betätigt. Ihr müßt aber keinen Server angeben, wenn Euer gesamter Webauftritt am Server der Startadresse liegt. Ist hier kein fremder Server angegeben, werden lediglich Links indiziert, die am Server der Startadresse liegen. Durch betätigen der Schaltfläche "weiter" kommt Ihr auf die nächste Eingabemaske.
Hier gebt Ihr an, wie mit der Datei "robots.txt" verfahren wird, wenn eine auf dem zu indizierenden Server gefunden wird. Wenn Ihr hier entscheidet, die Datei zu berücksichtigen, wird bei jedem Indiziervorgang diese Datei von den Zielservern geholt und nachgesehen, welche Verzeichnisse für die Indizierung freigegeben sind. Wählt Ihr hingegen die Einstellung "nicht berücksichtigen" werden die Angaben der "robots.txt" ignoriert. "robot-META-TAGS" entscheidet, wie mit der META-Angabe "robots" im Header von HTML-Dateien verfahren wird. Eine solche Angabe sieht in der HTML-Datei so aus:
Auf dieser Seite könnt Ihr jetzt Adressen mit bestimmten Inhalten ausschließen.
Wenn Ihr z.B. ein Forum betreibt, und alle Dateien dieses Forums in einem
Unterverzeichnis "/homepage/forum" liegen, dann gebt Ihr hier z.B. "/forum" an.
Daraufhin wird der Indexer um alle Adresse die den String "/forum" enthalten
einen großen Bogen machen. Achtung: Wenn Ihr neben dem Verzeichnis
"/homepage/forum" vielleicht noch ein Verzeichnis "/roemer/forumromanum" habt,
wird dieses auch nicht indiziert, da auch dieses Verzeichnis den String "/forum"
enthält. Kniffelig nicht? :-)
Ihr könnt beliebig viele Ausschlüsse durch betätigen der Schaltfläche
"hinzufügen" hinzufügen. Mit "weiter" kommt Ihr zur nächsten Seite.
Hier erfolgt das genaue Gegenteil von der vorhergegangenen Funktion. Wenn Ihr hier eine Adresse angebt, werden ausschließlich Dateien indiziert, die Unterhalb dieser Adresse liegen. Der Indiziervorgang wird keinesfalls in ein anderes Verzeichnis wechseln. Wenn Ihr z.B. nur die Dateien im Verzeichnis "Dokumentation" Eures Webservers indizieren wollt, gebt Ihr hier z.B. "http://www.phpcms.de/homepage/Dokumentation" an. Durch "hinzufügen" ... eh schon wissen ... und mit der Schaltfläche "weiter" geht es auf die nächste Seite.
Das hier angegebene "Datenverzeichnis" ist jenes Verzeichnis, in dem die Indexdaten für die eben definierte Suche nach der erfolgreichen Indizierung abgelegt werden. Achtung: phpCMS muß Schreibrechte auf dieses Verzeichnis haben. Sollte es Probleme mit den Rechten geben, weist Euch der Wizard bei der Erstellung dieses Profils ohnehin darauf hin. Die "Nicht zu indizierenden Extensionen" sind eigentlich selbsterklärend. Dateien mit Endungen, die hier angeführt sind, werden bei der Indizierung übergangen. Einzelne Endungen sind immer durch ein Semikolon (;) zu trennen. Die Angabe der Extensionen erfolgt immer mit Punkt also z.B. ".gif" und nicht "gif"! GZIP verhält sich wie bei der lokalen Indizierung. Pro Suchprofil kann eine eigene Stopwortdatei angegeben werden. Beim Feststellen geeigneter Wörter hilft die Wortanalyse. Wörter die in der Stopwortdatei vorhanden sind werden bei der indizierung ignoriert. (Umstandswörter etc...). Wortlänge, Puffergröße und Beschreibungstext verhalten sich wie bei der lokalen Indizierung. Mit der Schaltfläche "weiter" gehts auf die nächste Seite.
Hier werden jetzt nochmals die gewählten Einstellungen angezeigt und Ihr werdet zur Eingabe eines Namens für dieses Suchprofil aufgefordert. Ich empfehle hier einen einfachen sprechenden Namen zu vergeben, das erleichtert den Aufruf des Shell-Skriptes wesentlich. Durch betätigend er Schaltfläche "speichern" sichert Ihr das eben erstellte Suchprofil.
Erstellen eines Volltextindexes mit HTTP-Indizierung und Browserinterface
Wenn Ihr gerade das Suchprofil erstellt habt, landet ihr automatisch auf der Liste der verfügbaren Profile für die Indizierung. Andernfalls ruft im Browser wieder die Datei "phpcms_indexer.php" auf. Wählt im Menü links den Menüpunkt [Indizieren] aus. Ihr seht eine Liste aller verfügbaren Suchprofile. Wenn Ihr nun rechts neben dem Profil Eurer Wahl auf das Icon mit der Lupe klickt, wechselt Ihr zum Startschirm des Indexers. Es werden Euch die Detaildaten des ausgewählten Profils angezeigt, im Hintergrund wird das temporäre Verzeichnis, das zur Indizierung benutzt wird gelöscht und alle Varaiblen werden auf die Startwerte zurückgesetzt. Das ist dann wichtig, wenn mehrere Personen mit Eurem System arbeiten. Indiziert ein Kollege gerade seine Dateien und Ihr wechselt in ein Profil, kann es vorkommen, dass sein Indiziervorgang der gerade durchgeführt wird zerstört wird. Durch betätigend er Schaltfläche "weiter" startet Ihr den Indiziervorgang.
Im ersten Schritt werden die Zielseiten gespidert. Ihr seht dabei eine Statusanzeige, die angibt wieviel Prozent des Spidervorgangs bereits erledigt ist. Diese Anzeige ist nur ein Richtwert, da der Indexer am Anfang ja noch nicht weiß, wieviele Dateien bei der Indizierung berücksichtigt werden. In etwa ab der Hälfte des Vorgangs ist die Anzeige aber korrekt.
Ist der Spidervorgang abgeschlossen, werdet Ihr zum Start des zweiten Schrittes aufgefordert. Wurden bei der Indizierung Fehler gefunden (Dateien die nicht abgerufen werden konnten), werden die Fehlerseiten mit den Seiten, die einen Link auf diese Seiten beinhalten auf dieser Seite ausgegeben. Ein kleiner Linkchecker also. Im zweiten Schritt werden alle einzelnen Wörter aus den gespiderten Seiten extrahiert. Durch das Spidern wurde im wesentlichen eine lokale Kopie der Zielseiten angelegt. Wenn Ihr phpCMS beim Provider installiert habt, dann wurde soeben eine exakte 1:1 Kopie Eurer HTML-Dateien auf Eurem Webspace abgelegt (also dieser fast verdoppelt). Die Erstellung des Wortindexes erhöht diesen temporären Platzverbrauch weiter. Wenn Ihr also Speicherplatzlimitierung bei Eurem Provider habt, empfiehlt sich eher eine zusätzliche lokale Installation von phpCMS Daheim, die Indexdaten könnt Ihr dann später mit FTP hochladen. Mit betätigend er Schaltfläche "weiter" startet Ihr die Erstellung des Wortindexes.
Auch hier steht wieder einen Statusanzeige zur Verfügung. Im Gegensatz zur ersten Statusanzeige ist diese nun präziese, weil die zu verarbeitenten Dateien bereits feststehen. Mit "weiter" gehts zum nächsten Schritt.
Nun werden die Wörter nach Wortlänge sortiert. Bei kleinen Seiten bekommt Ihr das gar nicht mit, bei größeren Auftritten seht Ihr hier wieder einen Statusanzeige. Mit "weiter" veranlasst Ihr die eigentliche Erstellung der Indexdaten. Auch hier wieder die Statusanzeige, die den Fortschritt angibt. Im letzten Schritt, den Ihr mit der Schaltfläche "Fertigstellen" einleitet, werden die eben erstellten Indexdaten in das Zielverzeichnis kopiert und die temporären Dateien gelöscht.
Erstellen eines Volltextindexes mit HTTP-Indizierung und Shell-Skript
Dies ist die einfachste und schnellste Methode einen Index zu erstellen. Leider werden nicht überall die notwendigen Voraussetzung gegeben sein um diese Methode einzusetzen. Ihr benötigt entweder beim Provider:
Projekte bis zu 1.000 Seiten können beruhigt mit dem Browser-Interface arbeiten, ab dieser Größe empfiehlt sich aber der Einsatz des Shell-Skriptes. Vor Einsatz des Shell-Skriptes muß ein Suchprofil erstellt werden, wie bei "HTTP-Indizierung und Browserinterface" beschrieben. Merkt Euch den Namen des gewünschten Suchprofiles!
Wechselt in das Verzeichnis, in dem der Parser installiert ist, bei der Originalinstallation "/parser". Ruft nun an der Kommandozeile das Skript auf:
Test der erstellten Volltextsuche
Einer der Menüpunkte des Browser-Interfaces des neuen HTTP-Indexers ist [Suche testen]. Hier habt Ihr die Möglichkeit, wie in phpCMS einen Suchbegriff einzugeben. Zusätzlich habt Ihr oberhalb des Feldes mit dem Suchbegriff, ein Feld in dem Ihr aus den verfügbaren, bereits erstellten Indizies den gewünschten Index auswählt.
Durchführen einer Wortanalyse Die Wortanalyse ist ein wunderbares Werkzeug, um sinnvolle Wörter für Eure Stopwortdatei festzustellen. Außerdem wird man so schnell auf kleinere Fehler in der Definition der Suchprofile aufmerksam. Wählt einfach den Menüpunkt [Wortanalyse] im Browserinterface des neuen HTTP-Indexers und sucht Euch den gewünschten, bereits erstellten Index aus. Wählt dann noch die Anzahl der auszugebenden Wörter aus. Es werden dann die am häufigsten auftretenden Wörter in diesem Index ausgegeben.
Aufbau eines Templates für die Anzeige der Suchergebnisse
Dieses Template ist im Prinzip ein ganz normales Template von phpCMS. Den einzigen Unterschied zu normalen Templates bildet ein Feld, statt dem dann die Suchergebnisse angezeigt werden. Ihr tragt dieses Feld wie folgt ein:
{SEARCHRESULT SEARCHTEMP="SUCHE"}Das Schlüsselwort "SEARCHRESULT" bezeichnet, dass an dieser Stelle im Template die Suchergebnisse angezeigt werden. Der Parameter "SUCHE" im obigen Beispiel besagt, dass aus dem Menütemplate die Werte mit den Namen "SUCHE" ausgelesen werden sollen. Diese Werte tragen wir bei der Erstellung des Menütemplates ein.
Erstellen der Projektdatei
phpCMS-Profis wissen jetzt sicher schon was kommt: Im wesentlichen handelt es sich um eine ganz normale Projektdatei, die lediglich, statt auf das normale Template, auf jenes Template zeigt, daß wir gerade für die Suche erstellt haben.
Ergänzung des Menütemplates
Im Menütemplate stellt phpCMS einige Felder und TAGS zur Verfügung, mit deren Hilfe das Aussehen der Ausgabe beeinflusst werden kann. Die Felder sind:
{SEARCH.SUCHE.PRE}
<h3 style="margin-top: 12px;"><b>Ergebnis der Suche:</b></h3>
<p style="font-size: 11px;">Suchzeit: <SEARCH_TIME> s
Anzahl der gefundenen Begriffe: <WORD_COUNT>
<TERM_EXCLUDED_PRE><SEARCH_TERM_EXCLUDED><TERM_EXCLUDED_PAST>
Anzahl der gefundenen Seiten: <PAGE_COUNT>
Suchwort(e): <QUERY_TERM></p>
<table cellpadding="3" cellspacing="0" border="0" width="100%">
{SEARCH.SUCHE.NORMAL}
<tr><td bgcolor="#EBEBEB"><b>{NUMBER}. <a href="{URL}">{TITLE}</a></b></td></tr>
<tr><td>Ranking: {RANKING}</td></tr>
<tr><td>{TEXT} ...</td></tr>
<tr><td>Gefundene Begriffe: {FWORDS}</td></tr>
<tr><td colspan="2"> </td></tr>
{SEARCH.SUCHE.PAST}
</table>
Anlegen einer Ergebnisseite
Auch bei der Seite, die für die Anzeige der Ergebnisse angelegt wird, handelt es sich um eine normale phpCMS-Content-Datei. Es gelten alle Rahmenbedingungen, wie bei einer normalen Content-Datei. Lediglich der Projekt-Eintrag zeigt auf die vorhin angelegte Projekt-Datei.
Aufbau eines Suchformulars
Jetzt wird es wieder kniffelig. Das Formular mit dem die Suche Ausgelöst wird, muß bestimmte Felder enthalten:
|
<form action="$home/ergebnis.htm" method = "GET">
<input type="hidden" name="datadir" value="/parser/suche">
<input type="hidden" name="gzip" value="on">
<input type="hidden" name="phpcms_result_count" value="7">
<input name="query" value="" type="text" size=20 maxsize=30>
<input type="submit" name="submit" value="go get it">
</form>