The ngram tokenizer is not used to transform the query as we do not want to change the searched string.
Le tokenizer ngram n'est pas utilisé pour transformer la requête car nous ne voulons pas changer le texte recherché.
The first thing the tokenizer does is to remove the characters not taken into account, such as the exclamation point.
La première chose que fait le tokenizer est de supprimer les caractères non pris en compte, comme le point d'exclamation.
this invention provides a method and apparatus for automated search and retrieval processing that includes a tokenizer, a noun phrase analyzer, and a morphological analyzer
l'invention porte sur un procédé et un appareil de recherche et extraction automatiques comportant un jetoneur, un analyseur de syntagmes et un analyseur morphologique
For a text index, the language that determines the list of stop words and the rules for the stemmer and tokenizer.
Pour un index de texte, la langue qui détermine la liste des mots d'arrêt et les règles pour l'égrappoir et tokenizer.
As the tokenizer finds tokens in the data buffer, it will insert the position (start index) in the position array, the token length in the length array, and the token type in the type array.
Lorsque que le tokenizer trouve un jeton dans la mémoire tampon, il insère la position (start index) dans le tableau position, la longueur (taille) du jeton dans le tableau length, et le type du jeton dans le tableau type.
The tokenizer is case-insensitive.
Le tokenizer est insensible à la casse.
However, in the particular case where the tokenizer is SBPH, it is possible to use the concept of weight of the tokens in the statistical calculation.
Toutefois, dans le cas particulier où le tokenizer est SBPH, il est possible d'utiliser la notion de poids des tokens dans le calcul statistique.
Here is a simple example PHP scripts using the tokenizer that will read in a PHP file, strip all comments from the source and print the pure code only.
Voici un exemple simple de scripts PHP utilisant le tokenizer qui lit un fichier PHP, supprime tous les commentaires de la source et affiche uniquement le code.
For our configuration, we are going to use the OSB tokenizer.
Pour la configuration présentée dans cet article, nous nous contenterons du tokenizer OSB.
Here is a simple example PHP scripts using the tokenizer that will read in a PHP file, strip all comments from the source and print the pure code only.
Exemples Voici un exemple simple de script PHP qui utilise le tokenizer pour lire un fichier, supprimer tous les commentaires de la source, et afficher uniquement du code.
Please note that this functionality is only available when the tokenizer and Xdebug extensions are installed.
Merci de noter que cette fonctionnalité n'est seulement disponible que lorsque les extensions tokenizer et Xdebug sont installées.
node-scss-tokenizer: SCSS syntax tokenizer, 362 days in preparation.
node-scss-tokenizer: SCSS syntax tokenizer, en préparation depuis 362 jours.
The code coverage report feature requires the Xdebug (2.5.0 or later) and tokenizer extensions.
La fonctionnalité de couverture de code nécessite l'extension Xdebug (2.5.0 ou ultérieur) et tokenizer.