Index: modules/drupalwiki_tagging_suggest/drupalwiki_tagging_suggest.module =================================================================== --- modules/drupalwiki_tagging_suggest/drupalwiki_tagging_suggest.module (revision 3468e04047a8d80c9aa6aea3fb424aee878e873b) +++ modules/drupalwiki_tagging_suggest/drupalwiki_tagging_suggest.module (revision ) @@ -5,11 +5,18 @@ // Copyright 2010 function drupalwiki_tagging_suggest_tagging_suggestions($vid, $node) { - require 'drupalwiki_extractor.inc'; + require_once 'drupalwiki_extractor.inc'; $suggestions = array(); $text = $node->body; - // TODO: check node->language for current lang - $terms = drupalwiki_extractor_extract($text,'de', NULL); + if ($node->language!=""){ + $language= $node->language; + } else { + $language= language_default(); + $language= $language->language; +} + + + $terms = drupalwiki_extractor_extract($text,$language, NULL); $vids = array($vid); _drupalwiki_tagging_suggest_mark_new($terms, $vids); return $terms; Index: modules/drupalwiki_tagging_suggest/drupalwiki_extractor.inc =================================================================== --- modules/drupalwiki_tagging_suggest/drupalwiki_extractor.inc (revision 3468e04047a8d80c9aa6aea3fb424aee878e873b) +++ modules/drupalwiki_tagging_suggest/drupalwiki_extractor.inc (revision ) @@ -9,7 +9,10 @@ /** * Finds tags in text. */ -function drupalwiki_extractor_extract($text, $lang = 'de', $minCount = 2) { +function drupalwiki_extractor_extract($text, $lang='en', $minCount = 2) { +// watchdog('tagging_debug',"'Lang=$lang"); + if ($lang=='') + $lang='en'; $text = strip_tags($text); $text = str_replace(' ',' ',$text); // replace punctation @@ -19,11 +22,11 @@ $text = drupal_strtolower( $text ); mb_regex_encoding( "utf-8" ); - //$words = preg_split("/[\s,.:\-\(\)\[\]{}*\/]+/", $text); - $words = preg_split("/[\s\t]/", $text); + $words = preg_split("/[\s,.:\-\(\)\[\]{}*\/]+/", $text); + //$words = preg_split("/[\s\t]/", $text); $result = array(); // remove stopwords - $stopWords = drupalwiki_extractor_stop_words(); + $stopWords = drupalwiki_extractor_stop_words($lang); $words = array_diff( $words, $stopWords ); // $stemmer = _drupalwiki_extractor_pecl_stem_loaded($lang); @@ -164,10 +167,1721 @@ /** * Stop words. */ -function drupalwiki_extractor_stop_words($lang = 'de') { - $stopwords['en'] = array('a', 'about', 'above', 'above', 'across', 'after', 'afterwards', 'again', 'against', 'all', 'almost', 'alone', 'along', 'already', 'also','although','always','am','among', 'amongst', 'amoungst', 'amount', 'an', 'and', 'another', 'any','anyhow','anyone','anything','anyway', 'anywhere', 'are', 'around', 'as', 'at', 'back','be','became', 'because','become','becomes', 'becoming', 'been', 'before', 'beforehand', 'behind', 'being', 'below', 'beside', 'besides', 'between', 'beyond', 'bill', 'both', 'bottom','but', 'by', 'call', 'can', 'cannot', 'cant', 'co', 'con', 'could', 'couldnt', 'cry', 'de', 'describe', 'detail', 'do', 'done', 'down', 'due', 'during', 'each', 'eg', 'eight', 'either', 'eleven','else', 'elsewhere', 'empty', 'enough', 'etc', 'even', 'ever', 'every', 'everyone', 'everything', 'everywhere', 'except', 'few', 'fifteen', 'fify', 'fill', 'find', 'fire', 'first', 'five', 'for', 'former', 'formerly', 'forty', 'found', 'four', 'from', 'front', 'full', 'further', 'get', 'give', 'go', 'had', 'has', 'hasnt', 'have', 'he', 'hence', 'her', 'here', 'hereafter', 'hereby', 'herein', 'hereupon', 'hers', 'herself', 'him', 'himself', 'his', 'how', 'however', 'hundred', 'ie', 'if', 'in', 'inc', 'indeed', 'interest', 'into', 'is', 'it', 'its', 'itself', 'keep', 'last', 'latter', 'latterly', 'least', 'less', 'ltd', 'made', 'many', 'may', 'me', 'meanwhile', 'might', 'mill', 'mine', 'more', 'moreover', 'most', 'mostly', 'move', 'much', 'must', 'my', 'myself', 'name', 'namely', 'neither', 'never', 'nevertheless', 'next', 'nine', 'no', 'nobody', 'none', 'noone', 'nor', 'not', 'nothing', 'now', 'nowhere', 'of', 'off', 'often', 'on', 'once', 'one', 'only', 'onto', 'or', 'other', 'others', 'otherwise', 'our', 'ours', 'ourselves', 'out', 'over', 'own','part', 'per', 'perhaps', 'please', 'put', 'rather', 're', 'same', 'see', 'seem', 'seemed', 'seeming', 'seems', 'serious', 'several', 'she', 'should', 'show', 'side', 'since', 'sincere', 'six', 'sixty', 'so', 'some', 'somehow', 'someone', 'something', 'sometime', 'sometimes', 'somewhere', 'still', 'such', 'system', 'take', 'ten', 'than', 'that', 'the', 'their', 'them', 'themselves', 'then', 'thence', 'there', 'thereafter', 'thereby', 'therefore', 'therein', 'thereupon', 'these', 'they', 'thickv', 'thin', 'third', 'this', 'those', 'though', 'three', 'through', 'throughout', 'thru', 'thus', 'to', 'together', 'too', 'top', 'toward', 'towards', 'twelve', 'twenty', 'two', 'un', 'under', 'until', 'up', 'upon', 'us', 'very', 'via', 'was', 'we', 'well', 'were', 'what', 'whatever', 'when', 'whence', 'whenever', 'where', 'whereafter', 'whereas', 'whereby', 'wherein', 'whereupon', 'wherever', 'whether', 'which', 'while', 'whither', 'who', 'whoever', 'whole', 'whom', 'whose', 'why', 'will', 'with', 'within', 'without', 'would', 'yet', 'you', 'your', 'yours', 'yourself', 'yourselves', 'the'); +function drupalwiki_extractor_stop_words($lang = 'en') { - $stopwords['de'] = array('ab','bei','da','deshalb','ein','für','haben','hier','ich','ja','kann','machen','muesste','nach','oder','seid','sonst','und','vom','wann','wenn','wie','zu','bin','eines','hat','manche','solches','an','anderm','bis','das','deinem','demselben','dir','doch','einig','er','eurer','hatte','ihnen','ihre','ins','jenen','keinen','manchem','meinen','nichts','seine','soll','unserm','welche','werden','wollte','während','alle','allem','allen','aller','alles','als','also','am','ander','andere','anderem','anderen','anderer','anderes','andern','anderr','anders','auch','auf','aus','bist','bsp.','daher','damit','dann','dasselbe','dazu','daß','dein','deine','deinen','deiner','deines','dem','den','denn','denselben','der','derer','derselbe','derselben','des','desselben','dessen','dich','die','dies','diese','dieselbe','dieselben','diesem','diesen','dieser','dieses','dort','du','durch','eine','einem','einen','einer','einige','einigem','einigen','einiger','einiges','einmal','es','etwas','euch','euer','eure','eurem','euren','eures','ganz','ganze','ganzen','ganzer','ganzes','gegen','gemacht','gesagt','gesehen','gewesen','gewollt','hab','habe','hatten','hin','hinter','ihm','ihn','ihr','ihrem','ihren','ihrer','ihres','im','in','indem','ist','jede','jedem','jeden','jeder','jedes','jene','jenem','jener','jenes','jetzt','kein','keine','keinem','keiner','keines','konnte','können','könnte','mache','machst','macht','machte','machten','man','manchen','mancher','manches','mein','meine','meinem','meiner','meines','mich','mir','mit','muss','musste','müßt','nicht','noch','nun','nur','ob','ohne','sage','sagen','sagt','sagte','sagten','sagtest','sehe','sehen','sehr','seht','sein','seinem','seinen','seiner','seines','selbst','sich','sicher','sie','sind','so','solche','solchem','solchen','solcher','sollte','sondern','um','uns','unse','unsen','unser','unses','unter','viel','von','vor','war','waren','warst','was','weg','weil','weiter','welchem','welchen','welcher','welches','werde','wieder','will','wir','wird','wirst','wo','wolle','wollen','wollt','wollten','wolltest','wolltet','würde','würden','z.B.','zum','zur','zwar','zwischen','über','aber','abgerufen','abgerufene','abgerufener','abgerufenes','acht','acute','allein','allerdings','allerlei','allg','allgemein','allmählich','allzu','alsbald','amp','and','andererseits','andernfalls','anerkannt','anerkannte','anerkannter','anerkanntes','anfangen','anfing','angefangen','angesetze','angesetzt','angesetzten','angesetzter','ansetzen','anstatt','arbeiten','aufgehört','aufgrund','aufhören','aufhörte','aufzusuchen','ausdrücken','ausdrückt','ausdrückte','ausgenommen','ausser','ausserdem','author','autor','außen','außer','außerdem','außerhalb','background','bald','bearbeite','bearbeiten','bearbeitete','bearbeiteten','bedarf','bedurfte','bedürfen','been','befragen','befragte','befragten','befragter','begann','beginnen','begonnen','behalten','behielt','beide','beiden','beiderlei','beides','beim','beinahe','beitragen','beitrugen','bekannt','bekannte','bekannter','bekennen','benutzt','bereits','berichten','berichtet','berichtete','berichteten','besonders','besser','bestehen','besteht','beträchtlich','bevor','bezüglich','bietet','bisher','bislang','biz','bleiben','blieb','bloss','bloß','border','brachte','brachten','brauchen','braucht','bringen','bräuchte','bzw','böden','ca','ca.','collapsed','com','comment','content','da?','dabei','dadurch','dafür','dagegen','dahin','damals','danach','daneben','dank','danke','danken','dannen','daran','darauf','daraus','darf','darfst','darin','darum','darunter','darüber','darüberhinaus','dass','davon','davor','demnach','denen','dennoch','derart','derartig','derem','deren','derjenige','derjenigen','derzeit','desto','deswegen','diejenige','diesseits','dinge','direkt','direkte','direkten','direkter','doc','doppelt','dorther','dorthin','drauf','drei','dreißig','drin','dritte','drunter','drüber','dunklen','durchaus','durfte','durften','dürfen','dürfte','eben','ebenfalls','ebenso','ehe','eher','eigenen','eigenes','eigentlich','einbaün','einerseits','einfach','einführen','einführte','einführten','eingesetzt','einigermaßen','eins','einseitig','einseitige','einseitigen','einseitiger','einst','einstmals','einzig','elf','ende','entsprechend','entweder','ergänze','ergänzen','ergänzte','ergänzten','erhalten','erhielt','erhielten','erhält','erneut','erst','erste','ersten','erster','eröffne','eröffnen','eröffnet','eröffnete','eröffnetes','etc','etliche','etwa','fall','falls','fand','fast','ferner','finden','findest','findet','folgende','folgenden','folgender','folgendes','folglich','for','fordern','fordert','forderte','forderten','fortsetzen','fortsetzt','fortsetzte','fortsetzten','fragte','frau','frei','freie','freier','freies','fuer','fünf','gab','ganzem','gar','gbr','geb','geben','geblieben','gebracht','gedurft','geehrt','geehrte','geehrten','geehrter','gefallen','gefiel','gefälligst','gefällt','gegeben','gehabt','gehen','geht','gekommen','gekonnt','gemocht','gemäss','genommen','genug','gern','gestern','gestrige','getan','geteilt','geteilte','getragen','gewissermaßen','geworden','ggf','gib','gibt','gleich','gleichwohl','gleichzeitig','glücklicherweise','gmbh','gratulieren','gratuliert','gratulierte','gute','guten','gängig','gängige','gängigen','gängiger','gängiges','gänzlich','haette','halb','hallo','hast','hattest','hattet','heraus','herein','heute','heutige','hiermit','hiesige','hinein','hinten','hinterher','hoch','html','http','hundert','hätt','hätte','hätten','höchstens','igitt','image','immer','immerhin','important','indessen','info','infolge','innen','innerhalb','insofern','inzwischen','irgend','irgendeine','irgendwas','irgendwen','irgendwer','irgendwie','irgendwo','je','jed','jedenfalls','jederlei','jedoch','jemand','jenseits','jährig','jährige','jährigen','jähriges','kam','kannst','kaum','kei nes','keinerlei','keineswegs','klar','klare','klaren','klares','klein','kleinen','kleiner','kleines','koennen','koennt','koennte','koennten','komme','kommen','kommt','konkret','konkrete','konkreten','konkreter','konkretes','konnten','könn','könnt','könnten','künftig','lag','lagen','langsam','lassen','laut','lediglich','leer','legen','legte','legten','leicht','leider','lesen','letze','letzten','letztendlich','letztens','letztes','letztlich','lichten','liegt','liest','links','längst','längstens','mag','magst','mal','mancherorts','manchmal','mann','margin','med','mehr','mehrere','meist','meiste','meisten','meta','mindestens','mithin','mochte','morgen','morgige','muessen','muesst','musst','mussten','muß','mußt','möchte','möchten','möchtest','mögen','möglich','mögliche','möglichen','möglicher','möglicherweise','müssen','müsste','müssten','müßte','nachdem','nacher','nachhinein','nahm','natürlich','ncht','neben','nebenan','nehmen','nein','neu','neue','neuem','neuen','neuer','neues','neun','nie','niemals','niemand','nimm','nimmer','nimmt','nirgends','nirgendwo','nter','nutzen','nutzt','nutzung','nächste','nämlich','nötigenfalls','nützt','oben','oberhalb','obgleich','obschon','obwohl','oft','online','org','padding','per','pfui','plötzlich','pro','reagiere','reagieren','reagiert','reagierte','rechts','regelmäßig','rief','rund','sang','sangen','schlechter','schließlich','schnell','schon','schreibe','schreiben','schreibens','schreiber','schwierig','schätzen','schätzt','schätzte','schätzten','sechs','sect','sehrwohl','sei','seit','seitdem','seite','seiten','seither','selber','senke','senken','senkt','senkte','senkten','setzen','setzt','setzte','setzten','sicherlich','sieben','siebte','siehe','sieht','singen','singt','sobald','sodaß','soeben','sofern','sofort','sog','sogar','solange','solc hen','solch','sollen','sollst','sollt','sollten','solltest','somit','sonstwo','sooft','soviel','soweit','sowie','sowohl','spielen','später','startet','startete','starteten','statt','stattdessen','steht','steige','steigen','steigt','stets','stieg','stiegen','such','suchen','sämtliche','tages','tat','tatsächlich','tatsächlichen','tatsächlicher','tatsächliches','tausend','teile','teilen','teilte','teilten','titel','total','trage','tragen','trotzdem','trug','trägt','tun','tust','tut','txt','tät','ueber','umso','unbedingt','ungefähr','unmöglich','unmögliche','unmöglichen','unmöglicher','unnötig','unsem','unser','unsere','unserem','unseren','unserer','unseres','unten','unterbrach','unterbrechen','unterhalb','unwichtig','usw','var','vergangen','vergangene','vergangener','vergangenes','vermag','vermutlich','vermögen','verrate','verraten','verriet','verrieten','version','versorge','versorgen','versorgt','versorgte','versorgten','versorgtes','veröffentlichen','veröffentlicher','veröffentlicht','veröffentlichte','veröffentlichten','veröffentlichtes','viele','vielen','vieler','vieles','vielleicht','vielmals','vier','vollständig','voran','vorbei','vorgestern','vorher','vorne','vorüber','völlig','während','wachen','waere','warum','weder','wegen','weitere','weiterem','weiteren','weiterer','weiteres','weiterhin','weiß','wem','wen','wenig','wenige','weniger','wenigstens','wenngleich','wer','werdet','weshalb','wessen','wichtig','wieso','wieviel','wiewohl','willst','wirklich','wodurch','wogegen','woher','wohin','wohingegen','wohl','wohlweislich','womit','woraufhin','woraus','worin','wurde','wurden','währenddessen','wär','wäre','wären','zahlreich','zehn','zeitweise','ziehen','zieht','zog','zogen','zudem','zuerst','zufolge','zugleich','zuletzt','zumal','zurück','zusammen','zuviel','zwanzig','zwei','zwölf','ähnlich','übel','überall','überallhin','überdies','übermorgen','übrig','übrigens'); + $stopwords['en'] = array( + "a", + "a's", + "able", + "about", + "above", + "abroad", + "according", + "accordingly", + "across", + "actually", + "adj", + "after", + "afterwards", + "again", + "against", + "ago", + "ahead", + "ain't", + "all", + "allow", + "allows", + "almost", + "alone", + "along", + "alongside", + "already", + "also", + "although", + "always", + "am", + "amid", + "amidst", + "among", + "amongst", + "an", + "and", + "another", + "any", + "anybody", + "anyhow", + "anyone", + "anything", + "anyway", + "anyways", + "anywhere", + "apart", + "appear", + "appreciate", + "appropriate", + "are", + "aren't", + "around", + "as", + "aside", + "ask", + "asking", + "associated", + "at", + "available", + "away", + "awfully", + "back", + "backward", + "backwards", + "be", + "became", + "because", + "become", + "becomes", + "becoming", + "been", + "before", + "beforehand", + "begin", + "behind", + "being", + "believe", + "below", + "beside", + "besides", + "best", + "better", + "between", + "beyond", + "both", + "brief", + "but", + "by", + "c'mon", + "c's", + "came", + "can", + "can't", + "cannot", + "cant", + "caption", + "cause", + "causes", + "certain", + "certainly", + "changes", + "clearly", + "co", + "co.", + "com", + "come", + "comes", + "concerning", + "consequently", + "consider", + "considering", + "contain", + "containing", + "contains", + "corresponding", + "could", + "couldn't", + "course", + "currently", + "dare", + "daren't", + "definitely", + "described", + "despite", + "did", + "didn't", + "different", + "directly", + "do", + "does", + "doesn't", + "doing", + "don't", + "done", + "down", + "downwards", + "during", + "each", + "edu", + "eg", + "eight", + "eighty", + "either", + "else", + "elsewhere", + "end", + "ending", + "enough", + "entirely", + "especially", + "et", + "etc", + "even", + "ever", + "evermore", + "every", + "everybody", + "everyone", + "everything", + "everywhere", + "ex", + "exactly", + "example", + "except", + "fairly", + "far", + "farther", + "few", + "fewer", + "fifth", + "first", + "five", + "followed", + "following", + "follows", + "for", + "forever", + "former", + "formerly", + "forth", + "forward", + "found", + "four", + "from", + "further", + "furthermore", + "get", + "gets", + "getting", + "given", + "gives", + "go", + "goes", + "going", + "gone", + "got", + "gotten", + "greetings", + "had", + "hadn't", + "half", + "happens", + "hardly", + "has", + "hasn't", + "have", + "haven't", + "having", + "he", + "he'd", + "he'll", + "he's", + "hello", + "help", + "hence", + "her", + "here", + "here's", + "hereafter", + "hereby", + "herein", + "hereupon", + "hers", + "herself", + "hi", + "him", + "himself", + "his", + "hither", + "hopefully", + "how", + "how's", + "howbeit", + "however", + "hundred", + "i", + "i'd", + "i'll", + "i'm", + "i've", + "ie", + "if", + "ignored", + "immediate", + "in", + "inasmuch", + "inc", + "inc.", + "indeed", + "indicate", + "indicated", + "indicates", + "inner", + "inside", + "insofar", + "instead", + "into", + "inward", + "is", + "isn't", + "it", + "it'd", + "it'll", + "it's", + "its", + "itself", + "just", + "k", + "keep", + "keeps", + "kept", + "know", + "known", + "knows", + "last", + "lately", + "later", + "latter", + "latterly", + "least", + "less", + "lest", + "let", + "let's", + "like", + "liked", + "likely", + "likewise", + "little", + "look", + "looking", + "looks", + "low", + "lower", + "ltd", + "made", + "mainly", + "make", + "makes", + "many", + "may", + "maybe", + "mayn't", + "me", + "mean", + "meantime", + "meanwhile", + "merely", + "might", + "mightn't", + "mine", + "minus", + "miss", + "more", + "moreover", + "most", + "mostly", + "mr", + "mrs", + "much", + "must", + "mustn't", + "my", + "myself", + "name", + "namely", + "nd", + "near", + "nearly", + "necessary", + "need", + "needn't", + "needs", + "neither", + "never", + "neverf", + "neverless", + "nevertheless", + "new", + "next", + "nine", + "ninety", + "no", + "no-one", + "nobody", + "non", + "none", + "nonetheless", + "noone", + "nor", + "normally", + "not", + "nothing", + "notwithstanding", + "novel", + "now", + "nowhere", + "obviously", + "of", + "off", + "often", + "oh", + "ok", + "okay", + "old", + "on", + "once", + "one", + "one's", + "ones", + "only", + "onto", + "opposite", + "or", + "other", + "others", + "otherwise", + "ought", + "oughtn't", + "our", + "ours", + "ourselves", + "out", + "outside", + "over", + "overall", + "own", + "particular", + "particularly", + "past", + "per", + "perhaps", + "placed", + "please", + "plus", + "possible", + "presumably", + "probably", + "provided", + "provides", + "que", + "quite", + "qv", + "rather", + "rd", + "re", + "really", + "reasonably", + "recent", + "recently", + "regarding", + "regardless", + "regards", + "relatively", + "respectively", + "right", + "round", + "said", + "same", + "saw", + "say", + "saying", + "says", + "second", + "secondly", + "see", + "seeing", + "seem", + "seemed", + "seeming", + "seems", + "seen", + "self", + "selves", + "sensible", + "sent", + "serious", + "seriously", + "seven", + "several", + "shall", + "shan't", + "she", + "she'd", + "she'll", + "she's", + "should", + "shouldn't", + "since", + "six", + "so", + "some", + "somebody", + "someday", + "somehow", + "someone", + "something", + "sometime", + "sometimes", + "somewhat", + "somewhere", + "soon", + "sorry", + "specified", + "specify", + "specifying", + "still", + "sub", + "such", + "sup", + "sure", + "t's", + "take", + "taken", + "taking", + "tell", + "tends", + "th", + "than", + "thank", + "thanks", + "thanx", + "that", + "that'll", + "that's", + "that've", + "thats", + "the", + "their", + "theirs", + "them", + "themselves", + "then", + "thence", + "there", + "there'd", + "there'll", + "there're", + "there's", + "there've", + "thereafter", + "thereby", + "therefore", + "therein", + "theres", + "thereupon", + "these", + "they", + "they'd", + "they'll", + "they're", + "they've", + "thing", + "things", + "think", + "third", + "thirty", + "this", + "thorough", + "thoroughly", + "those", + "though", + "three", + "through", + "throughout", + "thru", + "thus", + "till", + "to", + "together", + "too", + "took", + "toward", + "towards", + "tried", + "tries", + "truly", + "try", + "trying", + "twice", + "two", + "un", + "under", + "underneath", + "undoing", + "unfortunately", + "unless", + "unlike", + "unlikely", + "until", + "unto", + "up", + "upon", + "upwards", + "us", + "use", + "used", + "useful", + "uses", + "using", + "usually", + "v", + "value", + "various", + "versus", + "very", + "via", + "viz", + "vs", + "want", + "wants", + "was", + "wasn't", + "way", + "we", + "we'd", + "we'll", + "we're", + "we've", + "welcome", + "well", + "went", + "were", + "weren't", + "what", + "what'll", + "what's", + "what've", + "whatever", + "when", + "when's", + "whence", + "whenever", + "where", + "where's", + "whereafter", + "whereas", + "whereby", + "wherein", + "whereupon", + "wherever", + "whether", + "which", + "whichever", + "while", + "whilst", + "whither", + "who", + "who'd", + "who'll", + "who's", + "whoever", + "whole", + "whom", + "whomever", + "whose", + "why", + "why's", + "will", + "willing", + "wish", + "with", + "within", + "without", + "won't", + "wonder", + "would", + "wouldn't", + "yes", + "yet", + "you", + "you'd", + "you'll", + "you're", + "you've", + "your", + "yours", + "yourself", + "yourselves", + "zero", + ); + $stopwords['de'] = array( + "a", + "ab", + "aber", + "aber", + "ach", + "acht", + "achte", + "achten", + "achter", + "achtes", + "ag", + "alle", + "allein", + "allem", + "allen", + "aller", + "allerdings", + "alles", + "allgemeinen", + "als", + "als", + "also", + "am", + "an", + "andere", + "anderen", + "andern", + "anders", + "au", + "auch", + "auch", + "auf", + "aus", + "ausser", + "außer", + "ausserdem", + "außerdem", + "b", + "bald", + "bei", + "beide", + "beiden", + "beim", + "beispiel", + "bekannt", + "bereits", + "besonders", + "besser", + "besten", + "bin", + "bis", + "bisher", + "bist", + "c", + "d", + "da", + "dabei", + "dadurch", + "dafür", + "dagegen", + "daher", + "dahin", + "dahinter", + "damals", + "damit", + "danach", + "daneben", + "dank", + "dann", + "daran", + "darauf", + "daraus", + "darf", + "darfst", + "darin", + "darüber", + "darum", + "darunter", + "das", + "das", + "dasein", + "daselbst", + "dass", + "daß", + "dasselbe", + "davon", + "davor", + "dazu", + "dazwischen", + "dein", + "deine", + "deinem", + "deiner", + "dem", + "dementsprechend", + "demgegenüber", + "demgemäss", + "demgemäß", + "demselben", + "demzufolge", + "den", + "denen", + "denn", + "denn", + "denselben", + "der", + "deren", + "derjenige", + "derjenigen", + "dermassen", + "dermaßen", + "derselbe", + "derselben", + "des", + "deshalb", + "desselben", + "dessen", + "deswegen", + "d.h", + "dich", + "die", + "diejenige", + "diejenigen", + "dies", + "diese", + "dieselbe", + "dieselben", + "diesem", + "diesen", + "dieser", + "dieses", + "dir", + "doch", + "dort", + "drei", + "drin", + "dritte", + "dritten", + "dritter", + "drittes", + "du", + "durch", + "durchaus", + "dürfen", + "dürft", + "durfte", + "durften", + "e", + "eben", + "ebenso", + "ehrlich", + "ei", + "ei,", + "ei,", + "eigen", + "eigene", + "eigenen", + "eigener", + "eigenes", + "ein", + "einander", + "eine", + "einem", + "einen", + "einer", + "eines", + "einige", + "einigen", + "einiger", + "einiges", + "einmal", + "einmal", + "eins", + "elf", + "en", + "ende", + "endlich", + "entweder", + "entweder", + "er", + "Ernst", + "erst", + "erste", + "ersten", + "erster", + "erstes", + "es", + "etwa", + "etwas", + "euch", + "f", + "früher", + "fünf", + "fünfte", + "fünften", + "fünfter", + "fünftes", + "für", + "g", + "gab", + "ganz", + "ganze", + "ganzen", + "ganzer", + "ganzes", + "gar", + "gedurft", + "gegen", + "gegenüber", + "gehabt", + "gehen", + "geht", + "gekannt", + "gekonnt", + "gemacht", + "gemocht", + "gemusst", + "genug", + "gerade", + "gern", + "gesagt", + "gesagt", + "geschweige", + "gewesen", + "gewollt", + "geworden", + "gibt", + "ging", + "gleich", + "gott", + "gross", + "groß", + "grosse", + "große", + "grossen", + "großen", + "grosser", + "großer", + "grosses", + "großes", + "gut", + "gute", + "guter", + "gutes", + "h", + "habe", + "haben", + "habt", + "hast", + "hat", + "hatte", + "hätte", + "hatten", + "hätten", + "heisst", + "her", + "heute", + "hier", + "hin", + "hinter", + "hoch", + "i", + "ich", + "ihm", + "ihn", + "ihnen", + "ihr", + "ihre", + "ihrem", + "ihren", + "ihrer", + "ihres", + "im", + "im", + "immer", + "in", + "in", + "indem", + "infolgedessen", + "ins", + "irgend", + "ist", + "j", + "ja", + "ja", + "jahr", + "jahre", + "jahren", + "je", + "jede", + "jedem", + "jeden", + "jeder", + "jedermann", + "jedermanns", + "jedoch", + "jemand", + "jemandem", + "jemanden", + "jene", + "jenem", + "jenen", + "jener", + "jenes", + "jetzt", + "k", + "kam", + "kann", + "kannst", + "kaum", + "kein", + "keine", + "keinem", + "keinen", + "keiner", + "kleine", + "kleinen", + "kleiner", + "kleines", + "kommen", + "kommt", + "können", + "könnt", + "konnte", + "könnte", + "konnten", + "kurz", + "l", + "lang", + "lange", + "lange", + "leicht", + "leide", + "lieber", + "los", + "m", + "machen", + "macht", + "machte", + "mag", + "magst", + "mahn", + "man", + "manche", + "manchem", + "manchen", + "mancher", + "manches", + "mann", + "mehr", + "mein", + "meine", + "meinem", + "meinen", + "meiner", + "meines", + "mensch", + "menschen", + "mich", + "mir", + "mit", + "mittel", + "mochte", + "möchte", + "mochten", + "mögen", + "möglich", + "mögt", + "morgen", + "muss", + "muß", + "müssen", + "musst", + "müsst", + "musste", + "mussten", + "n", + "na", + "nach", + "nachdem", + "nahm", + "natürlich", + "neben", + "nein", + "neue", + "neuen", + "neun", + "neunte", + "neunten", + "neunter", + "neuntes", + "nicht", + "nicht", + "nichts", + "nie", + "niemand", + "niemandem", + "niemanden", + "noch", + "nun", + "nun", + "nur", + "o", + "ob", + "ob", + "oben", + "oder", + "oder", + "offen", + "oft", + "oft", + "ohne", + "Ordnung", + "p", + "q", + "r", + "recht", + "rechte", + "rechten", + "rechter", + "rechtes", + "richtig", + "rund", + "s", + "sa", + "sache", + "sagt", + "sagte", + "sah", + "satt", + "schlecht", + "Schluss", + "schon", + "sechs", + "sechste", + "sechsten", + "sechster", + "sechstes", + "sehr", + "sei", + "sei", + "seid", + "seien", + "sein", + "seine", + "seinem", + "seinen", + "seiner", + "seines", + "seit", + "seitdem", + "selbst", + "selbst", + "sich", + "sie", + "sieben", + "siebente", + "siebenten", + "siebenter", + "siebentes", + "sind", + "so", + "solang", + "solche", + "solchem", + "solchen", + "solcher", + "solches", + "soll", + "sollen", + "sollte", + "sollten", + "sondern", + "sonst", + "sowie", + "später", + "statt", + "t", + "tag", + "tage", + "tagen", + "tat", + "teil", + "tel", + "tritt", + "trotzdem", + "tun", + "u", + "über", + "überhaupt", + "übrigens", + "uhr", + "um", + "und", + "und?", + "uns", + "unser", + "unsere", + "unserer", + "unter", + "v", + "vergangenen", + "viel", + "viele", + "vielem", + "vielen", + "vielleicht", + "vier", + "vierte", + "vierten", + "vierter", + "viertes", + "vom", + "von", + "vor", + "w", + "wahr?", + "während", + "währenddem", + "währenddessen", + "wann", + "war", + "wäre", + "waren", + "wart", + "warum", + "was", + "wegen", + "weil", + "weit", + "weiter", + "weitere", + "weiteren", + "weiteres", + "welche", + "welchem", + "welchen", + "welcher", + "welches", + "wem", + "wen", + "wenig", + "wenig", + "wenige", + "weniger", + "weniges", + "wenigstens", + "wenn", + "wenn", + "wer", + "werde", + "werden", + "werdet", + "wessen", + "wie", + "wie", + "wieder", + "will", + "willst", + "wir", + "wird", + "wirklich", + "wirst", + "wo", + "wohl", + "wollen", + "wollt", + "wollte", + "wollten", + "worden", + "wurde", + "würde", + "wurden", + "würden", + "x", + "y", + "z", + "z.b", + "zehn", + "zehnte", + "zehnten", + "zehnter", + "zehntes", + "zeit", + "zu", + "zuerst", + "zugleich", + "zum", + "zum", + "zunächst", + "zur", + "zurück", + "zusammen", + "zwanzig", + "zwar", + "zwar", + "zwei", + "zweite", + "zweiten", + "zweiter", + "zweites", + "zwischen", + "zwölf", + + + ); + + $stopwords['es']= array( + "él", + "ésta", + "éstas", + "éste", + "éstos", + "última", + "últimas", + "último", + "últimos", + "a", + "añadió", + "aún", + "actualmente", + "adelante", + "además", + "afirmó", + "agregó", + "ahí", + "ahora", + "al", + "algún", + "algo", + "alguna", + "algunas", + "alguno", + "algunos", + "alrededor", + "ambos", + "ante", + "anterior", + "antes", + "apenas", + "aproximadamente", + "aquí", + "así", + "aseguró", + "aunque", + "ayer", + "bajo", + "bien", + "buen", + "buena", + "buenas", + "bueno", + "buenos", + "cómo", + "cada", + "casi", + "cerca", + "cierto", + "cinco", + "comentó", + "como", + "con", + "conocer", + "consideró", + "considera", + "contra", + "cosas", + "creo", + "cual", + "cuales", + "cualquier", + "cuando", + "cuanto", + "cuatro", + "cuenta", + "da", + "dado", + "dan", + "dar", + "de", + "debe", + "deben", + "debido", + "decir", + "dejó", + "del", + "demás", + "dentro", + "desde", + "después", + "dice", + "dicen", + "dicho", + "dieron", + "diferente", + "diferentes", + "dijeron", + "dijo", + "dio", + "donde", + "dos", + "durante", + "e", + "ejemplo", + "el", + "ella", + "ellas", + "ello", + "ellos", + "embargo", + "en", + "encuentra", + "entonces", + "entre", + "era", + "eran", + "es", + "esa", + "esas", + "ese", + "eso", + "esos", + "está", + "están", + "esta", + "estaba", + "estaban", + "estamos", + "estar", + "estará", + "estas", + "este", + "esto", + "estos", + "estoy", + "estuvo", + "ex", + "existe", + "existen", + "explicó", + "expresó", + "fin", + "fue", + "fuera", + "fueron", + "gran", + "grandes", + "ha", + "había", + "habían", + "haber", + "habrá", + "hace", + "hacen", + "hacer", + "hacerlo", + "hacia", + "haciendo", + "han", + "hasta", + "hay", + "haya", + "he", + "hecho", + "hemos", + "hicieron", + "hizo", + "hoy", + "hubo", + "igual", + "incluso", + "indicó", + "informó", + "junto", + "la", + "lado", + "las", + "le", + "les", + "llegó", + "lleva", + "llevar", + "lo", + "los", + "luego", + "lugar", + "más", + "manera", + "manifestó", + "mayor", + "me", + "mediante", + "mejor", + "mencionó", + "menos", + "mi", + "mientras", + "misma", + "mismas", + "mismo", + "mismos", + "momento", + "mucha", + "muchas", + "mucho", + "muchos", + "muy", + "nada", + "nadie", + "ni", + "ningún", + "ninguna", + "ningunas", + "ninguno", + "ningunos", + "no", + "nos", + "nosotras", + "nosotros", + "nuestra", + "nuestras", + "nuestro", + "nuestros", + "nueva", + "nuevas", + "nuevo", + "nuevos", + "nunca", + "o", + "ocho", + "otra", + "otras", + "otro", + "otros", + "para", + "parece", + "parte", + "partir", + "pasada", + "pasado", + "pero", + "pesar", + "poca", + "pocas", + "poco", + "pocos", + "podemos", + "podrá", + "podrán", + "podría", + "podrían", + "poner", + "por", + "porque", + "posible", + "próximo", + "próximos", + "primer", + "primera", + "primero", + "primeros", + "principalmente", + "propia", + "propias", + "propio", + "propios", + "pudo", + "pueda", + "puede", + "pueden", + "pues", + "qué", + "que", + "quedó", + "queremos", + "quién", + "quien", + "quienes", + "quiere", + "realizó", + "realizado", + "realizar", + "respecto", + "sí", + "sólo", + "se", + "señaló", + "sea", + "sean", + "según", + "segunda", + "segundo", + "seis", + "ser", + "será", + "serán", + "sería", + "si", + "sido", + "siempre", + "siendo", + "siete", + "sigue", + "siguiente", + "sin", + "sino", + "sobre", + "sola", + "solamente", + "solas", + "solo", + "solos", + "son", + "su", + "sus", + "tal", + "también", + "tampoco", + "tan", + "tanto", + "tenía", + "tendrá", + "tendrán", + "tenemos", + "tener", + "tenga", + "tengo", + "tenido", + "tercera", + "tiene", + "tienen", + "toda", + "todas", + "todavía", + "todo", + "todos", + "total", + "tras", + "trata", + "través", + "tres", + "tuvo", + "un", + "una", + "unas", + "uno", + "unos", + "usted", + "va", + "vamos", + "van", + "varias", + "varios", + "veces", + "ver", + "vez", + "y", + "ya", + "yo", + ); + + $stopwords['nl']= array( + "aan", + "af", + "al", + "alles", + "als", + "altijd", + "andere", + "ben", + "bij", + "daar", + "dan", + "dat", + "de", + "der", + "deze", + "die", + "dit", + "doch", + "doen", + "door", + "dus", + "een", + "eens", + "en", + "er", + "ge", + "geen", + "geweest", + "haar", + "had", + "heb", + "hebben", + "heeft", + "hem", + "het", + "hier", + "hij ", + "hoe", + "hun", + "iemand", + "iets", + "ik", + "in", + "is", + "ja", + "je ", + "kan", + "kon", + "kunnen", + "maar", + "me", + "meer", + "men", + "met", + "mij", + "mijn", + "moet", + "na", + "naar", + "niet", + "niets", + "nog", + "nu", + "of", + "om", + "omdat", + "ons", + "ook", + "op", + "over", + "reeds", + "te", + "tegen", + "toch", + "toen", + "tot", + "u", + "uit", + "uw", + "van", + "veel", + "voor", + "want", + "waren", + "was", + "wat", + "we", + "wel", + "werd", + "wezen", + "wie", + "wij", + "wil", + "worden", + "zal", + "ze", + "zei", + "zelf", + "zich", + "zij", + "zijn", + "zo", + "zonder", + "zou", + ); + + if (!key_exists($lang,$stopwords)) + $lang=substr($lang,0,2); return $stopwords[$lang]; }